Nvidia EurekaGPT-4 aangedreven agent die autonoom beloningsfuncties schrijft om robots complexe vaardigheden te leren

Nvidia Eureka is een onderzoeksproject dat grote taalmodellen, waaronder GPT-4, gebruikt als autonome beloningsontwerper voor versterkend leren. In plaats van te vertrouwen op menselijke ingenieurs die handmatig beloningsfuncties maken, genereert Eureka deze en verfijnt ze iteratief in simulatie, waardoor robots ingewikkelde motorische vaardigheden kunnen leren, zoals het draaien van een pen, het openen van een la en het manipuleren van een bal. De Eureka Agent draait binnen Nvidia's Isaac Gym-simulatieomgeving en evalueert kandidaat-beloningen door middel van massaal parallelle GPU-versnelde training. Vervolgens gebruikt het een LLM-gestuurde evolutionaire zoekfunctie om deze te verbeteren, waardoor vaak beloningscode ontstaat die beter presteert dan door experts geschreven baselines in tientallen robotica-benchmarks. Eureka is in de eerste plaats gericht op robotica-onderzoekers en -ontwikkelaars die schaalbare benaderingen voor vaardigheidsverwerving, sim-to-real transfer en LLM-geleide automatisering van de versterkte leerpipeline onderzoeken.