Nvidia EurekaAgente impulsionado por GPT-4 que escreve autonomamente funções de recompensa para ensinar habilidades complexas a robôs.

A Nvidia Eureka é um projeto de pesquisa que utiliza modelos de linguagem largos, incluindo o GPT-4, como um designer de recompensas autônomo para aprendizado por reforço. Em vez de contar com engenheiros humanos para elaborar funções de recompensas manualmente, a Eureka gera e aperfeiçoa iterativamente essas funções em simulação, permitindo que os robôs aprendam habilidades motrizes complexas como girar lápis, abrir gavetes e manipular bolas. O Agente Eureka executa dentro do ambiente de simulação Nvidia Isaac Gym, avaliando recompensas candidatas por meio de treinamento acelerado por GPU em paralelo massificado. Em seguida, ele utiliza pesquisas evolutivas impulsionadas por LLM para melhorar essas recompensas, frequentemente gerando código de recompensa que supera os benchmark de robótica humanamente escritos por especialistas em dezenas de benchmarks. A Eureka visa principalmente a pesquisadores e desenvolvedores de robótica que estão explorando abordagens escaláveis para a aquisição de habilidades, transferência de simulações para a realidade e automação do pipeline de aprendizado de reforço guiado por LLG (Large Language Model).