Kai susiduriate su tokiu Sim2Real atotrūkiu, yra dvi galimybės. Lengviausias variantas yra įvesti naują atlygį, liepiant robotui nedaryti to, ką daro blogai. Tačiau problema ta, kad šie apdovanojimai yra šiek tiek panašūs į roboto lipnią juostą – neelegantiška, trūksta pagrindinių priežasčių. Jie kaupiasi ir užtemdo pradinį politikos tikslą daugeliu kitų terminų. Tai veda prie politikos, kuri gali veikti, bet nėra suprantama ir elgiasi nenuspėjamai, kai gaunama naujų atlygių.
Kitas, sunkesnis, variantas yra žengti žingsnį atgal ir išsiaiškinti, kas tai per modeliavimas, kuris skiriasi nuo tikrovės. Agility, kaip įmonė, visada buvo orientuota į fizinės intuicijos, slypinčios už tai, ką darome, supratimą. Taip sukūrėme savo robotą – nuo pavarų iki programinės įrangos.
Mūsų RL požiūris nesiskiria. Mes norime suprasti kodėl ir naudokite tai vairuodami kaip. Taigi pradėjome šešių mėnesių kelionę, kad išsiaiškintume, kodėl mūsų imituoti kojų pirštai nedaro to paties, ką tikrieji kojų pirštai.
Pasirodo, yra daug priežasčių. Susidūrimo geometrijoje buvo daromos supaprastinančios prielaidos, buvo netikslumų, kaip energija sklinda per mūsų pavaras ir transmisijas, ir nepastovūs apribojimai, kaip išspręsti mūsų unikalią uždaros grandinės kinematiką (kurią sudaro švaistikliai, pritvirtinti prie kojų pirštų plokščių ir pėdos). Ir mes sistemingai tyrinėjome, taisėme ir pašalinome šias spragas.
Grynasis rezultatas buvo didžiulis žingsnis į priekį mūsų RL programinės įrangos pakete. Vietoj krūvos atlygio funkcijų, susijusių su viskuo – nuo „Nustok judinti koja“ iki „Stovėkite tiesiau“, turime keletą atlygių, susijusių su energijos suvartojimu ir simetrija, kurie yra ne tik paprastesni, bet ir vadovaujasi mūsų pagrindinėmis nuojautomis. apie tai, kaip skaitmeninis turėtų judėti.
Skirdami laiko suprasti, kodėl modeliavimas skiriasi, išmokome daug daugiau apie tai, kodėl pirmiausia norime, kad „Digit“ judėtų tam tikru būdu. Ir, svarbiausia, kartu su sparčiąja NVIDIA Isaac Sim – etalonine programa, sukurta NVIDIA Omniverse pagrindu, skirta dirbtinio intelekto valdomų robotų testavimui imituoti, ji leido mums ištirti skirtingų fizinių savybių, kurių galbūt norėsite ateities „Digit“ kartoms, poveikį.