O metodă de antrenare a algoritmilor numită învățare profundă de întărire, care folosește recompense pentru a motiva inteligența artificială pentru a atinge un obiectiv, se dovedește a fi foarte promițătoare în domeniul navigației computerizate.

Cercetătorii de la Universitatea din Colorado au demonstrat recent sistem, ceea ce va permite roboților să găsească direcția pe traseele de drumeție în conformitate cu înregistrările camerei. Oamenii de știință de la ETH Zurich din nou în documentul său a descris un cadru de învățare automată care va ajuta roboții cu patru picioare să se ridice de la sol atunci când se întâlnesc și cad.

ÎN documente recent publicat pe serverul de presă Arxiv, echipa științifică propune un algoritm de învățare profundă "hibrid" care combină datele din simularea digitală și lumea reală și permite quadcopterului să navigheze pe coridoarele din clădire.

„În această lucrare, dorim să proiectăm un algoritm pentru învățarea prin transfer, în care robotul capătă un comportament fizic”, au scris autorii publicației. „Experiența din lumea reală este practic utilizată pentru a învăța să zbori, în timp ce experiența simulată este folosită pentru a învăța să generalizezi.”

De ce să folosim date simulate? După cum observă cercetătorii, generalizarea depinde puternic de mărimea și diversitatea setului de date. Este adevărat că, cu cât sunt disponibile mai multe date, cu atât performanța este mai bună. Dar obținerea de date reale necesită mult timp și costă. Cu toate acestea, există o problemă gravă cu datele simulate - datele de zbor sunt de calitate mai mică, iar fizica complexă și curenții de aer sunt adesea modelați incorect.

nextech

Prin urmare, cercetătorii au folosit date din lumea reală pentru a antrena dinamica sistemului și au simulat date pentru a stăpâni procesul de generalizare a percepției. Arhitectura lor de învățare automată consta din două părți: subsistemul de percepție, care a transmis elementele vizuale de la simulare, și subsistemul de control, care a primit datele reale.

Echipa a folosit un simulator Gibson aparținând Universității Stanford pentru instruire, care conține un număr mare de medii scanate 3D. Au modelat un quadcopter virtual cu camere în așa fel încât acțiunile să fie controlate direct de poziția camerei. Au existat 17 milioane de puncte de date obținute din simulare, pe care oamenii de știință le-au combinat cu 14.000 de puncte de date capturate după executarea unei proceduri învățate într-o simulare pe coridor într-una din clădirile Universității din California, Berkeley.

Folosind doar o oră de date din lumea reală, sistemul UI din demonstrație a reușit să conducă un quadcopter Crazyflie 2.0 de 27 de grame într-un mediu nou cu iluminare și configurație care nu s-a mai întâlnit până acum și să evite coliziunile. Singura lui fereastră către lumea reală era o cameră monoculară; sistemul a comunicat cu un laptop din apropiere prin intermediul unui dispozitiv radio-USB.

Cercetătorii au observat că modelele instruite pentru a evita obstacolele și navigația au fost transferate mai bine decât procedurile cu o sarcină necunoscută, care au fost instruite printr-o altă metodă, cum ar fi învățare nesupravegheată. În plus, dacă sistemul UI a eșuat, a fost adesea „justificat” - de exemplu, în 30% din teste pe coridoarele îndoite, un quadcopter a lovit o ușă de sticlă.

„Principalul beneficiu al muncii noastre este metoda de a combina o cantitate mare de date simulate cu o cantitate mică de experiență din lumea reală pentru a pregăti o procedură pentru evitarea coliziunilor în zbor autonom prin învățare profundă de întărire”, au scris autorii articolului.