Cercetătorii au antrenat un „bucătar” robotizat să urmărească și să învețe din videoclipuri culinare și să recreeze el însuși mâncarea.

Cercetătorii, de la Universitatea din Cambridge, au programat robotul bucătar cu o „carte de bucate” cu opt rețete simple de salate. După ce a vizionat o înregistrare video cu un om care demonstra una dintre rețete, robotul a fost capabil să identifice ce rețetă era pregătită și să o facă.

În plus, videoclipurile au ajutat robotul să adauge treptat la cartea sa de bucate. La finalul experimentului, robotul a găsit singur o nouă rețetă. Rezultatele lor, raportate în revista IEEE Access, demonstrează modul în care conținutul video poate fi o sursă valoroasă și bogată de date pentru producția automată de alimente și ar putea permite implementarea mai ușoară și mai ieftină a roboților bucătari.

Bucătarii roboți au fost prezentați în science-fiction timp de zeci de ani, dar, în realitate, gătitul este o problemă dificilă pentru un robot. Mai multe companii comerciale au construit prototipuri de bucătari roboți, deși niciunul dintre aceștia nu este disponibil în prezent în comerț, iar în ceea ce privește abilitățile, aceștia rămân mult în urma omologilor lor umani.

Bucătarii umani pot învăța rețete noi prin observare, fie că se uită la o altă persoană care gătește, fie că urmăresc un videoclip pe YouTube, dar programarea unui robot pentru a pregăti o serie de feluri de mâncare este costisitoare și necesită mult timp.

„Am vrut să vedem dacă am putea antrena un robot bucătar să învețe în același mod incremental în care o fac oamenii – prin identificarea ingredientelor și a modului în care acestea se potrivesc în mâncare”, a declarat Grzegorz Sochacki de la Departamentul de Inginerie din Cambridge, primul autor al lucrării.

Robotul a recunoscut rețeta corectă în 93% din cazuri

Sochacki, doctorand în cadrul Laboratorului de robotică bio-inspirată al profesorului Fumiya Iida, și colegii săi au conceput opt rețete simple de salate și s-au filmat în timp ce le preparau. Apoi au folosit o rețea neuronală disponibilă publicului pentru a-și antrena robotul bucătar. Rețeaua neuronală fusese deja programată să identifice o serie de obiecte diferite, inclusiv fructele și legumele folosite în cele opt rețete de salată (broccoli, morcov, măr, banană și portocală).

Folosind tehnici de viziune computerizată, robotul a analizat fiecare cadru video și a reușit să identifice diferite obiecte și caracteristici, cum ar fi un cuțit și ingredientele, precum și brațele, mâinile și fața demonstratorului uman. Atât rețetele, cât și înregistrările video au fost convertite în vectori, iar robotul a efectuat operații matematice pe vectori pentru a determina similitudinea dintre o demonstrație și un vector.

Prin identificarea corectă a ingredientelor și a acțiunilor bucătarului uman, robotul a putut determina care dintre rețete era în curs de pregătire. Robotul a putut deduce că, dacă demonstratorul uman ținea un cuțit într-o mână și un morcov în cealaltă, morcovul ar fi fost tocat în bucăți.

Din cele 16 videoclipuri vizionate, robotul a recunoscut rețeta corectă în 93% din cazuri, chiar dacă a detectat doar 83% din acțiunile bucătarului uman. De asemenea, robotul a reușit să detecteze că ușoarele variații ale unei rețete, cum ar fi prepararea unei porții duble sau o eroare umană normală, erau variații și nu o rețetă nouă. De asemenea, robotul a recunoscut în mod corect demonstrația unei noi salate, a noua, a adăugat-o în cartea sa de bucate și a preparat-o.

„Este uimitor cât de multe nuanțe a fost capabil să detecteze robotul”, a declarat Sochacki. „Aceste rețete nu sunt complexe – sunt în esență fructe și legume tocate, dar a fost foarte eficient în a recunoaște, de exemplu, că două mere și doi morcovi tocați sunt aceeași rețetă ca și trei mere și trei morcovi tocați.”

Videoclipurile folosite pentru a antrena robotul bucătar nu sunt precum videoclipurile culinare realizate de unii influenceri din social media, care sunt pline de tăieturi rapide și efecte vizuale și care trec rapid înainte și înapoi între persoana care pregătește mâncarea și felul de mâncare pe care îl pregătește. De exemplu, robotul ar avea dificultăți în a identifica un morcov dacă demonstrantul uman ar avea mâna înfășurată în jurul acestuia – pentru ca robotul să identifice morcovul, demonstrantul uman trebuie să ridice morcovul astfel încât robotul să poată vedea întreaga legumă.

„Robotul nostru nu este interesat de genul de videoclipuri alimentare care devin virale pe rețelele de socializare – sunt pur și simplu prea greu de urmărit”, a spus Sochacki. „Dar, pe măsură ce acești roboți bucătari devin mai buni și mai rapizi la identificarea ingredientelor din videoclipurile cu mâncare, ar putea fi capabili să folosească site-uri precum YouTube pentru a învăța o gamă întreagă de rețete.”