Övrigt

Revolutionerande forskning presenteras av Facebook AI

Ego4D visar upp allt från förstapersonsperspektiv och underlättar för framtida AR/VR

Facebook presenterar idag resultatet av banbrytande forskning kring artificiell intelligens. Projektet Ego4D syftar till att visa upp ett förstapersonsperspektiv för AR och VR.

Forskningsavdelningen Facebook AI presenterar ett omfattande arbete kring AR (Augmented Reality) och VR (Virtual Reality) som visar upp hur världen ser ut genom första person. Till skillnad från många andra forskningar baseras inlärning av AI på rörelser och visuella intryck från ett tredjepersonsperspektiv. Med detta nya underlag har man velat studera hur det egentligen ser ut genom våra ögon och resultatet ska på sikt användas för att förbättra tjänster kring just AR och VR. Upplevelserna blir mer uppslukande och i förlängningen kan detta resultat leda till att AR-glasögon och VR-headset blir lika användbara i vardagen som smartphones.

Exempel på hur detta kan användas i praktiken är att din enhet då kan visa dig exakt hur du ska hålla ett par trumstockar under en lektion eller genom att guida dig igenom ett recept. På sikt kan enheten även hjälpa till att hitta förlorade ägodelar genom att återkalla minnen som en form av hologram som då uppenbaras framför dig.

Egocentrisk uppfattning

Om dessa tekniker ska byggas på ett mer verklighetsbaserat sätt måste AI förstå hur interaktionen fungerar hos människor, från ett förstapersonsperspektiv. Detta perspektiv kallas i forskarvärlden för egocentrisk uppfattning och projektet som Facebook AI nu presenterar går under namnet Ego4D och är ett långsiktigt projekt inom företaget.

Till skillnad från dagens AI med sin “Computer Vision” så lär denna sig allt från miljontals foton och videos som fångas ur ett tredjepersonsperspektiv där kameran betraktas som en åskådare till det som sker.

13 universitet och laboratorier

Totalt har 13 universitet och laboratorier i nio länder bildat ett konsortium och arbetat med att samla in mer än 2200 timmar av vardagsföreteelser sedda från förstaperson. Hela 700 deltagare har hjälpt till med att filma sina företaganden vilket ökat omfattningen av den egocentriska data som nu finns tillgänglig att studera närmare. Hela projektet har finansierats av Facebook genom akademiska gåvor till alla deltagande universitet.

5 unika riktmärken

I samarbete med konsortiet och Facebook Reality Labs Research (FRL Research) utvecklade Facebook AI också fem riktmärken med fokus på förstapersonens visuella erfarenhet som främjar framsteg mot verkliga applikationer för framtida assistenter. Ego4D’s fem riktmärken är:

  • Episodiskt minne: Vad hände när (t ex “Var lämnade jag mina nycklar?”)?
  • Prognoser: Vad kommer jag sannolikt att göra härnäst (t ex “Vänta, du har redan tillsatt salt i detta recept”)?
  • Hand- och objektmanipulation: Vad gör jag (t ex ”Lär mig att spela trummor”)?
  • Audiovisuell diarisering: Vem sa vad när (t ex ”Vad var huvudämnet under lektionen?”)?
  • Social interaktion: Vem interagerar med vem (t ex ”Hjälp mig att bättre höra personen prata med mig på denna bullriga restaurang”)?

Med dessa riktmärken ska smartare AI-assistenter utvecklas på sikt då de kan förstå och interagera i den verkliga världen också.

Ytterligare 400 timmar av förstapersonsbetraktelser gjordes med hjälp av Vuzix Blade Smart Glasses i iscensatta miljöer. Alla deltagare har gett sitt medgivande till all insamling då integriteten varit högt prioriterad under projektets genomförande.

Källa: Pressrelease

Läs mer

Populärt i bubblan idag

Inga inlägg!