Új, a járművek belső terét figyelő, mesterséges intelligencia alapú kamerát fejlesztett ki a Bosch. Ezek az eszközök mindent képesek érzékelni, ami az utastérben történik, például azt is, ha a vezető fáradt, vagy ha elvonják a figyelmét.
Ezt a bejegyzést akár meg is hallgathatod Daniella segítségével! Kattints a lejátszásra és hallgasd meg blogbejegyzésünket akár utazás, akár főzés, akár sportolás közben!
Nehéz mindenre figyelnie a járművezetőnek, különösen, ha utasokat is szállít. Nemcsak a változó forgalmi vagy fényviszonyok, hanem akár a hátsó ülésen rakoncátlankodó gyerekek is elvonhatják a figyelmét. A belső kamerákkal működő vezetéstámogató rendszerek azonban sokat segíthetnek a fenti esetekben, és sokkal biztonságosabbá tehetik a közlekedést. Ezeknek köszönhetően szükség esetén a jármű közbeavatkozhat és támogatást nyújthat.
A vezető figyelmét elvonó események nagyban befolyásolják az utasok biztonságát. Ezeket időben felismerni és a vezetőt figyelmeztetni létfontosságú
Minden, ami bent történik
Az egyik ilyen, az utasteret monitorozó rendszer része az Occupant Monitoring Camera (OMC), amelyen a Bosch Cross-Domain Computing Solutions részlege dolgozik. Ez az eszköz új funkciókkal egészíti ki a járművezetőt figyelő kamerát (DMC). A Bosch által kifejlesztett eszközt már alapfelszereltségként használják több gyártó járműveinek belső terében.
Mit tud?
Az OMC egy speciális, mesterséges intelligencia alapú (gépi tanulással működő) képfeldolgozó algoritmus segítségével figyeli a jármű teljes belső terét. Így képes arra, hogy megértse és elemezze a megfigyelt területet és figyelmeztetéseket vagy akár utasításokat adjon, ha szükséges. Ez az új kamera szélesebb látómezővel rendelkezik, mint a DMC, és képes azonosítani a vezetőt, valamint az utasokat, ráadásul azonosítja, hogy mit csinálnak az utasok, például azt is ki tudja szűrni, ha valaki eltereli a járművezető figyelmét. Ilyen esetekben, vagy ha azt érzékeli, hogy fáradt, esetleg már el is bóbiskolt a sofőr, a rendszer nem engedi, hogy a vezető visszavegye az irányítást, inkább biztonságosan megállítja a járművet az út szélén.
Kényelemben is első
A funkcióval tehát nagyban növelhető a közlekedésbiztonság, nem is beszélve arról, hogy 2024 júliusától uniós előírás, hogy minden új járműnek rendelkeznie kell a vezető fáradtságát érzékelő rendszerrel és hamarosan a járművezető figyelmének elterelését érzékelő rendszert is kötelezővé teszik.
Az OMC új funkciói a járművet még pontosabban támogathatják a belső térből származó információkkal és így jelentősen javítják a vezetés biztonságát, összhangban az uniós előírásokkal.
E mellett ráadásul a kényelmi funkciókat is támogatja. Mivel felismeri a járműben tartózkodókat, a személyre szabott beállításokat is képes automatikusan elvégezni. Így az üléspozíciót vagy a kívánt szórakoztató programot sem kell újra és újra beállítani manuálisan.
Képek kellenek, de rengeteg!
Persze mindez még nem minden, amit az OMC kamera tud, a Bosch kutatócsoportja ugyanis kifejlesztett egy algoritmust a 3D testhelyzet becslésére. Ez azt jelenti, hogy a testtartást és az autóban ülők térbeli helyzetét is képes felismerni a kamera.
A rendszer finomítására extrém nehéz képeket készítettek
Az algoritmus betanításához azonban képekre van szükség, méghozzá sok-sok képre, a járműben utazó emberekről minden elképzelhető pozícióban. Ezért a Bosch Researchnél 2019-ben valós képeket tartalmazó adathalmazt hoztak létre, amelyhez egy hanaui filmstúdióban fotóztak több mint 400 embert. Persze az ilyen kampányok költség- és időigényesek, és nehéz a statisztikailag szükséges számú tesztalany toborzása.
Mélység nélkül nem működik
Emellett a kutatók szembesültek egy másik problémával is, amire a legtöbben nem is gondolnának: a valódi fényképeken nincs mélységinformáció. Vagyis például az nem derül ki, hogy milyen távol ülnek az emberek egymástól, milyen helyzetben van a kezük a jármű belsejében, vagy hogy milyen messze vannak a kamerától.
Ezen információk meghatározásához és az OMC számára megfelelő adatok megszerzéséhez olyan mélységmérési módszerre van szükség, mint a ToF (Time of Flight), sztereó vagy többkamerás háromszögelés. A mélységi, vagy ToF-kamerarendszerek a repülési idő módszerét használják a kamera és a tárgy vagy személy közötti távolságok mérésére. Ezek a rendszerek tehát olyan érzékelőt használnak, amely képes fényt kibocsátani az infravörös spektrumban, majd rögzíteni a visszaverődés sebességét. A többkamerás rendszereknél a 3D képpontok kiszámítása több kamera háromszögelésével valósítható meg. Így például a hátsó ülésen utazókat is képes azonosítani a rendszer.
Valós is és virtuális is
Annak érdekében, hogy az adathalmaz a lehető legváltozatosabb legyen, és elkerüljék a további valós képekkel járó költségeket, a Bosch Research munkatársai a valós adatokat szintetikus információkkal egészíti ki. Ehhez nyílt forráskódú 3D modellező szoftvert használnak a szakemberek, amely lehetővé teszi, hogy különböző belső forgatókönyvekről és az utasok testtartásáról képeket generáljanak.
A 3D-modellezés a mélységinformáció megállapításában is segít
Nem elég jó? A mesterséges intelligencia majd kijavítja!
Persze a szintetikus képek esetében is szembesültek gyakorlati problémákkal a kutatók. Például a virtuális jármű belsejében az emberek összeolvadhatnak az ülés kontúrjával, és előfordulhat, hogy a kezek vagy karok nem látszanak. Annak érdekében, hogy ez elkerülhető legyen, a Bosch kutatócsoportja kidolgozott egy adaptációs eljárást, a digitális pózkorrekciót. Ez olyan gépi tanulási folyamaton alapul, amely valós felvételekből megtanulta, hogy az emberek milyen pózokat vehetnek fel és milyeneket nem.
A szoftvernek pontosan kell tudnia azonosítani a figyelem elvesztését
Ezek a mesterséges intelligencia által generált képek azonban még mindig nem eléggé valósághűek a kamera algoritmusának tanításához. A csapat ezért a következő lépésben generatív MI-t használt, hogy az valósághűbb képeket hozzon létre. A 3D modellező szoftvert összekapcsolták egy MI képgenerátorral, így csökkentették a szintetikus és a valós adatok közötti úgynevezett tartományi szakadékot, vagyis a kamera algoritmusát szintetikus képekkel képzik ki, de az OMC-nek természetesen valós képeket kell rögzítenie és értékelnie. Minél realisztikusabbak ugyanis a képzési adatok, annál megbízhatóbb lesz a belső kamera működése.
Több százezer kép néhány nap alatt
A szintetikusan generált adatok előnyei nyilvánvalóak: a járműben tartózkodó személyek száma, testtartásuk, méretük, életkoruk és ruházatuk gyorsan és egyszerűen variálható, ráadásul a képszimulációba különböző járműmodellek is könnyedén bevonhatók. A modellező szoftver és a generatív mesterséges intelligencia kombinációjának köszönhetően néhány nap alatt több százezer képet lehet létrehozni. A nagy mennyiségű adat segítségével pedig a képfelismerő algoritmus jobban tud általánosítani, ami azt jelenti, hogy ismeretlen helyzetekben is jobban működik.
Fontos, hogy megfelelően azonosítsuk a járműben tartózkodókat, ez például egy gyerekülésben ülő kisgyermek esetében különösen összetett feladat
A szintetikus adatok használatának persze vannak hátrányai is, többek között a már említett tartományi rés. Előfordulhat ugyanis, hogy a szintetikus képek nem teljesen élethűek és ezért a valós kameraképektől eltérő zajmintázatot mutatnak. A projektben először alkalmazott generatív megközelítésnek tehát lehetővé kell tennie, hogy a szintetikus adatok realizmusa a lehető legközelebb legyen a valós képekéhez. Ha azonban a fejlesztések sikerrel járnak, a kamera algoritmusok betanításához hamarosan talán már nem lesz szükség valós adatokra.
A jövő autójához elengedhetetlen lesz egy jól működő rendszer
Olcsó és gyors megoldás
A Bosch Research projektjéről kijelenthetjük, hogy már most bebizonyította, a szintetikus adatok használatának van értelme, és jelentős megtakarításokat tesz lehetővé. A szintetikus adatoknak köszönhetően elkerülhetők az időigényes és költséges fotózások, és a képfelismerő algoritmusok fejlesztési ideje is jelentősen csökkenthető.
