Detekce pohybu pomocí signálu Wi-Fi už dnes není žádné sci-fi a se dvěmi prototypovacími destičkami vybavenými čipem ESP32 to zvládne každý domácí elektrokutil na pár řádcích kódu.
Se vším pomůže technologie CSI (Channel State Information), která obsahuje hromadu informací o tom, jak kvalitní byl právě přenos dat mezi vysílačem a přijímačem. Je to takový komplexnější a přesnější údaj než sice rozšířenější, ale příliš zobecnělý údaj RSSI.
Wi-Fi vysílač (CSI SEND) posílá zprávy, zachycuje je Wi-Fi přijímač (CSI RECV) a v laptopu se vypisují odchylky v kvalitě signálu CSI
Když mezi Wi-Fi vysílačem a přijímačem projde člověk, samozřejmě silně zdeformuje nejbližší elektromagnetické pole, což se projeví i ve zprávě CSI. Zvláště když ji budeme na přijímači číst dostatečně rychle po sobě, aby nám neunikl žádný náhlý výkyv.
3D modely lidí v místnosti ze signálu Wi-Fi
Informace „v místnosti je pohyb“ ovšem přišla inženýrům z univerzity Carnegie Mellon příliš vágní, a tak detekci skrze Wi-Fi a CSI dovedli k dokonalosti. Ano, správně, jak už tomu dnes bývá, na pomoc povolali umělou inteligenci.
Základní hardwarová konfigurace experimentu s Wi-Fi vysílačem a přijímačem
Testovací kancelář vybavili hned několika Wi-Fi body, které mohly prostor uprostřed křížově snímat ze všech úhlů. Poté opět začali číst z přijímačů údaje o kvalitě signálu CSI rychlostí 100 Hz a vytvořili z nich prostorovou matici, která připomínala obrázek.
Pole vysílačů/přijímačů a matice přijatých zpráv CSI jako vstup pro strojové učení (náhrada za obrázek z běžné kamery)
Obrázek, který samozřejmě začne měnit barvy, když se v prostoru začne pohybovat nějaká masa hmoty, která způsobí náhlý útlum signálu.
Tato komplexní data poté prohnali upraveným strojovým učením DensePose.
DensePose proměnila šum v člověka
DensePose je neuronka, která se učí v běžném RGB obrazu segmentovat lidské postavy a detekovat jejich základní kostru. Vědci z Carnegie Mellon ji přeučili takovým způsobem, aby pochopila, že lidskému tělu v různých polohách odpovídá právě takový charakter prostorové matice složené ze zpráv CSI.
Neuronka DensePose slouží k detailní segmentaci postavy člověka v záběrech z kamery
Výsledek je ohromující! Upravený PoseNet generuje relativně detailní 3D modely osob, tentokrát mu ale namísto obrazu z běžných kamer stačí numerická data o kvalitě rádiového signálu z matice přijímačů rozmístěných v místnosti.
Upravená neuronka DensePose v akci. Nahoře kontrolní segmentace pomocí běžné kamery, dole pak pomocí signálu Wi-Fi
Samozřejmě to není bezchybné, ale z toho mála, čím se vědci pochlubili v článku publikovaném na Arxivu (PDF), je zřejmé, že lze rozlišit jednotlivé osoby a alespoň částečně i jejich momentální pózy v 3D prostoru.
Segmentace z běžné kamery a z Wi-Fi signálu