Už je to dlouhých sedm let, co se inženýři ze skupiny pro pokročilé technologie a projekty ATAP pochlubili prací na unikátním miniradaru. Google natočil několik futuristických upoutávek a novinka brzy dostala i své jméno Soli.
60GHz radar velikosti zrnka rýže sliboval revoluci v ovládání počítačů a elektroniky, detektor měl totiž rozlišit odrazy od okolních překážek až se submilimetrovou přesností a vysokou rychlostí, což by šlo využít k dříve nemyslitelných bezdotykovým gestům a dalším technikám z ranku UI/UX.
Podívejte se, co dokáže 60GHz pulzní koherentní radar Acconeer. Odhalí, co je uvnitř krabice a rozpozná i tlukot srdce:
Když se nepodaří technologii přetavit v aplikaci
Jenže jak už tomu v životě bývá, nadějná nízkoúrovňová technologie občas narazí na prostý fakt, že ji nelze využít o několik pater výše na aplikační úrovni. Když tedy o pár let později dorazil miniradar do první spotřební elektroniky – mobilního telefonu Pixel 4 –, nadšení zákazníci záhy zjistili, že jej operační systém využívá jen k několika málo dílčím a veskrze primitivním úkonům. Třeba k rozsvícení obrazovky, když k telefonu natáhnete ruku.
Technologie Soli slibuje bezdotykové ovládání pomocí radaru
Jistě, bylo to praktické, ale – ruku na srdce – nebyla to žádná kosmická technologie a už vůbec ne revoluce. Z dalších iterací Pixelu technologie Soli nakonec vypadla, a byť občas na internetech probleskne zprávička, že ji v ATAPu nadále rozvíjejí, poslední odborné publikace se dočkala naposledy loni v květnu.
Soli není jediný svého druhu
Ať už Soli najde cestu zpět do mobilních telefonů, anebo se inženýři zaměří na jiné aplikace, samotný princip miniaturních radarů operujících v pásmu milimetrových vln žije dál a Soli rozhodně není jediný svého druhu.
Radar Acconeer A111 pod mikroskopem a se zřetelnými anténami vysílače a přijímače. Pravítko níže napovídá, že má celý čip se vším všudy rozměry pouhých 5,5×5,2 milimetrů
Pokud byste si chtěli podobný radar vyzkoušet, nemusíte dokonce ani cestovat do Mountain View, jeden takový totiž vyvíjí švédské studio Acconeer. Jmenuje se A111 (datasheet) a už je nějaký pátek komerčně k dispozici v celé škále provedení od holého čipu po prototypovací desky, které snadno připojíte k počítači.
Acconeer nabízí svůj radar v hromadě prototypovacích provedení
A111
Švédský radar používá 60GHz (mmWave) pulzní koherentní technologii a směrovou anténu. Funguje tedy jako dálkoměr, který před sebe vysílá sled kratičkých a identických pulzů s frekvencí 60 GHz.
Radar generuje různě dlouhé (short/long wavelet) pulzy, které se odrazí od překážky
Když takový pulz narazí na překážku s odlišnou relativní permitivitou, část jeho energie se odrazí zpět a zachytí ji detektor. Podle známé rychlosti světla pak řídící jednotka spočítá, v jaké vzdálenosti se překážka nachází. Radar od Acconeeru to zvládne rozsahu 60-7000 mm.
Čip radaru s okolím komunikuje po sběrnici SPI
Fajn, toto ale umí kdejaký bezkontaktní dálkoměr na bázi ToF (Time of Flight). Ať už mezi kutily oblíbený ultrazvukový modul HC-SR04 za pár kaček, tak neméně oblíbené a jen o trošku dražší laserové dálkoměry řady VL53L od ST. Ostatně, ten nejpokročilejší a maticový VL53L5CX jsme si loni podrobně představili v samostatném článku.
Proč tedy utrácet za jakýsi pulzní radar? Protože toho umí mnohem více!
Vidí skrze překážku jako Robocop
Zaprvé, radarový dálkoměr může být mnohem rychlejší, A111 totiž dokáže ostřelovat překážku před sebou až 1500× za sekundu. No, a za druhé, detektor dle amplitudy odraženého signálu rozpozná útlum, tedy množství energie, o které pulz přišel.
Radar může vrátit hloubkový řez s daným rozsahem měření. Překážka se pak nachází v místě s nejvyšší amplitudou. V tomto případě 35 mm
Jak už jsme si řekli výše, útlum odpovídá relativní permitivitě materiálu – míře odporu při vytváření elektrického pole v médiu (zde vztažené k permitivitě vakua). Permitivita se materiál od materiálu liší, takže pokud umístíme radar do konstantní vzdálenosti od překážky, lze jej s trochou píle proměnit v materiálový detektor.
Tabulka relativní permitivity pro několik základních materiálů. Bude jim odpovídat i množství energie, které dorazí zpět do detektoru – tedy amplituda měření
Z předchozího plyne ještě jedna praktická vlastnost. Hodnota relativní permitivity média se vždy vztahuje k určité frekvenci, no a při 60 GHz mohou být některé materiály pro milimetrovou vlnu stále částečně průhledné.
To znamená, že radar nemusí zachytit odraz pouze od první překážky, ale pokud bude pro jeho sled pulzů alespoň částečně průchozí, detektor zachytí i sekundární odrazy za ní. Stručně řečeno, může vidět skrze zeď!
Acconeer XM112
Futuristická technologie stojící za Soli mě vždy lákala, rozbil jsem tedy všechna svá prasátka a od rakouského distributora Codico objednal XM112 High Performance Module (48 eur) a jeho základní prototypovací desku XB112 High Performance Breakout Board (63 eur) s dvojicí microUSB, do který modul zacvaknete.
Výkonný modul XM112 a jeho základní deska XB112 pro snadné prototypování
Mimochodem, ty ceny jsou bez DPH, celá legrace mě proto loni přišla zhruba na 127 eur (od té doby se cena ještě mírně zvýšila).
Destička XM112 je jen o něco menší než SD karta a vedle samotného radaru na čelní straně je vybavená i výkonným mikrokontrolerem ATSAME70Q20A (ARM Cortex-M7, 384 kB RAM, 1 MB flash).
Modul XM112 má na čelní straně radar a na zadní mikrokontroler pro váš program. Deska XB112 je vyzbrojena USB převodníky FTDI a má vyvedené piny armového čipu
Může na něm běžet váš vlastní firmware, který bude s radarem komunikovat skrze sběrnici SPI a pomocí knihovny RSS (Radar Software System) napsané v jazyku C. Zájemci vše najdou na vývojářském webu Acconeeru včetně několika příkladů a SDK.
Pro experimenty jsem si navrhl a vytiskl jednoduchý stativ
Acconeer Exploration Tool
Aby to bylo pro zelenáče ještě jednodušší, do mikrokontroleru mohou flashnout připravený firmware, se kterým pak budou komunikovat skrze USB/UART, SPI a další protokoly.
Grafické testovací rozhraní napsané v Pythonu
Přesně to jsem pro začátek udělal i já, v takovém případě pak totiž stačí základní desku XB112 s modulem XM112 připojit skrze USB k počítači s Windows, macOS nebo Linuxem a z GitHubu stáhnout testovací grafické rozhraní napsané v Pythonu jménem Acconeer Exploration Tool.
Nástroj je postavený na knihovně acconeer.exptool, která komunikuje přímo s firmwarem a v Pythonu vše náramně zjednodušuje. Ostatně, koukněte na pár příkladů. Kompletní a opravdu obsáhlou dokumentaci k tomuto nástroji najdete zde, kde načerpáte hromadu informaci i k samotné radarové technologii.
Detektor dechu, ale dokonce i tlukotu srdce
Exploration Tool nabízí hromadu surových nástrojů pro analýzu dat z radaru a také několik hotových detektorů z knihovny RSS a potažmo i té jednodušší pro Python, takže po základní instalaci vše rozjedete i ve vlastních skriptech na pár řádcích kódu.
Počítadlo dechů. V grafu Dýchací pohyb si všimněte detekce inhaling (nádech), frekvence 9,5 BPM (nádechů za minutu) a pohybu 2,4 mm
Z dat velmi citlivého dálkoměru vyčtete i ty nejdrobnější nuance. Součástí balíku je tak i příklad, který se pokouší monitorovat váš dech. Stačí radar postavit na stůl (nebo nainstalovat třeba nad lůžko), nastavit rozsah vzdálenosti, ve které má měřit, no a když začnete dýchat, rozpozná opakující se vzor pohybu žeber a v grafu začne vykreslovat a počítat jednotlivé nádechy. Pochopí, co je nádech, co výdech a dopočítá frekvenci.
Zadržel jsem dech, takže graf Dýchací pohyb už nedetekuje pohyb plic, ale v sousedním grafu Relativní pohyb se začal vykreslovat jakýsi relativně periodický signál. Tlukot srdce
Ovšem pozor, obdivuhodnou citlivost a rychlost snímače odhalíte až tehdy, když v tomto příkladu zadržíte dech. V grafu se brzy zobrazí drobné vlnky s nízkou amplitudou a s o něco vyšší frekvencí než dech čtenáře Živě.cz.
Co to může být? Nějaký neznámý šum? Ale kdeže. To jsou údery vašeho srdce!
Radar + AI = detekce gest jako na Soli
Základní měření vzdálenosti při vysoké rychlosti a relativní přesnosti lze využít i způsobem, jak to zkouší Google i se svým Soli. Acconeer na to myslí a nabízí nástroje pro napojení na strojové učení a budování neuronové sítě na bází knihovny Keras.
Radarová odezva komplexního pohybu, třeba gesta, je příliš složitá, může ji ale rozpoznat strojové učení, na které Acconeer také myslí
Ta si pak může cvičením vytvářet statistický model toho, jaký sled pohybů před detektorem odpovídá určitým gestům. Jelikož čidlo zaznamená i drobné nuance (viz zmíněné plíce a tlukot srdce) a dokáže měřit jen ve stanoveném rozsahu (a ignorovat pohyb ve vyšší vzdálenosti), mohlo by rozpoznat i pohyb dílčích prstů.
Hloubkový dálkoměr
Na závěr si ukažme ještě jeden příklad, ke kterému nám bude stačit prostý výstup z dálkoměru. Jak už jsme si řekli výše, některé materiály jsou pro 60GHz signál elektromagneticky téměř průhledné, a tak detektor zachytí odrazy nejen z první překážky, ale i z těch dalších za ní.
Krabička je prázdná, a tak radar zachytil odrazy z její čelní i zadní stěny
Když krabičku vyplním plastovým harampádím, které je ale stále relativně průhledné, v grafu se mi krabička vyplní hromadou dílčích vnitřních odrazů
Když do o něco větší krabice umístím láhev s tekutinou, bude pro radar téměř neprůhledná
Kov je silnou překážkou, přesto i zde je v grafu patrný stín zadní stěny
Když nastavíme hloubkové měření třeba na rozsah 20-50 centimetrů, radar nám vrátí nikoliv jedno číslo představující vzdálenosti k první překážce, jak je tomu u běžných ToF dálkoměrů, ale hloubkový řez, kde každému budu odpovídá určitá amplituda zachyceného odrazu.
Plast pro radar není žádná překážka, v grafu jsou tedy patrné stěny láhve a mé ruky
Takže stačí postavit před dálkoměr třeba prázdnou kartonovou krabici a v grafu uvidíme dvě výraznější amplitudy oproti okolnímu šumu. Ta první a silnější bude odpovídat odrazu od čelní stěny krabice, no a ta druhá a slabší odrazu od zadní stěny.
Je v krabici víno?
Tímto způsobem můžeme zjistit hromadu zajímavých informací. Pokud bude krabice vždy ve stejné vzdálenosti, podle měnící se amplitudy si můžeme vytvořit knihovnu materiálů, které odpovídají jejich typickým odrazům (různá relativní permitivita při 60 GHz), a následně detekovat, jestli je krabice z lepenky nebo třeba z plastu.
Zároveň snadno změříme, jak je krabice hluboká (vzdálenost obou nejsilnějších amplitud). No, a pokud místo dvou amplitud uvidíme jen jednu, respektive se nám okrajové amplitudy slijí dohromady v jednu mocnou a širokou vlnu, snadno odhadneme, že je krabice plná – třeba plná lahví s vínem.
Kdybychom tuto technologii teleportovali do osudného 14. května roku 2012, David Rath by nebyl překvapený, že jsou v krabici namísto lahví pečlivě poskládané korupční bankovky, papír a voda totiž mají odlišný odrazový vzor.
Co se s tím dá ještě udělat?
Možných aplikací je ale celá hromada. Sám Acconeer nabízí vedle prostého měření vzdálenosti s milimetrovou přesností ještě případové studie pro detekci zabraného parkovacího místa, hladiny vody v chytré vaně, detekci pohybu v místnosti a samozřejmě i obecné detekce překážek pro využití třeba v robotických vysavačích.
Pulzní koherentní miniradar na kmitočtu milimetrových vln je zatím ta zdaleka nejdražší hračka našeho seriálu a také hračka, která nabízí hromadu potenciálních využití. Ještě se k ní tedy určitě vrátíme.
