Vše, co musíte udělat, je naškrábat gesto na desku stolu. O zbytek už se postará mikrofon zabudovaný v zařízení a software, který gesto rozpozná.
Scratch input – škrabací vstup je další z nápadů, který by mohl změnit způsob, jakým komunikujeme s počítači a elektronickými zařízeními. Je založený na rozpoznávání gest pomocí analýzy zvuku, který při malování gesta vydává předmět pohybující se po hrubším povrchu.
„Je to šílený nápad, ale je jednoduchý“, říká k tomu jeden z autorů projektu Chris Harrison, který na projektu začal pracovat před více než rokem a představil jej na loňském UIST. „Když máte mobil v kapse a chcete umlčet příchozí hovor, nemusíte jej vytahovat, stačí jen nehtem přejet po džínách.“
Podobné ovládání lze využít nejen při ovládání počítačů či přehrávačů, ale užitečné by mohlo být i u mobilních zařízení. U nich je další výhodou, že díky vestavěnému mikrofonu není kromě implementace softwaru zapotřebí žádných dalších nákladů. Nezanedbatelnou výhodou může být i možnost ovládat několik zařízení najednou – na videu je to demonstrováno vyškrábáním písmene S (jako silent), kdy jedním tahem po stole umlčíte mobilní telefon, instant messenger i mailového klienta v notebooku v okamžiku, kdy si nepřejete být rušeni.
Při rozpoznávání zvuku musí zařízení, respektive část s mikrofonem, ležet na podložce, na kterou gesta vyškrabaváte. Důvod je prostý – technologie využívá toho, že zvuk šířící se ve škrábaném materiálu lze zachytit na větší vzdálenost a s větší intenzitou, než když se šíří vzduchem. Rozdíl mezi snímáním zvuku klasickým způsobem a mikrofonem na podložce je na začátku videa, ověřit se to dá snadno – stačí položit ucho třeba na dřevěnou desku stolu a přejet po ní nehtem. Pomocí této technologie lze snadno a levně vytvářet velké povrchy, které mohou sloužit jako vstupní zařízení.
Na videu je názorná ukázka toho, jak velmi dobře se může zvuk šířit i na velkou vzdálenost po zdi. Podotýkáme, že v ukázce jde o typický „papundeklový“ americký dům, který je pro dané účely ideální. Zvuk se velmi dobře šíří na vzdálenost jednoho, dvou, čtyř i osmi metrů a nemá problém ani s rohy, kouty či dveřmi. S rostoucí popularitou sádrokartonu by už s ovládáním přehrávače čmáráním po zdi nemusel být problém ani u nás. Tento příklad není ale zrovna ideální – zdi by po krátkém používání nevypadaly zrovna nejlépe, a případní sousedi by se asi velmi rychle naučili, že vyřvávající věž umlčí dvojím bouchnutím do zdi.
Téměř stejně dobře, jako při přímém kontaktu mikrofonu s povrchem, lze zvuk snímat i přes plastové či kovové kryty mobilních zařízení – problém prý byl pouze u mobilních „véček“, která neležela na stole spodní polovinou s mikrofonem, nebo u notebooků, jejichž mikrofon byl umístěný v horní polovině s displejem, která neležela přímo na stole. I u nich ale stačí přidat druhý mikrofon (náklady by měly být méně než jeden dolar) a bude fungovat ve všech polohách.
Pro snímání zvuku z měkčích materiálů (např. látek) lze využít zařízení podobné stetoskopu.
Vydávaný zvuk obsahuje složku (typicky s frekvencí vyšší než 3000 Hz), kterou lze velmi dobře odlišit od běžných okolních ruchů, jako je hlas, zpěv, typické mechanické vibrace způsobené zařízeními s motorem či od vrčících elektrosoučástek. Zvuk z mikrofonu stačí prohnat high-pass filtrem (horní propusť).
Při vyhodnocování gest se pak využívá změn charakteristiky zvuku, které má na svědomí zrychlování či zpomalování škrabadla při vytváření různých gest. Příklad toho, jak se liší zvuk sejmutý při vykreslování linky, kolečka, trojúhelníku a čtverce je na následujícím obrázku:
Kromě škrábání lze využít i poklepání, které se dá od škrabotu dobře odlišit. Složitější gesta lze vytvářet kombinací tahů a klepání.
Rozlišování má ale své limity – problém je s gesty, která ač vypadají odlišně, mají při malování velmi podobný zvukový projev tahů – například dvojice písmen M a W, V a L či X a T. I když je úspěšnost při určování znaku asi devadesátiprocentní, nelze zaručit, že systém gesto identifikuje správně.
Další problém je s lokalizací směru zvuku. Jelikož se zvuk snímá jen jediným mikrofonem, zařízení nerozezná, jestli při kroužení po podložce pohybujete prstem po nebo proti směru hodinových ručiček. Gesta jsou pro mikrofon vlastně jednorozměrná, snímá se pouze intenzita zvuku. Rozpoznávání je ještě možné vylepšit i o měření frekvencí nebo doby trvání tahů a dosáhnout tím větší přesnosti.
Omezením je i povrchová struktura některých materiálů. S nehtem toho moc nezmůžete na velmi hladkém povrchu, jako je sklo či hladce laminovaná dřevotříska.
Autoři projektu věří, že i přes zmíněná omezení se tato technologie jeví dost slibná na to, aby se mohla dostat mezi běžné spotřebitele. Je velmi levná a má potenciál přerůst rámec výzkumného projektu. A na rozdíl od jiných laboratorních technologií jde v tomto případě o poměrně jednoduchou a, co se potřebného zařízení týče, levnou záležitost, kterou zvládne i šikovnější programátor.