Jakub Pavlák a jeho tým demonstrují své robotické ruky. Projekt vyvíjejí už několik let.

Jakub Pavlák a jeho tým demonstrují své robotické ruky. Projekt vyvíjejí už několik let.

Robotická paže má k dispozici kameru a strojové rozpoznávání obrazu

Robotická paže má k dispozici kameru a strojové rozpoznávání obrazu

Robotická ruka nemusí dle zadání klepat jen na přesnou pozici X,Y, ale na konkrétní objekt, nehledě na to, kde se na displeji přesně nachází. Optické rozpoznávání jej najde samo.

Robotická ruka nemusí dle zadání klepat jen na přesnou pozici X,Y, ale na konkrétní objekt, nehledě na to, kde se na displeji přesně nachází. Optické rozpoznávání jej najde samo.

Robotická ruka má k dispozici průmyslovou kameru s kvalitní optikou

Robotická ruka má k dispozici průmyslovou kameru s kvalitní optikou

V laboratoři se na velké nástěnné obrazovce vypisují všechny provozní informace

V laboratoři se na velké nástěnné obrazovce vypisují všechny provozní informace

Samotný testovací scénář, který má ruka vykonat, může operátor napsat v jednoduchém, a přitom komplexním zápisu instrukcí

Samotný testovací scénář, který má ruka vykonat, může operátor napsat v jednoduchém, a přitom komplexním zápisu instrukcí

A takto vypadá celý systém. Samotná výpočetní jednotka ruky se může nacházet kdekoliv na podnikovém serveru, skrze IoT krabičku je totiž připojená do sítě

A takto vypadá celý systém. Samotná výpočetní jednotka ruky se může nacházet kdekoliv na podnikovém serveru, skrze IoT krabičku je totiž připojená do sítě

Kamera robotické ruky právě našla tlačítko OK, které nyní ruka stiskne

Kamera robotické ruky právě našla tlačítko OK, které nyní ruka stiskne

Robotická ruka může na rozdíl od člověka vykonávat testovací scénáře třeba celou noc. Operátor pak bude mít ráno přichystaný report a naměřená data.

Robotická ruka může na rozdíl od člověka vykonávat testovací scénáře třeba celou noc. Operátor pak bude mít ráno přichystaný report a naměřená data.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Chcete také experimentovat s podobným robotem? V únorovém vydání časopisu Computeru jsme čtenářům představili amatérskou programovatelnou stavebnici.

Robotická paže má k dispozici kameru a strojové rozpoznávání obrazu
Robotická ruka nemusí dle zadání klepat jen na přesnou pozici X,Y, ale na konkrétní objekt, nehledě na to, kde se na displeji přesně nachází. Optické rozpoznávání jej najde samo.
Robotická ruka má k dispozici průmyslovou kameru s kvalitní optikou
V laboratoři se na velké nástěnné obrazovce vypisují všechny provozní informace
12
Fotogalerie

Průmysl 4.0 podle Y Softu: Roboruka s umělou inteligencí ovládá tiskárnu i mobil

  • Brněnský Y Soft vyvíjí robota pro testování UI
  • Díky kameře vidí, co se před ním odehrává
  • Může testovat třeba ovladač tiskárny nebo mobilní aplikaci

Loni jsme navštívili výrobní buňku 4.0, experimentální prototyp fabriky zítřka, jak si ji představují inženýři z jihomoravské laboratoře Intermac (JIC). Výrobní buňku tvoří shluk automatizovaných strojů, robotických rukou a měřících stanic, takže celý proces výroby může být rychlejší… A bez lidí.

Tento týden jsme navštívili další laboratoř. Také byla plná robotických rukou, ty však tentokrát neměly rozměry gauče, ale byly to drobné strojky s několika malými servomotorky. Přesto se nejednalo o hračky pro kutily, ale „zaměstnance,“ kteří nahradili skutečnou lidskou sílu.

Vyrazili jsme se totiž podívat do brněnského Y Softu, který okupuje dvě budovy v blízkosti kampusu zdejšího VUT. Y Soft vyvíjí softwarové podnikové systémy pro správu tisku a stejně jako každá jiná firma potřebuje testery, kteří zkoušejí, jestli programy fungují přesně tak, jak mají.

Robotická ruka pro testery

Y Soft má také svoji laboratoř Y Soft Labs, kde si pohrává s IoT, novými přístupy a systémem RQA – robotickou rukou s kvalitní průmyslovou kamerou a hlavně napojením na síť a strojové učení. Ve středu nám jej v akci předvedl Jakub Pavlák z robotického týmu a jeho vývojáři.

ccfcc435-d730-47a0-966a-f8853b6ec1c2
Jakub Pavlák a jeho tým demonstrují své robotické ruky. Zatímco jedna testuje ovládací software kancelářské tiskárny, druhá aplikaci na telefonu.

I když má Y Soft ambice nabízet RQA jako komerční řešení pro další společnosti, sám jej vyvíjí pro účely vlastního testování. Robotická paže totiž zastoupí skutečného testera z masa a kostí, kterého musíte vykrmovat kávou a tučnou pizzou.

Takže jak to celé funguje? Dejme tomu, že budete studio, které vyvíjí novou mobilní aplikaci a potřebuje neustále testovat, jestli její GUI správně funguje. Základní logiku sice můžete otestovat ve virtuálním prostředí na emulátoru, ovšem jak aplikace reaguje na skutečném telefonu, vyzkoušíte jen v reálných podmínkách.

a90ebbc6-14ee-465e-851e-c93b17c98b41aa0779d2-a95c-4828-8f9a-56f488085e2827e75530-fc6e-4d56-93e1-0703c681a677f2a80a8f-3ccf-4e31-8fd7-9eabf9b7e045
Robotické ruky nahradí lidského testera, který má dle scénáře vyzkoušet ovladač tiskárny, anebo mobilní aplikaci. Software ruky díky kamerám rozpoznává objekty na displejích a klepá na správné místo. Na nástěnné obrazovce se poté vypisují provozní informace o aktuálním testování.

Možností je hromada počínaje veřejným betatestem a konče interními testery, kdybyste ale měli ysoftí ruku, prostě pod ní položíte telefon, na které bude vaše aplikace, v jednoduchém prostředí sestavíte sadu instrukcí, které má ruka vykonat, načež ta to bude provádět třeba celou noc stále dokola.

Díky strojovému vidění klepe tam, kam opravdu má

Řešení z Brna je přitom unikátní zejména v tom, že do hry vstupuje inteligentní rozpoznávání obrazu, takže robotická paže do jisté míry připomíná člověka. Nejprve tedy software naučíte, co který symbol na displeji znamená, a pak můžete napsat sadu instrukcí nikoliv ve smyslu: klepni na pozici X,Y, ale: klepni na tlačítko OK.

Robotická ruka a rozpoznávání obrazu:

Drobný detail? Ani náhodou! Představte si například, že v rámci vývoje přesunete nějaký prvek někam jinam. Kdybyste měli hloupou ruku, která prostě jen klepá na přesné místo na displeji, museli byste její testovací program zcela přepsat, což by se u malých projektů nejspíše vůbec nevyplatilo.

Naše chytrá ruka se ale díky kameře stejně jako člověk dívá a hledá, na co má dle instrukci klepnout. Principiálně se tedy opravdu neliší od brigádníka, který dorazí na noční směnu a dostane štos s body, které má s mobilem provádět.

Robotická ruka se přihlásí, vybere a vytiskne dokument:

Díky tomuto přístupu se dokáže software vypořádat i s nejrůznějšími nečekanými překážkami, o kterých poté zaznamená podrobný report. Když se tedy na obrazovce telefonu objeví třeba něco jiného, co tam v daný okamžik nemá vůbec být (třeba nečekaný chybový dialog), paže nebude dále hloupě klepat na displej, ale po několika krocích díky analýze obrazu zjistí, že realita na displeji neodpovídá zadání. Testovací sekvence poté může začít od začátku, skončit a tak dále, jak si to budete přát.

Software a podobný chytrý hardware možná jednou leckomu sebere práci

Robotická ruka z laboratoře Y Softu je zároveň ukázkou toho, že se automatizace nemusí týkat jen klasických fabrik, ale i sofistikovaných technologických profesí.

Robotická ruka a nečekaný problém:

Ostatně analytici z Deloitte nedávno zveřejnili zprávu, že jen v Česku může Průmysl 4.0 nahradit až 51 % pracovních pozic. Automatizace, robotizace a internetizace firem nicméně podle stejné zprávy zároveň do roku 2033 zvýší potenciál české ekonomiky až o 78 %.

Postavte si vlastní robotickou ruku

S primitivní robotickou rukou můžete experimentovat i sami, na trhu je totiž hromada programovatelných paží pro děti i zkušené kutily. Jednu z nich jsme čtenářům představili v únorovém vydání časopisu Computer.

f6e1e2a0-b596-48ef-af08-044cf5d647420a014edf-b61b-4b6e-934d-e89fb3eba0f8a30b9e12-9e84-4f43-97e5-2b838bd7d0df
Robotická ruka v únorovém Computeru

Určitě si přečtěte

Články odjinud