Ačkoliv je vývoj neuronových sítí a strojového učení stále na svém počátku, vědci už nyní pomalu začínají mluvit o fenoménu black box. Stručně řečeno, přestáváme rozumět, co se sakra uvnitř toho strojového učení vlastně děje.
Neuronové sítě jsou tedy skutečně jakousi černou skříňkou, které předáme vstupní studijní data a základní konfiguraci, nicméně samotný proces učení je u rozsáhlejších neuronových sítí už natolik komplikovaný, že je z pohledu člověka naprosto netransparentní. Vnitřní strukturu si již laicky řečeno náhodně skládá sama síť a nikdo se v ní pořádně nevyzná.
Tomuto tématu bylo věnováno hned několik studií a rozsáhlých článků – z poslední doby pak třeba studie (PDF) trojice výzkumníků z MIT publikovaná v katalogu Arxiv.
Základní princip mnohovrstevnaté neuronové sítě, kde se každá vrstva softwarových neuronů podílí na trošku jiné analýze vstupních dat. Jako celek pak vytváří pravděpodobnostní model a tedy ono vědění, které může aplikovat na jiná vstupní data.
Na problém černé skříňky upozorňuje i výzkumník Nils Lenke z britské společnosti Nuance, který pro ZDNet varoval před budoucností, kdy na jednu stranu předáme umělé inteligenci hromadu kompetencí, už se ale nevyznáme v tom, jak vlastně funguje, a tedy nebudeme moci předvídat některé kritické situace, které mohou nastat, protože i neuronové sítě občas udělají chybu. Ne že ne.
Pokud udělá chybu strojové učení klasifikující obrázky a fotku s husou identifikuje jako snímek s krávou, o nic nejde, pokud by však podobný přehmat provedla umělá inteligence v dopravě, zdravotnictví aj., následky by mohly být fatální.
„Procesor s umělou inteligencí“ není žádná magie. Tedy až na novinku od Intelu...
Výzkumníci na A.I. se tedy budou muset tomuto problému dále věnovat a kdo ví, třeba hloubkový audit fungování umělé inteligence dokáže provést zase jen další umělá inteligence – jakýsi strojový psycholog, který díky brutální síle křemíku dokáže odhalit potenciální slabiny vnitřních algoritmů neuronové sítě, což by nedokázal ani ten sebelepší specialista z masa a kostí.