Problém není v tom, že ta technologie nemá 100% úspěšnost. Problém je, že ona se tváří jako že má 100% úspěšnost. Což je docela průšvih, protože lidská mysl má sklony nekriticky přijímat informace pokud mluvčí vystupuje dostatečně autoritativně. Ve výsledku místo aby lidé odpověd chatbota brali jako prvotní nástřel a dál si odpověď prověřili, začali by nekriticky papouškovat chyby.
On je to nakonec stejný efekt jako má Wikipedie. Ta taky obsahuje spoustu chyb a kdokoliv kdo to s hledáním informací myslí vážně její odpovědi dále ověřuje. Ale kolik lidí ji i přes stovky článků o její chybovosti dodnes bere jako absolutní zdroj informací?Aby chybovost AI nebyla problém, musely by být odpovědi formované ve stylu "myslím si, že Ostrava je větší než Brno". Jenže to má zase opačný problém, protože pak lidi těm výsledkům nebudou důvěřovat vůbec a službu nebudou používat.