Rozvoj umělé inteligence přinese a už pomalu přináší také negativní jevy včetně produkce dezinformací nebo plagiátorství. Souběžně s rozvojem chatbotů začínají vznikat první nástroje na detekci obsahu vytvořeného pomocí AI. Jedním z nich je DetectGPT, jeden nástroj připravila i samotná OpenAI, tvůrkyně ChatGPT.
Předem upozorňuje, že nástroj je v plenkách. Říká mu jednoduše AI Text Classifier a v interních testech 26 % textů od AI správně vyhodnotil tak, že je pravděpodobně napsala AI. Oproti tomu u 9 % textů autorství nesprávně přiřkl AI, i když je napsali lidé. Odhalit veškerý text generovaný počítačem je podle OpenAI nemožné.
Nový třídič je prý ale výrazně spolehlivější než ten starý. Ke smysluplnému fungování potřebuje texty aspoň o tisíci znacích, tj. 150–250 slov. Protože byl trénován na textech dospělých jedinců a v angličtině, nástroj se spíše splete u textů, které nejsou anglicky a které napsaly děti. Nespolehlivě i vyhodnocuje kód.
Autor tohoto článku je umělá inteligence z masa a kostí. OpenAI varuje, že třídič s neanglickými texty nefunguje spolehlivě
Vzhledem k relativně nízké úspěšnosti heuristiky by AI Text Classifier měl být používán pouze jako doplněk, nikoli primární zdroj pro rozhodovací procesy. Je také mnohem těžší identifikovat texty, které sice napsala AI, ale následně je upravil člověk. OpenAI může nástroj trénovat i na takových textech, jenže zatím neví, jestli takový přístup dlouhodobě zajistí lepší úspěšnost detekce.
Další problém představují velice předvídatelné texty, např. seznam první tisícovky prvočísel. Bude samozřejmě vypadat vždycky stejně. Pokud chcete, můžete si s nástrojem bezplatně hrát.
Kromě dvou výše zmíněných nástrojů si nedávno další nástroj na detekci díla AI naprogramoval Edward Tian, student počítačové vědy na Princetonu, a svůj nástroj pojmenoval jako GPTZero. Úspěšnost heuristiky neznáme.
Zdroje: blog OpenAI