Odhalení textu od AI?

Autor: MILAN

Tak tohle se jeví jako velký boom. Vypadá to jako by některým skončil život. Mnozí si představují, že odevzdají seminárku s AI texty a vedoucí jim napíše: "Prokazatelně jste používal/a AI, končíte". Zní to ale spíše jako z nějakého filmu. Ona realita už právě není tak zajímavá. Nicméně, plag.cz nyní disponuje nástrojem pro detekci textu od AI. Škoda, že nevidíte, jak se usmívám, když tohle píšu. Ne proto, že by myšlenka detekce AI byla špatná. Je to samozřejmě revoluční a když se toho chopí profesionálové, může být tento prográmek naprosto geniální. Je to případ detektoru na plag.cz? No uvidíme. Je to skoro jako "Věřte nevěřte". 

Tento článek není ovšem pouze o tom, abychom zhodnotili tento detektor. Důležitou informací je také to, že máme vlastní detektor AI textů:). Kolega spolu se svým polským kamarádem vyvinuli svůj vlastní detektor AI textů Velmi zajímavé, že? Samozřejmě na tom participovalo více lidí včetně mě. Ono nestačí být pouze dobrý programátor a odborník na principy AI. Je zapotřebí i jazykový a psychologický rozměr. No, ale to je teď jedno. V tomto článku se Vám budu snažit představit rozdíly, výhody a nevýhody obou nástrojů. 

K čemu a KOMU jsou nástroje pro detekci AI textů?

Položili jsme si velmi důležitou otázku. Možná důležitější, než se zdá. Představte si, že si vložíte text třeba do toho nástroje, který je na plag.cz. Třeba zjistíte, že text je s 50% šancí od AI. Teď neřešme, jestli je to tak, nebo ne. Prostě tohle je výsledek. Co to znamená? A pro koho je ten výsledek dobrý? Pro vás? Takže si řeknete - aha, vypadá to, že v tom textu jde vidět/poznat, že jsem do něj vkládal/a texty z AI. Ale to není pravda :D. Takhle to nefunguje. Teda aspoň ne u naprosté většiny těchto nástrojů. Co to znamená poznat? Práci čte člověk. Kdybyste ten text dali 30 doktorům na univerzitě, např. 10 vám řekne, že je to v pořádku, 5 tam najde nějaké pochybnosti, 12 řekne, že je to AI a zbytek... nevím. Každý nerozpozná typické klišé fráze nebo strukturu textů od AI. Dobře, myslím si, že většina z vás to vidí tak, že ten, kdo kontroluje tu práci, asi ji bude chtít vložit do toho systému a podle toho, jaké procento mu vyjde, tak vás buď obviní, nebo ne. No, akorát, že je to nesmysl. Tyto nástroje jsou maximálně orientační a většinou nespolehlivé. Některé opravdu velmi nespolehlivé. To znamená, že nikdo vás nemůže osočit, že jste generovali texty z AI. Co může ten vedoucí, tak poznat text z AI a zavařit vám to třeba při obhajobě apod. Výsledek z toho systému opravdu o ničem nevypovídá. I když, možná vám představíme něco revolučního.

Důležité je, aby ve vašem textu nebyly nesmyslné fráze a věty, které průměrný doktor na univerzitě pozná. Nejde o procento. Prostě jednou tam ty fráze máte a podvádíte. Tečka.

Plag.cz vs. náš systém

Tak se na to pojďme podívat. Níže je výsledek analýzy textu systémem z plag.cz

Podle výsledku je zřejmé, že by měl text projít, že je evidentně lidský. Jediné, co plag.cz označil je první věta. Teď neřešme, co tam je. Stejný text jsme vložili do našeho systému detekce AI textů, viz níže. 

Výsledky jsou velmi rozdílné, že? Podívejte se na ty texty. Dokázali byste sami určit, který systém má pravdu? Resp. který se blíží více pravdě? U našeho systému je velká spousta výrazů barvičkami. Ty tyrkysové jsou evidentní AI. Ty šedé jsou "dost možná" AI. Prozradím vám, že text je celý vygenerovaný AI. A ejhle, systém z plag.cz selhal. Jak to? Označil jej jako lidský text. Ale přečtěte si jej. Připadá vám jako text, který by napsal člověk? Rozhodně ne. Některé výrazy jsou naprosto TYPICKÉ pro umělou inteligenci. Výrazy jako vrstevnatý, dávné požáry, ... romantizace slov, spojení vydává vůni, kdo z nás kdy, nesmyslné pomlčky apod. To vše jsou indikátory textu z AI. Takže kdyby mi tohle někdo odevzdal, nepochybuji už u první věty. Co je ale opravdu typické pro AI? Hluboká až poetická slova, která nic neříkají a jsou v podstatě nevhodná. Tohle většina detektorů nezvládne identifikovat. Pojďme dál.