ChatGPT, superhviezda umelej inteligencie, čelila otázke, keď sa neustále posúva vpred: Splnil Turingov testovací štandard pre generovanie výstupov na nerozoznanie od ľudských reakcií? Najnovší výskum naznačuje, že ChatGPT, napriek svojmu vynikajúcemu výkonu, zrejme neprekročil túto hranicu.
Dvaja výskumníci z Kalifornskej univerzity v San Diegu, Cameron Jones, odborník na jazyk, sémantiku a strojové učenie, a Benjamin Bergen, profesor kognitívnych vied, si túto otázku položili odkazom na Turingovu prácu spred 70 rokov. Turing navrhol postup na určenie, či stroj môže dosiahnuť úroveň inteligencie a konverzačnej schopnosti dostatočnú na to, aby oklamal ostatných, aby si mysleli, že je to človek.
Ich správa má názov „Vyhovie GPT-4 Turingovmu testu?“ Dá sa nájsť na predtlačovom serveri arXiv. Pre štúdiu zhromaždili 650 účastníkov, aby si zahrali 1 400 „hier“, v ktorých mali účastníci krátky rozhovor s iným človekom alebo modelom GPT a boli požiadaní, aby určili, s kým sa rozprávajú.
To, čo vedci zistili, bolo pozoruhodné. Model GPT-4 oklamal účastníkov v 41 percentách prípadov, zatiaľ čo model GPT-3.5 ich oklamal iba v 5 až 14 percentách prípadov. Zaujímavé je, že ľuďom sa podarilo presvedčiť účastníkov, že nie sú stroje, iba v 63 percentách pokusov.
„Nenašli sme žiadny dôkaz, že značka GPT-4 obstála v Turingovom teste,“ uzavreli vedci. Poznamenávajú však, že Turingov test má stále hodnotu pri hodnotení účinkov strojových konverzácií, ako rámec na meranie hladkých sociálnych interakcií a podvodov a na pochopenie ľudských stratégií na prispôsobenie sa týmto zariadeniam.
Upozorňujú však aj na to, že v mnohých prípadoch budú chatboty stále schopné komunikovať presvedčivým spôsobom. „41-percentná úspešnosť naznačuje, že modely AI už môžu mať schopnosť klamať, najmä v situáciách, keď ľudia menej vnímajú možnosť, že sa s človekom nerozprávajú,“ poznamenávajú vedci. Modely AI, ktoré robustne napodobňujú ľudí, by mohli mať široké sociálne a ekonomické dôsledky.“
Vedci zistili, že účastníci, ktorí správne identifikovali AI s ľuďmi, sa zamerali na niekoľko faktorov. Príliš formálny alebo príliš neformálny model vyvoláva podozrenia. Ak je ich výraz príliš rozvláčny alebo príliš stručný, ak je ich gramatika alebo interpunkcia nezvyčajne dobrá alebo „nepresvedčivo“ slabá, bude to tiež kľúčový faktor pri určovaní, či účastníci komunikujú s ľuďmi alebo strojmi. Okrem toho boli účastníci citliví na odpovede, ktoré zneli príliš všeobecne.
Výskumníci naznačujú, že sledovanie modelov AI bude čoraz dôležitejšie, pretože sa stanú tekutejšími a absorbujú viac ľudských vtipov. "Identifikácia faktorov, ktoré vedú k klamaniu, a stratégií na jeho zmiernenie budú čoraz dôležitejšie," uviedli. Štúdia odhaľuje, že oblasť inteligentnej konverzácie stále čelí výzvam, ale poskytuje aj užitočné informácie o tom, ako možno vylepšiť modely AI.