Dal lancio di strumenti di intelligenza artificiale come ChatGPT, il termine "intelligenza artificiale" è diventato una parola d'ordine in settori che vanno dall'istruzione alla creazione di contenuti. Scrittori e studenti ora affrontano una nuova sfida nel difendere il loro lavoro, che si tratti di intelligenza artificiale o di contenuti umani.
Secondo le statistiche di Stastia dell'anno scorso, il termine "AI" è stato cercato più di 30,4 milioni di volte a luglio 2023, il triplo rispetto al mese precedente. Con la diffusione dell'AI, insegnanti ed editori hanno dovuto trovare un modo alternativo per determinare se il testo presentato fosse AI o meno. Ciò ha portato all'ascesa dei rilevatori di AI. Tuttavia, molti scrittori ed educatori hanno messo in dubbio l'autenticità dell'AI. Uno di loro è Christoper Pen, co-fondatore di TrustInsights.ai, che ha affermato in un post su LinkedIn che i "rilevatori di AI" sono una barzelletta. Pen non è l'unico a pensare che i rilevatori di AI non siano affidabili. Dianna Mason, specialista di contenuti SEO, ha affermato in un post: "I rilevatori di contenuti AI non funzionano".
Secondo un altro post su Reddit, un utente ha affermato: "Sì, i rilevatori di IA sono una truffa. Non è mai stato pubblicato un articolo accademico che dimostri che un rilevatore di IA possa funzionare in modo affidabile. Non esiste nemmeno un quadro teorico promettente su come funzionerebbe un rilevatore di IA affidabile".
Diversi esempi ben pubblicizzati mostrano l'inefficienza dei rilevatori di IA. Ad esempio, un rilevatore ha identificato erroneamente il 97,75% della Dichiarazione di Indipendenza degli Stati Uniti come composta da IA.
In un altro caso, si è scoperto che i testi della Bibbia erano stati scritti dall'IA. Anche la Bhagavad Gita, una scrittura indù, è stata identificata erroneamente dall'IA. Tali incidenti sollevano seri dubbi sulla credibilità dei rilevatori di IA.
Per indagare ulteriormente l'efficacia dei rilevatori AI, abbiamo testato un estratto della Bibbia con quattro rilevatori diversi. I risultati sono stati piuttosto diversi
Quilbott: secondo questo sito, l'estratto utilizzato era probabilmente pari allo 0% e non generato dall'intelligenza artificiale.
Grammaly - Grammaly ha anche identificato il testo come scritto al 100% da un essere umano.
Gpt Zero: questo sito ha attribuito al testo una probabilità del 96% di essere stato scritto da esseri umani.
Zero Gpt: questo è stato l'ultimo sito che ho testato e i risultati sono stati davvero strabilianti. Secondo il sito, il testo era scritto al 96% da intelligenza artificiale.
Come funzionano i rilevatori AI
I rilevatori AI, o rilevatori GPT, sono sistemi progettati per identificare contenuti generati dall'AI. Questi rilevatori confrontano il testo in termini di modelli e disposizione delle parole, proprio come fanno gli LLM con il testo. Gli LLM lavorano con probabilità desunte dai dati e basano le loro previsioni esclusivamente sul rilevamento della sequenza delle parole. I rilevatori AI operano su queste probabilità per rilevare contenuti AI.
I rilevatori di intelligenza artificiale utilizzano principalmente due misure, ovvero perplessità e burstiness. La perplessità misura la probabilità che la parola successiva sia corretta, mentre la burstiness è la variabilità del numero di parole e frasi. Mentre la scrittura umana tende a mostrare più varietà, il testo generato dall'intelligenza artificiale è spesso più uniforme. Nonostante ciò, man mano che i modelli di intelligenza artificiale GPT-4 avanzano, possono replicare la scrittura umana con maggiore competenza, rendendo così il rilevamento ancora più difficile.
Secondo Jodie Cook, fondatrice di Coachvox, "Al momento ridiamo dei commenti LinkedIn generati dall'intelligenza artificiale... Ma man mano che la tecnologia migliora, non avremo la minima idea di cosa sia reale e cosa non lo sia. Nessuno lo avrà".
Per scrittori, studenti e aziende, la posta in gioco è alta. Ciò solleva la questione: ci si può fidare dei rilevatori AI?