Depuis le lancement d'outils d'IA comme ChatGPT, le terme « IA » est devenu un mot à la mode dans des secteurs allant de l'éducation à la création de contenu. Les auteurs et les étudiants sont désormais confrontés à un nouveau défi : défendre leur travail, qu'il s'agisse d'IA ou de contenu humain.
Selon les statistiques de Stastia l’année dernière, le terme « IA » a été recherché plus de 30,4 millions de fois en juillet 2023, soit trois fois plus que le mois précédent. L’IA devenant de plus en plus répandue, les enseignants et les rédacteurs ont dû trouver un autre moyen de déterminer si le texte qui leur était présenté était de l’IA ou non. Cela a conduit à l’essor des détecteurs d’IA. Cependant, de nombreux auteurs et éducateurs ont remis en question l’authenticité de l’IA. L’un d’eux est Christoper Pen, le cofondateur de TrustInsights.ai, qui a déclaré dans un article sur LinkedIn que les « détecteurs d’IA » sont une blague. Pen n’est pas le seul à penser que les détecteurs d’IA ne sont pas fiables. Dianna Mason, spécialiste du contenu SEO, a déclaré dans un article : « Les détecteurs de contenu d’IA ne fonctionnent pas. »
Selon un autre post sur Reddit, un utilisateur a déclaré : « Oui, les détecteurs d’IA sont une arnaque. Il n’y a jamais eu d’article universitaire prouvant qu’un détecteur d’IA peut fonctionner de manière fiable. Il n’existe pas non plus de cadre théorique prometteur sur le fonctionnement d’un détecteur d’IA fiable. »
Plusieurs exemples largement médiatisés montrent l'inefficacité des détecteurs d'IA. Par exemple, un détecteur a identifié à tort 97,75 % de la Déclaration d'indépendance des États-Unis comme étant composée d'IA.
Dans un autre cas, des textes de la Bible ont été découverts comme ayant été rédigés par une intelligence artificielle. La Bhagavad Gita, un texte sacré hindou, a également été mal identifiée par l’IA. De tels incidents soulèvent de très sérieuses questions quant à la crédibilité des détecteurs d’IA.
Pour étudier plus en détail l'efficacité des détecteurs d'IA, nous avons testé un extrait de la Bible avec quatre détecteurs différents. Les résultats étaient assez différents
Quilbott - Selon ce site, l'extrait utilisé était probablement à 0%, non généré par l'IA.
Grammaly - Grammaly a également identifié le texte comme étant 100 % écrit par un humain.
Gpt Zero - Ce site a donné au texte une probabilité de 96 % d'avoir été écrit par des humains.
Zero Gpt - C'était le dernier site que j'ai testé et les résultats ont été assez époustouflants, selon le site, le texte était écrit à 96 % par l'IA.
Comment fonctionnent les détecteurs d'IA
Les détecteurs d'IA, ou détecteurs GPT, sont des systèmes conçus pour identifier le contenu généré par l'IA. Ces détecteurs comparent le texte en termes de modèles et d'agencement des mots, tout comme les LLM le font avec le texte. Les LLM fonctionnent avec des probabilités déduites des données et basent leurs prédictions uniquement sur la détection de séquences de mots. Les détecteurs d'IA fonctionnent sur ces probabilités pour détecter le contenu de l'IA.
Les détecteurs d'IA utilisent principalement deux mesures, à savoir la perplexité et la variabilité. La perplexité mesure la probabilité que le mot suivant soit correct, et la variabilité est la variabilité du nombre de mots et de phrases. Alors que l'écriture humaine a tendance à présenter plus de variété, le texte généré par l'IA est souvent plus uniforme. Malgré cela, à mesure que les modèles d'IA GPT-4 progressent, ils peuvent reproduire l'écriture humaine avec une plus grande compétence, ce qui rend la détection encore plus difficile.
Selon Jodie Cook, fondatrice de Coachvox, « pour l’instant, nous nous moquons des commentaires LinkedIn générés par l’IA… Mais à mesure que la technologie s’améliore, nous n’aurons plus la moindre idée de ce qui est réel et de ce qui ne l’est pas. Personne ne le saura. »
Pour les écrivains, les étudiants et les entreprises, les enjeux sont considérables. Cela soulève la question de savoir si les détecteurs d’IA sont fiables.