A Inteligência Artificial (IA) assumiu o controle da vida moderna, principalmente na geração de conteúdo escrito. Embora tudo seja diversão e jogos, a imprecisão na detecção de conteúdo de IA é alarmante. O que é pior são os detectores de IA que marcam o conteúdo escrito por humanos como gerado por GPT; Estudo de caso da Constituição dos Estados Unidos.
Leia também: Paul Graham, do Y Combinator, é criticado por reivindicar textos com “Delve” escritos por IA
A Constituição dos Estados Unidos foi escrita em 1787, ratificada em 1788 e está em vigor desde 1789. É a carta de governo escrita que sobrevive há mais tempo no mundo. A Constituição existia cerca de um século antes de o primeiro carro ser inventado. No entanto, um detector de IA marcou 97,97% de geração de IA.
Detectores de IA marcam a Constituição dos EUA como desumana
2023 viu um aumento no conteúdo escrito com inteligência artificial. Logo depois, os desenvolvedores do mercado aproveitaram a oportunidade para criar detectores que informam os percentuais de conteúdo da IA. Isso deveria ter sido um bom avanço, mas não é o caso.
Um detector de IA marcou a Constituição dos Estados Unidos como conteúdo de IA. A porcentagem? Um fechamento de 97,97%. O termo “inteligência artificial” foi cunhado e tornou-se popular no nascimento da IA entre 1950 e 1956. Então, como é que a IA escreveu um documento 163 anos mais velho do que a sua invenção?
Fonte: Zerogpt.com
Em 1950, Alan Turing publicou um artigo de jornal intitulado “Computer Machinery and Intelligence”, propondo um teste de inteligência de máquina chamado The Imitation Game. Este artigo marcou o início do mundo em que vivemos hoje.
Em 1952, um cientista da computação chamado Arthur Samuel desenvolveu um programa para jogar damas, sendo o primeiro a aprender o jogo de forma independente. Pouco depois, em 1955, John McCarthy realizou um workshop em Dartmouth sobre “inteligência artificial”, que foi o primeiro uso da palavra.
Detectores de IA têm limitações
Os detectores de IA têm limitações porque o texto gerado por IA imita a escrita humana. Esses detectores foram treinados pelos mesmos humanos que ensinaram as máquinas a escrever. Então, como funcionariam seus detectores de IA e quão precisos eles são? Outro detector de IA obteve 1% de conteúdo de IA na Constituição dos EUA. De onde veio o 1%?
Fonte: gptzero.me
Bem, aqui está a disparidade: alguns detectores de IA procuram certas palavras como “investigar, tapeçaria, utilizar, numerosos, etc.” que geralmente são usados pela IA, mas são incomuns para os americanos.
No entanto, para algumas pessoas de países com história colonial britânica, estas palavras são comumente usadas tanto na linguagem falada como na escrita.
No mês passado, o cofundador do Y Combinator, Paul Graham, foi criticado após uma teoria de atribuição de texto ChatGPT que ele criou no X (antigo Twitter). Graham postou uma proposta fria por e-mail que recebeu de alguém para um projeto que ele concluiu ser escrito sobre IA porque continha a palavra “aprofundar.
Um usuário X disse: “Pessoas que aprenderam inglês em países com passado colonial britânico – foi exatamente assim que aprendemos inglês […] ‘Delve’ é uma palavra normal que falamos”. Outro disse que é um problema americano.
Alguns países e pessoas ainda usam o que eu descreveria como “inglês literário”. O lamentável é que o vocabulário americano é baseado principalmente em coloquialismos (o que vocês chamam de gíria) e em expressões idiomáticas contemporâneas americanas, na medida em que o uso sofisticado de…
– Africa Research Desk (@MightiJamie) 10 de abril de 2024
Isso levanta a questão: os detectores de IA e os geradores de conteúdo deveriam ser específicos para o inglês regional? Ou todas essas ferramentas de escrita e detectores deveriam ser eliminadas?
Detectores de IA são imprecisos
Os detectores de IA dependem de características linguísticas inconsistentes. A linguagem humana é inerentemente variável, com uma ampla gama de estilos, dialetos e expressões idiomáticas. O texto gerado por IA pode se enquadrar nessas variações, dificultando a precisão dos detectores.
Cerca de 20% dos textos gerados por IA passam por esses sistemas de detecção sem serem detectados, minando a confiabilidade dos detectores de IA. Da mesma forma, cerca de 25% do texto escrito por humanos é falsamente sinalizado como IA.
Um usuário do Quora escreveu: “O detector de IA está detectando meu trabalho como 100% gerado por IA. Porque, por ignorância, usei-o como ferramenta de edição e gramática a pedido de um orientador acadêmico. As palavras, conceito e experiência de vida no artigo já publicado são de minha autoria. O que eu faço?"
Muitos expressaram frustração com esta questão. Recentemente, em uma notícia publicada pela Cryptopolitan, um gerador de IA sinalizou palavras ditas por Donald Trump. Ele disse: “Sou muito positivo e tenho a mente aberta para as empresas de criptomoeda e todas as coisas relacionadas a esta indústria nova e florescente”. Como a IA é adicionada às palavras faladas? Está na mente de uma pessoa? Em pensamentos expressos?
Outro conteúdo foi de David Bailey: “Vamos nos mobilizar para nos defender. Não estamos votando em Trump em si, estamos votando contra Biden. O único culpado por isso é Biden. “
Leia também: A campanha Trump Crypto – tudo o que você precisa saber
Em 2023, a OpenAI publicou dicas para educadores em uma postagem promocional de blog mostrando como alguns professores usam o ChatGPT como auxílio educacional.
Em uma seção do FAQ intitulada “Os detectores de IA funcionam?” OpenAI escreveu: “Resumindo, não. Embora alguns (incluindo OpenAI) tenham lançado ferramentas que pretendem detectar conteúdo gerado por IA, nenhuma delas provou distinguir de forma confiável entre conteúdo gerado por IA e conteúdo gerado por humanos.” O problema de distinguir o conteúdo humano do conteúdo de IA permanece. A questão é: o que deve ser feito daqui para frente?
Reportagem criptopolitana de Florence Muchai