Desde o lançamento de ferramentas de IA como o ChatGPT, o termo “IA” se tornou uma palavra da moda em setores que vão da educação à criação de conteúdo. Escritores e estudantes agora enfrentam um novo desafio defendendo seu trabalho, seja IA ou conteúdo humano.
De acordo com estatísticas da Stastia no ano passado, o termo “IA” foi pesquisado mais de 30,4 milhões de vezes em julho de 2023, o triplo do número do mês anterior. À medida que a IA se tornou mais prevalente, professores e editores tiveram que encontrar uma maneira alternativa de determinar se o texto apresentado a eles era IA ou não. Isso levou ao surgimento de detectores de IA. No entanto, muitos escritores e educadores questionaram a autenticidade da IA. Um deles é Christoper Pen, o cofundador da TrustInsights.ai, que declarou em uma postagem no LinkedIn que “detectores de IA” são uma piada. Pen não é o único que acha que os detectores de IA não são confiáveis. Dianna Mason, especialista em conteúdo de SEO, declarou em uma postagem: “Os detectores de conteúdo de IA não funcionam”.
De acordo com outra publicação no Reddit, um usuário declarou: “Sim, detectores de IA são uma farsa. Nunca houve um artigo acadêmico provando que um detector de IA pode funcionar de forma confiável. Também não há uma estrutura teórica promissora sobre como um detector de IA confiável funcionaria. “
Vários exemplos bem divulgados mostram a ineficiência dos detectores de IA. Por exemplo, um detector identificou erroneamente 97,75% da Declaração de Independência dos EUA como composta por IA.
Em outra instância, descobriu-se que textos da Bíblia foram escritos por IA. O Bhagavad Gita, uma escritura hindu, também foi identificado erroneamente pela IA. Tais incidentes levantam questões muito sérias sobre a credibilidade dos detectores de IA.
Para investigar mais a fundo a eficácia dos detectores de IA, testamos um trecho da Bíblia com quatro detectores diferentes. Os resultados foram bem diferentes
Quilbott- De acordo com este site, o trecho usado provavelmente foi de 0%, não gerado por IA.
Grammaly- Grammaly também identificou o texto como 100% escrito por humanos.
Gpt Zero - Este site deu ao texto uma probabilidade de 96% de ter sido escrito por humanos.
Zero Gpt - Este foi o último site que testei e os resultados foram impressionantes. De acordo com o site, o texto foi escrito em 96% por IA.
Como funcionam os detectores de IA
Detectores de IA, ou detectores GPT, são sistemas projetados para identificar conteúdo gerado por IA. Esses detectores comparam texto em termos de padrões e arranjo de palavras, assim como os LLMs fazem com texto. Os LLMs trabalham com probabilidades que são inferidas de dados e baseiam suas previsões puramente na detecção de sequência de palavras. Os detectores de IA operam nessas probabilidades para detectar conteúdo de IA.
Os detectores de IA usam principalmente duas medidas, a saber, perplexidade e explosão. A perplexidade mede a probabilidade de que a próxima palavra esteja correta, e a explosão é a variabilidade do número de palavras e frases. Enquanto a escrita humana tende a exibir mais variedade, o texto gerado por IA é frequentemente mais uniforme. Apesar disso, à medida que modelos de IA como o GPT-4 avançam, eles podem replicar a escrita humana com maior proficiência, tornando a detecção ainda mais difícil.
De acordo com Jodie Cook, fundadora da Coachvox, “Agora mesmo nós rimos dos comentários do LinkedIn gerados por IA… Mas conforme a tecnologia melhora, não teremos a mínima ideia do que é real e do que não é real. Ninguém terá.”
Para escritores, estudantes e empresas, os riscos são altos. Isso levanta a questão: detectores de IA são confiáveis?