Берегитесь, мошенники — детекторы искусственного интеллекта готовы поймать вас и вашего чат-бота с поличным.
Или, по крайней мере, это то, что разработчики ИИ используют в качестве торгового аргумента и хотят, чтобы мы в это поверили. Когда ChatGPT вошел в культурный дух времени в 2022 году, учителя и профессора воспротивились всплеску исследовательских работ и домашних заданий, созданных ИИ. Чтобы ограничить использование ИИ в классе, преподаватели используют детекторы ИИ, которые, как утверждается, отличают текст, написанный ИИ, от текста, написанного человеком.
Но насколько точны эти инструменты? По словам Кристофера Пенна, главного специалиста по данным в бостонской маркетинговой аналитической компании Trust Insights, «детекторы ИИ — это шутка». Один из протестированных им детекторов ИИ утверждал, что 97,75% преамбулы к Декларации независимости США было сгенерировано ИИ.
«К тестированию детекторов ИИ меня подтолкнуло наблюдение за коллегами, спорящими о том, был ли контент сгенерирован ИИ», — рассказал Пенн Decrypt. «Я видел это на LinkedIn; некоторые люди выдвигали друг против друга обвинения в том, что такой-то ленивый маркетолог, ищет легкий путь и просто использует ИИ».
Борьба словами? Возможно. Пенн сказал: «Нам, вероятно, следует проверить это, чтобы понять, правда это или нет».
Пенн решил протестировать несколько детекторов ИИ, используя Декларацию независимости, и был обескуражен тем, что обнаружил: «Я думаю, они опасны», — сказал он о таких детекторах. «Они несложные и вредные».
«Эти инструменты используются для таких вещей, как дисквалификация студентов, назначение им академического испытательного срока или отстранение», — сказал он. Это «очень рискованное применение, когда в Соединенных Штатах высшее образование стоит десятки тысяч долларов в год».
Мы решили провести собственный тест, чтобы посмотреть, как справятся эти сайты. В первом тесте мы использовали тот же отрывок из Декларации независимости, который Пенн использовал для определения того, какие детекторы ошибочно считали, что текст был сгенерирован ИИ. Для второго теста мы взяли отрывок из научно-фантастического рассказа Э. М. Форрестера 1909 года «Машина останавливается» и попросили ChatGPT переписать его, чтобы увидеть, какой детектор идентифицировал отрывок как написанный ИИ. Вот наши результаты:
Взяв тот же текст, который использовал Пенн, мы сравнили несколько детекторов ИИ: Grammarly, GPTZero, QuillBot и ZeroGPT — детектор ИИ, который Пенн продемонстрировал в своем посте на LinkedIn.
ОТ ЛУЧШЕГО К ХУДШЕМУ: Распознавание текста, написанного человеком
Grammarly. Из четырех протестированных нами Grammarly показал себя лучше всего в обнаружении человеческого и сгенерированного ИИ текста. Он даже напомнил мне о необходимости цитировать мою работу.
Детектор искусственного интеллекта Quillbot также определил текст Декларации как «написанный человеком на 100%».
По оценкам GPTZero, вероятность того, что Декларация независимости была написана людьми, составляет 89%.
ZeroGPT полностью разгромил это и заявил, что текст Декларации независимости на 97,93% был сгенерирован искусственным интеллектом — это даже выше результатов Пенна, полученных ранее в этом месяце.
В следующем тесте мы пропустили «The Machine Stops» через ChatGPT-4o, чтобы переписать текст и посмотреть, смогут ли детекторы ИИ обнаружить поддельный текст.
ОТ ЛУЧШЕГО К ХУДШЕМУ: Обнаружение текста, написанного ИИ
Grammarly оказался наиболее эффективным в обнаружении контента, созданного искусственным интеллектом, при сравнении песни «The Machine Stops» с ее версией на основе искусственного интеллекта.
GPTZero определил, что оригинальная история на 97% написана человеком, а версия ИИ на 95% сгенерирована ИИ.
Quillbot не смог различить человеческий текст и текст, написанный искусственным интеллектом, поэтому вероятность обоих вариантов составляет 0%.
ZeroGPT определил текст «The Machine Stops» как написанный человеком с вероятностью 4,27%, но ошибочно обозначил версию, созданную ИИ, как написанную человеком с вероятностью 6,35%.
«Grammarly продолжает углублять свои знания в оценке уникальности текстов и ответственного использования ИИ», — сообщил представитель Grammarly изданию Decrypt, указав на публикацию компании о ее программном обеспечении для обнаружения ИИ.
«Мы добавляем обнаружение ИИ к нашим функциям оригинальности в рамках нашей приверженности ответственному использованию ИИ», — заявила компания. «Мы отдаем приоритет предоставлению нашим пользователям, особенно студентам, как можно большего количества прозрачной информации, даже несмотря на то, что технология имеет присущие ей ограничения».
Представитель Grammarly также рассказал о последнем обновлении компании — Grammarly Authorship, расширении для Google Chrome, которое позволяет пользователям демонстрировать, какие части документа были созданы человеком, сгенерированы ИИ или отредактированы ИИ.
«Мы бы рекомендовали не использовать результаты обнаружения ИИ для прямого дисциплинарного воздействия на студентов», — сказал Decrypt технический директор GPTZero Алекс Куй. «Я думаю, что это полезно как диагностический инструмент, но для реального решения требуются наши авторские инструменты».
Как и Grammarly, GPTZero имеет инструмент «авторства», который Куи рекомендует использовать для проверки того, что будущие отправленные материалы написаны людьми.
«Наши отчеты о написании в Google Docs и наш собственный редактор анализируют образцы набора текста в документе, чтобы определить, был ли документ написан человеком, и значительно снизить риск неверных выводов», — сказал он.
Куй подчеркнул важность постоянного обучения модели ИИ на разнообразном наборе данных.
«Мы используем большие модели обработки естественного языка (NLP) и машинного обучения, обученные на наборе данных из миллионов документов ИИ и созданных человеком, и проверяем их на низкий уровень ошибок перед выпуском», — сказал он. «Мы настроили наш детектор так, чтобы он имел менее 1% ложноположительных результатов перед запуском в целом, чтобы снизить риск ложноположительных результатов».
Пенн отметил, что слепо полагаться на детекторы ИИ для обнаружения плагиата и мошенничества так же опасно, как полагаться на ИИ для написания отчета, основанного на фактах.
«Я предупреждаю всех, кто думает об использовании этих инструментов, что у них неприемлемо высокие показатели ложноположительных результатов для любого критически важного или высокорискового приложения», — сказал Пенн. «Показатель ложноположительных результатов — если вы собираетесь выгнать кого-то из колледжа или лишить его докторской степени — должен быть равен нулю. Точка. Конец истории. Если бы учреждения проводили такое тщательное тестирование, они бы быстро обнаружили, что на рынке нет ни одного инструмента, который они могли бы купить. Но это то, что должно произойти».
К счастью, только 5% этой статьи было сгенерировано искусственным интеллектом.
ZeroGPT и Quillbot не сразу отреагировали на просьбы прокомментировать ситуацию.
Под редакцией Эндрю Хейворда