Почему детекторы GPT не являются решением проблемы мошенничества ИИ

18 мая 2023 г.

Эта статья была проверена в соответствии с редакционным процессом и политикой Science X. Редакторы выделили следующие атрибуты, гарантируя при этом достоверность контента:

проверенный фактами

препринт

надежный источник

корректура

Эндрю Майерс, Стэнфордский университет

После громкого запуска ChatGPT не менее семи разработчиков или компаний начали противодействовать этому с помощью детекторов искусственного интеллекта. То есть, по их словам, ИИ способен определить, когда контент был написан другим ИИ. Эти новые алгоритмы предлагаются преподавателям, журналистам и другим лицам в качестве инструментов для выявления мошенничества, плагиата, дезинформации или дезинформации.

Все это очень мета, но, согласно новой статье ученых из Стэнфорда, есть только одна (очень большая) проблема: детекторы не особенно надежны. Хуже того, они особенно ненадежны, когда настоящий автор (человек) не является носителем английского языка.

Цифры мрачны. Хотя детекторы были «почти идеальными» при оценке эссе, написанных восьмиклассниками, родившимися в США, они классифицировали более половины эссе TOEFL (61,22%), написанных студентами, не являющимися носителями английского языка, как сгенерированные искусственным интеллектом (TOEFL — аббревиатура от тест по английскому языку как иностранному).

Становится хуже. Согласно исследованию, все семь детекторов искусственного интеллекта единогласно определили 18 из 91 студенческого эссе TOEFL (19%) как сгенерированные ИИ, а примечательные 89 из 91 эссе TOEFL (97%) были отмечены хотя бы одним из детекторов.

«Все сводится к тому, как детекторы обнаруживают ИИ», — говорит Джеймс Зоу, профессор биомедицинских данных в Стэнфордском университете, филиале Стэнфордского института человеко-ориентированного ИИ, и старший автор исследования. «Обычно они оцениваются на основе показателя, известного как «недоумение», который коррелирует с сложностью письма – в этом отношении неносители языка, естественно, будут отставать от своих коллег, родившихся в США».

Цзоу и соавторы отмечают, что неносители языка обычно получают более низкие оценки по общим показателям недоумения, таким как лексическое богатство, лексическое разнообразие, синтаксическая сложность и грамматическая сложность.

«Эти цифры ставят серьезные вопросы об объективности детекторов искусственного интеллекта и повышают вероятность того, что студенты и рабочие иностранного происхождения могут быть несправедливо обвинены или, что еще хуже, наказаны за мошенничество», — говорит Цзоу, подчеркивая этические проблемы команды.

Цзоу также отмечает, что такие детекторы легко вывести из строя с помощью так называемого «быстрого проектирования». Этот термин искусства в области ИИ просто означает, что генеративный ИИ должен «переписать» эссе, например, включив в него более сложные формулировки, говорит Цзоу. Он приводит пример того, насколько легко обойти детекторы. Студент, желающий использовать ChatGPT для мошенничества, может просто подключить сгенерированный ИИ текст с подсказкой: «Улучшите предоставленный текст, используя литературный язык».