Университет Канзаса представляет усовершенствованный детектор искусственного интеллекта для обнаружения академической письменности

отSrikanth9 июня 2023 г., 13:02279Взгляды

Химик из Университета Канзаса Хизер Дезер представила передовую технологию, позволяющую обнаруживать научный текст, созданный ChatGPT, с впечатляющей точностью 99%. В этом прорыве используется текстовый генератор искусственного интеллекта (ИИ). Замечательное достижение Дезер было задокументировано в известном рецензируемом журнале Cell Reports Physical Science, где она не только продемонстрировала эффективность своего метода обнаружения искусственного интеллекта, но и предоставила другим исходный код, необходимый для воспроизведения этого новаторского инструмента.

Хизер Дезер, заведующая кафедрой химии имени Кейта Д. Уилнера в Калифорнийском университете, подчеркнула острую необходимость в точных инструментах обнаружения искусственного интеллекта для поддержания научной честности. Дезер выразил обеспокоенность по поводу текстовых генераторов искусственного интеллекта, таких как ChatGPT, заявив, что они фабрикуют факты. В сфере академических научных публикаций, где новаторские открытия и передовые достижения человеческого знания являются общими, крайне важно предотвратить включение правдоподобной лжи, которая может загрязнить литературу. Дезер признал отсутствие надежного автоматизированного метода выявления этих обманчивых элементов, известных как «галлюцинации». Когда подлинные научные факты смешиваются с убедительным, но сфабрикованным контентом, созданным искусственным интеллектом, достоверность и ценность публикаций неизбежно снижаются.

Она объяснила, что эффективность ее метода обнаружения зависит от сосредоточения внимания именно на научных статьях, которые обычно встречаются в рецензируемых журналах. Сужая таким образом область применения, ее подход обеспечивает более высокую точность по сравнению с существующими инструментами обнаружения ИИ, такими как детектор RoBERTa, целью которого является распознавание ИИ в более общих типах письма.

Дезер сказал, что вполне возможно разработать высокоточный метод различия между письмом человека и письмом ChatGPT. Однако достижение такой точности требует ограничения анализа конкретной группой людей, которые пишут в определенной манере. Напротив, существующие детекторы искусственного интеллекта разработаны как общие инструменты, применимые к различным типам письма. Хотя они хорошо служат своему прямому назначению, они не так точны, как инструмент, специально предназначенный для конкретной и узкой цели.

В своем исследовании Дезер подчеркнула важность точности при обвинении людей в тайном использовании ИИ, подчеркнув необходимость избегать частых ошибочных идентификаций. Однако она признала, что для достижения точности часто приходится жертвовать возможностью обобщения. Дезер сотрудничала со своей исследовательской группой в Университетском университете, в которую входили Романа Яросова, доцент кафедры химии, Дэвид Хуакс, аналитик информационных систем, а также аспиранты Алиса Э. Чуа и Мэдлин Исом. Успех команды в обнаружении текста ИИ можно объяснить использованием человеческого понимания при разработке кода, выходя за рамки использования обнаружения шаблонов машинного обучения.

Дезайр рассказал, что их подход включал значительно меньший набор данных и более высокую степень вмешательства человека для выявления важнейших различий в их детекторе. В частности, они построили свою стратегию, используя в качестве обучающих данных всего 64 документа, написанных человеком, и 128 документов, созданных искусственным интеллектом. Размер этого набора данных примерно в 100 000 раз меньше, чем тот, который обычно используется для обучения других детекторов.

Дезер подчеркивал значимость этой разницы, приравнивая ее к разрыву между стоимостью чашки кофе и стоимости дома. Преимуществом их небольшого набора данных была возможность быстрой обработки, и все документы могли быть тщательно проверены людьми. Используя свой человеческий интеллект, они смогли выявить ценные различия в наборах документов, а не полагаться исключительно на ранее разработанные стратегии для различения контента, созданного человеком, и контента, созданного искусственным интеллектом.

Подход Дезера, как заявил КУ, был разработан независимо, без опоры на стратегии, использовавшиеся в предыдущих методах обнаружения ИИ. В результате их техника обладает отдельными элементами, которые совершенно уникальны для области обнаружения текста ИИ. Дезер признался, что они даже не обращались к существующей литературе по обнаружению текста ИИ, пока у них не появился собственный функциональный инструмент. Вместо того, чтобы следовать традиционному мышлению ученых-компьютерщиков при обнаружении текста, они полагались на свою интуицию, чтобы определить, что будет эффективным, даже выражая легкое чувство смущения по поводу своего нетрадиционного подхода.