Автор: Редакция
Преподаватели и аспиранты Самарского университета провели исследование, результаты которого помогут модернизировать классический тест Тьюринга.
Тест Тьюринга – метод исследования искусственного интеллекта, предложенный британским математиком Аланом Тьюрингом в 1950 году.
Цель теста – выяснить, способен ли компьютер в диалоге с человеком вести себя настолько убедительно, что человек не заметит подмены и не поймет, что общается с компьютером.
Современные системы ИИ успешно проходят классический тест Тьюринга.
Исследователи Самарского университета первыми в мире (по данным Google Scholar) провели экспериментальное исследование, посвящённое проблемам возраста информации, которой оперируют популярные системы искусственного интеллекта – так называемые большие языковые модели (БЯМ).
Эти системы ИИ традиционно используются для разных операций с текстами: написания, литературной обработки, исправления ошибок, перевода.
Кроме того, большие языковые модели могут писать программный код, искать и собирать информацию и общаться с пользователями, отвечая на их вопросы, – почти как человек.
В ходе экспериментов исследователи определили, с помощью какого типа вопросов можно практически точно понять, с кем именно вы общаетесь в интернете – с человеком или искусственным интеллектом.
Как отметил доктор технических наук, профессор кафедры программных систем Самарского университета Андрей Сухов, проблема верификации ответов, получаемых от чат-ботов БЯМ, остается по-прежнему достаточно острой.
Пока что невозможно уверенно утверждать, основан ли ответ чат-бота на реальных фактах или же на непроверенных данных и домыслах, размещенных в глобальной сети.
Однако в ходе изучения проблем возраста информации самарские исследователи выявили закономерность, с помощью которой можно определять ботов, маскирующихся под человека.
«Формат ответов чат-бота на запросы, относящиеся к информации из разных периодов времени – до и после обучения БЯМ – сильно различается.
Стандартная выдача чат-бота, как правило, представляет собой просто текстовый ответ с объяснением результата.
Если же пользователь запросил информацию о событиях и явлениях, произошедших уже после обучения БЯМ, то чат-бот в таком случае обращается к поисковой системе – у разных моделей она разная – и выдает пользователю список из отрывков текстов со ссылками на сайты, откуда взяты эти самые отрывки.
Такая смена формата ответа позволяет достаточно точно определить момент времени, в который происходило обучение модели, то есть определить возраст информации, а также может помочь отличить в ходе общения в Интернете бота от человека», – объяснил один из авторов исследования Мурад Джериби, аспирант кафедры киберфотоники по специальности «Искусcтвенный интеллект и машинное обучение» Самарского университета.
Согласно результатам исследования, чтобы определить время обучения модели и возраст информации, на которой она обучалась, необходимо просто составить и задать список вопросов, которые предполагают простой численный ответ, имеющий различные числовые значения в разные периоды времени.
При этом нужно, чтобы ответы на эти вопросы можно было легко проверить с помощью поисковых систем в Интернете.
В качестве такого контрольного запроса можно, например, спросить чат-бота о численности населения или о количестве браков и разводов за определенные периоды времени в какой-нибудь стране, где подобная статистика общедоступна на сайтах соответствующих ведомств.
Как только чат-бот сменит формат ответов и начнет выдавать отрывки статистических данных со ссылками на сайты, можно будет понять, когда модель этого чат-бота проходила обучение.
«Подобные вопросы можно задавать, например, и для того, чтобы понять, с кем вы общаетесь в сети – с человеком или компьютером.
Если ответы вашего собеседника содержат ссылки на интернет-поисковик или в ответе приводится список сайтов с краткой информацией по тематике запроса, то очень велика вероятность, что вы общаетесь именно с системой ИИ.
Поэтому мы предлагаем использовать данное изменение формата ответа в качестве специального квалификационного условия-признака для идентификации БЯМ.
Считаем, что предложенный нами алгоритм действий следует в дальнейшем также применять для составления обновленного списка вопросов при прохождении теста Тьюринга», – отметил Андрей Сухов.
