Семь чат-ботов не отличили ИИ от человека в имитации теста Тьюринга

Из 98 проверок ИИ-алгоритмы прошли лишь три. Четверо исследователей из Университета Париж Сите провели испытание, в котором интервьюерами выступили ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 и ещё три модели. Каждая могла задать до 10 вопросов и знала, что участники способны лгать. Скрытыми игроками были 20 добровольцев и те же семь моделей.

Каждый бот играл дважды: с короткой инструкцией вести себя как человек и с подробной легендой о 21-летнем спортсмене-бегуне, который любит играть на джазовой трубе и может делать опечатки. Интервьюеры ни разу не поймали бота с подробной легендой: все три случая обнаружения пришлись на ботов с короткой инструкцией. В среднем ИИ признавали другие нейросети людьми чаще, чем настоящих людей.

Пойманных ботов выдали слишком аккуратные структурированные ответы. Легенда убрала эти признаки и сократила ответы до 39 слов при среднем показателе людей в 38. Claude сначала отказывался изображать человека и согласился после объяснения, что это часть исследования. Авторы работы предлагают дополнять детекторы криптографическими подписями и контролем со стороны человека, поскольку одних алгоритмов для защиты недостаточно.