ИИ пока не воспроизводит эмоции в общении убедительно
Языковые модели не способны достоверно имитировать человеческую манеру общения, особенно эмоциональную окраску, даже после специального обучения. К такому выводу пришли авторы исследования, сравнившие ответы девяти открытых моделей с сообщениями людей на X, Bluesky и Reddit.
01Что случилось
Алгоритмы машинного обучения различали человеческие и сгенерированные ответы с точностью 70–80% даже после калибровки моделей под стиль пользователей. Для проверки авторы разработали систему CHAT (Conversational Human Authenticity Test), которая оценивает различимость ответов, смысловую близость, стиль, лексику, эмоциональную окраску и тематику.
Проверили девять моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen с использованием пяти стратегий настройки, включая дообучение, стилевые примеры и извлечение релевантного контекста. Самым устойчивым признаком искусственного происхождения оказалась эмоциональная окраска: настройка улучшала формальные характеристики вроде длины предложений и числа слов, но различия в тональности сохранялись.
Увеличение размера модели не решало проблему: Llama 3.1 с 70 млрд параметров не показала заметного преимущества перед меньшими моделями. Модели без дополнительного обучения следованию инструкциям в целом лучше имитировали человеческую речь. Наиболее убедительно модели воспроизводили общение в X, хуже — в Bluesky, сложнее всего — в Reddit. Методы, снижавшие различимость ответов для классификаторов, одновременно уменьшали их смысловое сходство с человеческими сообщениями.
02Почему это важно
Результаты важны для социальных наук, где языковые модели используют для имитации участников опросов, прогнозирования благополучия, изучения политического поведения и моделирования общественных реакций.
Источники
- iXBT ixbt.com