ИИ не умеет убедительно имитировать человеческое общение — особенно эмоции

Большие языковые модели по-прежнему не способны достоверно воспроизводить человеческую манеру общения — даже когда их специально настраивают под стиль конкретных пользователей. К такому выводу пришли авторы исследования, сравнившие ответы девяти открытых языковых моделей с реальными сообщениями людей на платформах X, Bluesky и Reddit.

Алгоритмы машинного обучения отличали человеческие ответы от сгенерированных с точностью 70–80% даже после калибровки моделей — дополнительной настройки под стиль и особенности общения пользователей. Для проверки авторы разработали систему CHAT (Conversational Human Authenticity Test), которая оценивает сходство искусственного текста с человеческим по нескольким параметрам: насколько легко отличить ответы модели от ответов человека, насколько близки они по смыслу, а также чем различаются их стиль, лексика, эмоциональная окраска и тематика.

В исследовании проверили девять моделей семейств Apertus, DeepSeek, Gemma, Llama, Mistral и Qwen, используя пять стратегий настройки, включая дообучение, стилевые примеры и извлечение релевантного контекста. Самым устойчивым признаком искусственного происхождения оказалась эмоциональная окраска: настройка помогала моделям лучше воспроизводить формальные характеристики сообщений — длину предложений и количество слов, — но различия в тональности и эмоциональном выражении сохранялись.

Анализ также выявил устойчивую роль сентиментальной окраски и токсичности — характеристик, связанных с выражением отношения и эмоциональных реакций. Иными словами, модели научились воспроизводить внешнюю форму онлайн-диалога лучше, чем его эмоциональную составляющую. Увеличение размера модели само по себе проблему не решало: Llama 3.1 с 70 млрд параметров не показала заметного преимущества перед значительно меньшими моделями.

Более того, модели без дополнительного обучения следованию инструкциям в целом лучше имитировали человеческую речь, чем модели, специально настроенные на выполнение запросов. Эффект зависел и от платформы: наиболее убедительно модели воспроизводили общение в X, хуже — в Bluesky, а сложнее всего им давались Reddit и его более разнообразные разговорные нормы.

Главное ограничение обнаружилось при сопоставлении естественности и точности смысла. Методы, благодаря которым ответы становились менее различимыми для классификаторов, одновременно снижали их семантическое сходство с настоящими человеческими сообщениями. И наоборот, ответы, наиболее близкие по смыслу к оригиналам, чаще распознавались как искусственные. Этот компромисс сохранялся при разных способах настройки и отбора сгенерированных ответов, а более свободные параметры генерации снижали выявляемость ИИ-текста ценой дальнейшего ухудшения смыслового соответствия.

Результаты особенно важны для социальных наук, где языковые модели всё чаще используют для имитации участников опросов, прогнозирования благополучия, изучения политического поведения и моделирования общественных реакций. Пока ИИ убедительно копирует форму разговора, но не его эмоциональную суть — и это ограничение стоит учитывать всем, кто полагается на синтетические данные о поведении людей.