Налог на родной язык: общение с ИИ не по-английски обходится до 17 раз дороже

Цифровое неравенство долгое время ассоциировалось с доступом к интернету: у кого-то была быстрая связь и компьютер, у кого-то — нет. С распространением больших языковых моделей к этому добавился новый слой — языковой. Исследователи обратили внимание, что стоимость обработки одного и того же запроса заметно различается в зависимости от языка, на котором он написан.

Как язык превращается в цену

Языковые модели работают не с буквами и не со словами напрямую, а с токенами — фрагментами текста, на которые его разбивает токенизатор. Английский язык, на котором обучалось большинство моделей, представлен в словаре токенизатора очень плотно: частые слова и даже словосочетания кодируются одним токеном. Для менее распространённых языков таких «готовых» фрагментов меньше, поэтому тот же по смыслу текст распадается на большее число токенов.

До 17 раз дороже

По данным исследования, разница в стоимости обработки запросов между языками может достигать 17 раз. Причина — не только в количестве токенов, но и в том, как устроены тарифы: провайдеры ИИ обычно берут плату за токены, а не за смысл запроса. В результате носитель редкого языка платит больше за тот же объём информации, а в некоторых случаях получает ответ худшего качества, поскольку модель хуже обучена на его языке.

Кого это касается

Речь идёт не только о малочисленных народах. В зону риска попадают носители языков с богатой морфологией и сложным словообразованием, а также пользователи, которые предпочитают общаться с ИИ на родном языке, а не переходить на английский. Для бизнеса это оборачивается дополнительными расходами при локализации продуктов, для исследователей — искажениями при сравнении моделей, а для обычных пользователей — барьером при доступе к технологиям.

Что предлагают исследователи

Среди возможных решений — более сбалансированные токенизаторы, обученные на многоязычных корпусах, а также тарифы, привязанные к смыслу, а не к числу токенов. Отдельное направление — оценка моделей не только по качеству ответов, но и по «языковой стоимости» обработки запроса. Пока же рынок ориентируется на английский как на эталон, и это закрепляет неравенство.

Почему это важно

Язык — не просто инструмент общения, а часть идентичности. Когда технология делает родной язык «дороже» английского, она подталкивает пользователей к отказу от него. Исследователи предупреждают: без внимания к проблеме ИИ может усилить существующие диспропорции, а не сгладить их. Вопрос в том, станет ли многоязычность приоритетом для разработчиков или останется побочным эффектом гонки за эффективностью.