Почему LLM «глупеет» на русском: главные причины

Иногда это выглядит почти обидно: ты точно знаешь, что модель вообще-то умная, ты видел, как она на английском спокойно пишет нормальные письма, разбирает договоры и даже шутит к месту. А на русском — как будто делает вид, что не поняла. Не всегда, но достаточно часто, чтобы начать подстраиваться: упрощать формулировки, переписывать запрос, переводить в голове на английский. И вот тут уже чувствуется разница — не в «знании языка», а в том, как она себя ведёт.

Самые узнаваемые симптомы обычно такие:

• Расплывчатые ответы вместо конкретики. Просишь: «Составь план на 10 пунктов с дедлайнами и рисками» — получаешь что-то вроде «важно определить цели и распределить ресурсы», без дат, без шагов, без мяса.
• Внезапная уверенность в ерунде. Модель на полном серьёзе может «объяснить», что какой-нибудь закон действует с 2012 года (хотя он вообще про другое), или выдать несуществующую функцию в сервисе — и ещё спорить будет, если переспросить.
• Теряет нить, если запрос длинный. Ты аккуратно расписал вводные в три абзаца, добавил ограничения, примеры, “не делай вот так” — а в ответ она цепляется за первую строчку и дальше несёт по шаблону, как будто остальное не читала.
• Странная канцелярщина. Вместо живого текста — «в целях оптимизации процесса рекомендуется осуществить внедрение». Просил дружелюбно и по-человечески, а получил мини-отчёт для чиновника.

И это не просто «ну, смешно». На практике ты теряешь время на переписывание, потом — доверие («а вдруг оно и в важном так же уверенно врёт?»), а дальше уже и деньги: лишние часы команды, неверные решения, косяки в коммуникации с клиентом. Самый яркий момент — когда делаешь один и тот же запрос на двух языках и ощущение реально как будто разговариваешь с разными людьми. Например:

Русский: «Составь вежливое письмо клиенту: задержка поставки на 5 дней, предложи скидку 10% и два варианта решения».
Ответ: общие фразы, скидка забыта, варианты — один, тон какой-то деревянный.

English: “Write a polite email to a client: shipment delayed by 5 days, offer 10% discount, provide two resolution options.”
Ответ: сразу чёткая структура, оба варианта на месте, тон нормальный, всё звучит естественно — просто берёшь и отправляешь.

Вот это “просто берёшь и отправляешь” на русском иногда и пропадает. И бесит не то что «плохо пишет», а то, что вчера была полезной, а сегодня — будто притворилась.

Окей, включаем режим детектива. У нас есть подозреваемая — LLM, которая бодро пишет «Здравствуйте» и даже шутит про котиков. Алфавит знает, слова знает, падежи иногда угадывает. Но стоит попросить: «объясни мысль автора», «сверни аргумент в три пункта», «найди противоречие» — и всё, пошла какая-то каша. Значит, “знать язык” тут алиби, но не доказательство ума.

Версия №1: словарь есть, привычки думать на русском — нет. Это как турист с разговорником: он может заказать кофе и спросить дорогу, но если вы начнёте спорить про ипотеку, иронию в тексте или намёки в диалоге — он потеряется. Местный же вырос в среде: он не “переводит в голове”, он сразу живёт в смыслах. У модели часто наоборот: русский для неё как второй слой поверх привычного “внутреннего английского” (или другого доминирующего языка), поэтому рассуждение выходит чуть деревянным.

Версия №2: она видела меньше хороших примеров. Чтобы уверенно рассуждать, надо не просто знать слова, а насмотреться на тысячи вариантов: как люди строят аргументы, как пишут инструкции, как спорят, как аккуратно уточняют. Если в обучении на русском такого было меньше (или оно было более “шумным”: форумы, кривые переводы, однотипные новости), то и мышление на русском получается беднее. Словарь богатый, а вот “культурный опыт текста” — так себе.

Версия №3: контекст не держится так же крепко. Русский часто “дороже” в обработке: фразы длиннее, форм больше, согласований больше. В итоге модель быстрее теряет нить: где кто, что к чему относится, какое условие было в начале. И вот она уже отвечает вроде по теме, но детали уплыли — как если бы вы читали сложный договор, а у вас каждые две страницы стирается память о первой.

И вот что получается по итогам расследования: знать язык = уметь составлять фразы, а уметь думать на языке = иметь на нём привычку рассуждать, видеть много качественных примеров и уверенно держать контекст. Модель может честно “знать русский”, но при этом быть тем самым туристом с разговорником — вежливым, старательным и иногда… ну, немного растерянным.

Представьте, что у модели есть «рюкзак контекста» — ограниченный объём памяти на один разговор. И за каждую букву, кусочек слова или даже окончание ей приходится платить. На английском это часто как будто расплачиваешься крупными купюрами: пару слов кинул — и всё, мысль упакована. А на русском — мелочью, да ещё и россыпью. В итоге та же самая идея занимает больше внутреннего места, и в рюкзак раньше заканчивается пространство. Не потому что модель «не знает русский», а потому что русский для неё иногда просто дороже.

Например, сравните по смыслу одинаковую просьбу.

• EN: “Summarize the text above in 5 bullet points and keep key numbers.”
• RU: «Сделай краткое резюме текста выше в 5 пунктах и обязательно сохрани ключевые цифры.»
  Русский вариант обычно выходит длиннее и “тяжелее”, поэтому на длинной переписке модель чуть быстрее начинает терять нить: где-то на середине уже хуже помнит, что было «в начале», и чаще повторяется или упускает детали.

Технически это упирается в токены и токенизацию: модель режет текст на внутренние кусочки, и для русского эти кусочки нередко получаются мельче. Длинные слова, приставки-суффиксы и окончания могут дробиться сильнее, чем английские, поэтому на одну и ту же мысль уходит больше «внутренних единиц». И да, это банально съедает контекст — меньше смысла помещается в ту же длину окна.

Представьте библиотеку. Полки на английском — до потолка, ряды, ряды, ещё ряды: учебники, справочники, форумы, научпоп, технические мануалы, переписки, да хоть стенограммы дебатов. А на русском — один стеллаж. И он, честно говоря, собран “как получилось”: тут новости, рядом художественная проза, дальше кусок Википедии, потом какие-то обрывки форумов. Не то чтобы русский “плохой” или “сложный” — просто примеров, где на русском нормально рассуждают, спорят, задают уточняющие вопросы, пишут пошаговые инструкции и аккуратно ссылаются на факты, банально меньше.

И вот тут появляется перекос качества. Модель может знать слова и грамматику, но ей не хватает именно плотных образцов мышления: как объяснять, как проверять себя, как вести диалог, как не путать причинно‑следственные связи. На английском таких примеров больше — и модель чаще видела, как выглядит хороший ответ “по канону”. На русском она нередко угадывает по форме, но внутри пустовато, и это ощущается как “глупее”.

Ну и мультиязычность — это, в общем, компромисс: одна голова на много языков. Если условно в модели одна и та же “память и навыки” делятся на 30 языков, то каждому достаётся меньше внимания, меньше тренировок, меньше шансов отточить стиль и логику. Это как повар, который умеет готовить 30 кухонь мира. Он не плохой — просто его фирменные блюда лучше получаются там, где он тренировался чаще. А где практики было меньше, там и вкус “почти тот”, но нюансы уезжают.

С галлюцинациями у LLM есть такая неприятная штука: её в первую очередь учат звучать правдоподобно и полезно, а не останавливаться и проверять факты. То есть модель отлично умеет собрать ответ в гладкий рассказ, связать причины со следствиями, добавить “умные” формулировки — и именно поэтому иногда так же гладко сочиняет то, чего никогда не было. И вот на русском это часто выглядит хуже не потому, что она “не понимает язык”, а потому что она нередко выбирает более официальный, канцелярский тон. Ошибка, завернутая в “в соответствии с”, “регламентируется” и “на основании”, звучит как документ, и от этого кажется вдвойне солидной.

Мини-сцена №1 (русский, режим «канцелярит на максимум»):
— «Каким ГОСТом регулируется формат JSON для обмена данными?»
— «В соответствии с ГОСТ Р 12.34–2019 “Форматы структурированных данных. JSON”, допускается использование…”
И всё, поехали ссылки, пункты, “приложение А”, хотя ГОСТа, скорее всего, просто не существует. Но текст настолько уверенный и “правильный”, что мозг автоматически кивает: ну да, похоже на правду.

Мини-сцена №2 (английский, больше страховочных оговорок):
— “Is there an official ISO standard for JSON?”
— “Maybe. I’m not sure there’s a specific ISO standard for JSON; it’s commonly described in RFC 8259. You may want to verify.”
Смысл может быть тот же (и ошибка тоже возможна), но тон другой: больше “maybe”, “I’m not sure”, “verify”, и ты раньше понимаешь, что это не железобетонный факт, а предположение.

В итоге ощущение “модель тупит” часто возникает не из одной только ошибки. Это смесь: она где-то промахнулась по фактам и выбрала тон, который делает промах не просто заметным, а прямо-таки торжественным. На русском это встречается чаще — и поэтому “уверенное враньё” бросается в глаза сильнее.

Как с этим жить в реальности? Да нормально, просто с русским у многих LLM работает правило: разговаривайте с ней как с умным, но немного рассеянным помощником. Он всё умеет, но легко уходит в фантазии, если задача размазана. Чем яснее и короче вы задаёте рамки — тем меньше “придумываний” и тем больше пользы.

Во‑первых, попросите структуру сразу: “Сделай план из 5 пунктов, потом распиши каждый по 3–4 предложения”. И модель внезапно становится собраннее. Во‑вторых, давайте контекст кусками, а не одним полотном: “Сейчас пришлю вводные, потом ограничения, потом примеры — не отвечай, пока не скажу ‘поехали’”. В‑третьих, заставьте её уточнять: “Прежде чем отвечать, задай мне 3 вопроса, без них не начинай”. Это почти магия, особенно в задачах “помоги придумать/объяснить”.

Дальше — приземляем на реальность. Просите примеры на ваших данных: “Вот два абзаца текста/табличка/письмо клиента — покажи, как бы ты это улучшила, и объясни почему”. Не абстрактно “как писать лучше”, а прямо на вашем материале, иначе будет вода. Пятый приём — просите источники и самопроверку: “Дай 2–3 ссылки/названия документов; отдельно списком — что в ответе может быть неверным и как это проверить”. Шестой — переключайтесь на простой русский: “Пиши короткими фразами, без канцелярита и длинных оборотов, максимум 12–15 слов в предложении”. Это снижает шанс, что модель запутается в собственных конструкциях. И наконец, если тема критичная, делайте черновик на русском, а факты перепроверяйте через английский: “Сформулируй тезисы по-русски, а ключевые даты/цифры/термины проверь и продублируй на английском с источниками”.

И да, хорошая новость: разрыв реально сокращается. Русскоязычные адаптации, дообучение под домен и новые токенизаторы уже подтягивают качество — так что со временем “на русском глупее” будет встречаться всё реже.