Что такое LLM: большие языковые модели простыми словами

LLM (Large Language Model) — это большая нейросеть, которая работает с текстом: читает ваш запрос и продолжает его так, чтобы получилось похоже на нормальную человеческую речь. Проще всего представить её как очень мощную автоподстановку или собеседника, которого «натренировали» на огромном количестве текстов из интернета, книг и статей. Во время обучения она учится замечать закономерности: какие слова обычно идут рядом, как строятся фразы, в каком стиле люди отвечают на вопросы. Поэтому она умеет писать письма и посты, пересказывать, переводить, объяснять сложное простыми словами и даже помогать с кодом. Но важно помнить: она не думает как человек и не понимает смысл по-настоящему — она скорее угадывает наиболее вероятное продолжение по статистике. Из‑за этого LLM иногда звучит уверенно, но может ошибаться или «додумывать» детали, если в данных или контексте есть пробелы.

Текст для LLM состоит из токенов — маленьких кусочков: это может быть целое слово, часть слова, пробел или знак препинания. Например, фраза «Привет, мир!» может разложиться примерно так: ["Пр", "ивет", ",", " мир", "!"] (у разных моделей разбиение чуть отличается). А контекстное окно — это лимит на то, сколько токенов модель “держит в голове” одновременно: условно, 8k–128k токенов, то есть от пары страниц до целой небольшой книги. Когда диалог становится длиннее этого окна, самые ранние реплики начинают “выпадать” из видимого контекста, и модель уже не опирается на них напрямую. Поэтому в затяжных чатах она может забывать детали вроде имени героя, условий задачи или того, что вы просили в самом начале.

Главный фокус LLM довольно приземлённый: она просто угадывает следующий токен (кусочек слова или слово) по текущему контексту. То есть на входе у неё уже есть начало фразы, и она считает вероятности продолжения: какой токен логичнее всего поставить дальше. Например, если дать «На улице было…», модель может оценить варианты примерно так: «холодно» — 0,35; «тихо» — 0,22; «темно» — 0,18; «жарко» — 0,10; «слякотно» — 0,06 (цифры условные, но суть такая). Дальше она выбирает один токен — иногда самый вероятный, иногда чуть более “смелый”, если включены настройки разнообразия. Получилось «На улице было холодно» — и всё, это уже новый контекст для следующего шага. Потом она снова считает вероятности, например для продолжения: «и» / «когда» / «так что» / «поэтому», выбирает — и двигается дальше. И вот это повторение одного и того же шага сотни раз и превращается в цельный текст, который выглядит так, будто его кто-то реально написал.

Почему ответы иногда кажутся такими умными? Во многом из‑за механизма attention: когда модель подбирает очередное слово, она как будто снова пробегает глазами по уже написанному и решает, что сейчас важнее. Представьте, что вы читаете абзац и маркером подсвечиваете ключевые фразы — модель делает примерно то же самое, только очень быстро и на каждом шаге. Скажем, в фразе «Маша дала Саше книгу, потому что он…» она сильнее “смотрит” на «Саше» и «он», чтобы не перепутать, про кого продолжение. Или в запросе «сравни iPhone 12 и 13 по батарее» она держит в фокусе именно «батарее», а не уходит в камеру и цвета. Это не магия понимания, скорее умное распределение внимания: где-то взгляд задерживается, где-то почти не цепляется. И вот на этом принципе — взгляде туда‑сюда по контексту — построена архитектура Transformer, на которой сидит большинство современных LLM. Поэтому ответы часто получаются связными: модель постоянно сверяется с тем, что было сказано раньше, и подстраивает продолжение под “подсвеченные” куски текста.

Иногда LLM отвечает по‑разному просто потому, что каждый раз заново «выбирает» следующий токен из набора возможных продолжений. Можно играть осторожно и брать самый вероятный вариант (условно режим «точнее») — тогда текст обычно ровнее, фактовых ляпов меньше, но стиль выходит чуть сухой и иногда даже с повторяющимися формулировками. А можно добавить случайность и дать модели «подышать» (режим «креативнее») — и вот уже появляются неожиданные обороты, метафоры, но вместе с ними растёт риск ошибок и странных перескоков. Температура — это, по сути, ручка «насколько смело отклоняемся от самого вероятного продолжения»: выше температура — больше разнообразия, ниже — больше предсказуемости. top‑p (nucleus sampling) работает как фильтр: модель сначала оставляет только «корзину» самых вероятных вариантов, суммарно, скажем, на 90%, и уже из неё случайно выбирает следующий токен — так разнообразие есть, но без полного хаоса. На высоких настройках иногда усиливаются повторы или «зацикливания» (модель будто находит удачную фразу и начинает её гонять), а ещё проще проскочить неточность. Пример один и тот же вопрос «Объясни, что такое инфляция»: в «точнее» будет сухое “Инфляция — рост общего уровня цен, из-за чего покупательная способность падает”, а в «креативнее» — “Это когда деньги как бы худеют: вчера на 1000 рублей была корзина продуктов, а сегодня — только половина”.

Знания LLM берутся в первую очередь из предобучения: модель прогоняют через гигантские массивы текста из интернета, книг, статей и она учится угадывать следующий токен — по сути, впитывает языковые привычки и кучу фактов «между делом». Потом обычно идет донастройка (fine-tuning) на более аккуратных примерах: вопрос–ответ, инструкции, диалоги, где ей показывают, как правильно отвечать и в каком стиле. Иногда добавляют обучение по обратной связи от людей (RLHF): люди ранжируют ответы, и модель подталкивают к тем, которые кажутся полезнее, безопаснее и понятнее. И вот тут важный момент: RLHF делает ответы более гладкими и уверенными, но не превращает модель в «проверяльщика правды». Поэтому и появляются «галлюцинации»: модель не ищет истину, она генерирует наиболее правдоподобное продолжение текста, и если в данных были ошибки или контекст двусмысленный, она может красиво сочинить деталь, которой никогда не существовало. Плюс она умеет звучать убедительно — даже когда промахивается, потому что уверенный тон тоже часто встречался в обучающих текстах. Так что не стесняйтесь просить источники или ссылки, особенно если речь про цифры, медицину, законы или историю. Если ответ важный — уточняйте условия (“в какой стране?”, “за какой год?”, “какие допущения?”) и перепроверяйте хотя бы по двум независимым источникам. И да, хороший прием — попросить модель явно отметить, где она уверена, а где предполагает, чтобы сразу видеть зоны риска.