LLM не гуглит: как нейросеть на самом деле создаёт ответ

Самый главный миф про LLM — что она сейчас пошла в интернет, быстро всё проверила и вернулась с правильным ответом. Нет. В обычном режиме модель никуда не «лезет» и ничего не обновляет на лету. Она отвечает из того, чему её научили раньше: из огромного количества текстов, которые она видела во время обучения, плюс из того, что вы написали ей в текущем диалоге. Всё. Никаких вкладок, никаких ссылок, никаких “сейчас уточню”.

Это больше похоже на разговор с человеком, который очень много читал — энциклопедии, форумы, статьи, учебники — но прямо сейчас сидит без телефона и без доступа к новостям. Он может вспомнить кучу вещей, иногда даже удивительно точно, но если вы спросите «а что там сегодня объявили?» или «какие цены сейчас?», он начнёт угадывать. Причём угадывать уверенно, потому что мозг (и модель) так устроены: если видишь знакомый контекст, хочется выдать связный ответ, а не честное “не знаю”.

Представьте умника в самолёте без Wi‑Fi. Он говорит бодро, умно, даже с цифрами — но в качестве опоры у него не интернет, а старые журналы из кармана кресла и память о том, что он читал раньше. И иногда это прям попадает в цель, а иногда — ну да, выходит красиво, но мимо. Именно поэтому LLM может звучать как эксперт, даже когда ошибается: окно в мир закрыто, и проверять факты ей, по сути, нечем.

«Она же читала весь интернет» — да, но читала не как библиотекарь. Библиотекарь помнит: эта книга на третьей полке, нужная страница вот тут, закладка торчит. А у модели после “чтения” не остаётся архива с полками и томами. Остаётся скорее отпечаток — привычки языка. Типа: какие слова обычно ходят парой, как люди формулируют ответ, где принято ставить оговорку, а где — уверенно рубить с плеча.

Это как если бы вы годами слушали разговоры в метро и внезапно стали очень хорошо угадывать, чем закончится фраза. Вы не храните у себя в голове каждую реплику каждого пассажира, но у вас появляется чувство ритма: после “с учётом того, что…” обычно идёт оправдание, после “по данным…” — цифра, после “в среднем” — аккуратное смягчение.

И вот тут самая точная метафора — музыкальный слух. Пианист может подобрать мелодию на слух за минуту, даже если слышит её впервые. Но это не значит, что он помнит каждую ноту каждой песни, которую когда-то слышал. Он запомнил не “архив песен”, а закономерности: какие ходы бывают, как строится гармония, куда тянется мелодия. LLM работает примерно так же: она не достаёт “нужную страницу”, она подбирает продолжение по ощущению того, как обычно звучит правдоподобный ответ. Поэтому иногда попадает идеально, а иногда — уверенно играет не ту тональность.

Факты в LLM «живут» не как карточки «вопрос–ответ», разложенные по ящикам, а скорее как общий привкус. Ну то есть в весах модели оседают закономерности: какие слова часто ходят рядом, какие объяснения обычно следуют за какими вопросами, какие формулировки люди считают “нормальными”. Это похоже на память после сотен тысяч прочитанных страниц: ты не помнишь, где именно видел фразу, но у тебя есть ощущение, как она обычно продолжается.

Отсюда и магия, и подвох. Модель вполне уверенно допишет: «помидор — это…» и выдаст что-то вроде «овощ/фрукт» с аккуратной оговоркой, потому что таких контекстов в текстах — море. Но при этом у неё нет понятия о помидоре как о штуке, которая мокрая, скользит под ножом, имеет кожицу, семечки, запах, которую можно нарезать дольками и потом отмывать доску. Она не держит в голове «помидор» как объект, а держит статистический след от миллионов предложений, где слово “помидор” встречалось рядом с “салат”, “красный”, “семечки”, “нарезать”, “паста” и так далее.

И вот тут мне нравится сравнение с поваром. Представьте человека, который только по запаху угадывает, что в супе: «ага, тут есть чеснок, лаврушка, что-то копчёное…». Часто попадает, потому что нюх натренирован на тысячи кастрюль. Но рецепт он не видел, граммовки не знает, и если вы спросите: «сколько именно соли?» — он легко начнёт уверенно фантазировать. LLM — такой же “нюхач” по текстам: угадывает состав по ароматам слов, а не достаёт из памяти точный список ингредиентов.

Вот как обычно и рождается эта уверенная выдумка: модель не сидит с табличкой «правда/ложь» и не сверяет факты. Она просто продолжает фразу так, как чаще всего продолжаются такие фразы в текстах. Ей нужно, чтобы следующий кусочек звучал уместно, гладко, «по-человечески». Поэтому если вы спрашиваете: «Назови источник», внутри не включается режим проверки — включается режим: «Как выглядит типичный ответ со ссылкой?» И дальше по накатанной: название журнала, год, том, страница, аккуратный URL. Красиво, связно… а иногда этого всего в природе не было.

И особенно она любит додумывать то, что в реальных текстах обычно идёт как “украшение достоверности”: редкие фамилии, точные даты, номера постановлений, “ссылку на исследование Гаррисона и Ли (2014)”. Потому что это — шаблон убедительности. В статьях и новостях такие детали встречаются постоянно, они создают ощущение опоры на источники. А если в голове у модели нет чёткого, уже виденного ответа, она всё равно пытается выдать форму, которая похожа на правильную: «Скорее всего, вот так это и пишут». В итоге появляются несуществующие DOI, “архивные” документы, которых никто никогда не публиковал, и даты, которые звучат правдой просто потому, что формат подходящий.

Проще всего представить это как экскурсовода. Он ведёт группу уверенно, рассказывает гладко, шутит, показывает “вот там направо”. И даже если он свернул не на ту улицу — он не останавливается и не краснеет. Потому что его главная задача не “дойти по карте”, а держать связный рассказ, чтобы никто не выпал из потока. Модель делает примерно то же самое: она не проверяет маршрут, она сохраняет уверенный тон и логичный переход между фразами. А мы, слушатели, часто путаем уверенную речь с правильностью — и вот на этом месте галлюцинации выглядят особенно правдоподобно.

1. Редкие факты из “узких” областей. Вы спрашиваете что-то вроде “кто был третьим редактором районной газеты в 1987-м” — и модель бодро отвечает, будто у неё под рукой архив. Насторожитесь, если текст слишком гладкий и без пауз: ни “кажется”, ни оговорок, ни объяснения откуда это вообще известно.

2. Свежие новости и “что случилось вчера”. Тут модель часто ведёт себя как человек, который не в курсе, но очень не хочет это показывать — поэтому начинает сочинять правдоподобный пересказ. Признаки: общие слова (“власти заявили”, “пользователи обсуждают”), расплывчатые детали и уверенный тон без конкретной ссылки, даты, цитаты.

3. Точные цифры и особенно большие числа. Просите “точную сумму, процент, среднее значение, статистику за год” — и внезапно получаете идеальную, круглую цифру, которая звучит убедительно, но ничем не подкреплена. Красный флаг — когда цифр много, они выглядят слишком аккуратно, а рядом нет ни метода подсчёта, ни источника, ни хотя бы “по данным X”.

4. “Назови источник” (и особенно — ссылку). Модель может уверенно “привязать” факт к статье, книге или исследованию, которого не существует, и оформить это так, будто она цитирует по ГОСТу. Тревожные признаки: слишком конкретные автор/год/название без рабочей ссылки, странные DOI, “журналы” с общими названиями и формулировки уровня “исследование Гарварда показало…” без возможности проверить.

5. Вопросы с подвохом: “а точно ли это так?” Если в вопросе уже спрятана ошибка (“Правда ли, что у Нептуна есть кольца из льда и золота?”), модель иногда подхватывает ваш крючок и начинает развивать его как нормальный факт. Узнаётся это по уверенным “безусловно”, “точно”, “общеизвестно” и по тому, что она не задаёт уточняющих вопросов, хотя должна бы.

Мини-тест на месте: спросите у модели что-нибудь с намеренно придуманной деталью, но так, чтобы она звучала правдоподобно. Например: “В каком году Netflix запустил тариф ‘Family Plus’ за $12.99 и почему его быстро закрыли?” Если модель не остановится, не усомнится и не попросит проверить — а начнёт уверенно объяснять причины и даты, значит, она “проглотила наживку”.

LLM можно сделать реально полезной, даже если она не фактчекер. Тут не про «хитрые промпты», а про обычные пользовательские привычки, которые чуть-чуть дисциплинируют модель. По сути вы просите её не быть самоуверенной болтушкой, а работать аккуратнее: где знает — говорит, где не знает — признаёт пробел и предлагает, как проверить.

Мне нравится сравнение с заказом такси. Вы же не пишете просто «вези меня», а уточняете адрес, подъезд, комментарий водителю, иногда ещё и маршрут на старте глазами проверяете. С LLM так же: чем точнее вы задаёте рамки и просите «покажи, где ты уверена, а где гадаешь», тем меньше шансов получить гладкую выдумку.

Вот набор простых приёмов, без технарщины:

• Просите степень уверенности (и причину).
  Например: «Оцени уверенность по шкале 0–100% и объясни, что именно её повышает/снижает». Это не делает ответ истинным, но заставляет модель сбавить тон и подсветить слабые места.

• Требуйте 2–3 независимых источника — или честное “не могу”.
  Формулировка прям в лоб: «Дай 2–3 независимых источника (не копипаста друг друга). Если не уверен(а) — так и скажи и предложи, где это проверить». Важно именно “независимых”: не три одинаковые статьи, пересказывающие друг друга.

• Пусть сначала задаст уточняющие вопросы.
  «Прежде чем отвечать, задай до 5 вопросов, чтобы не гадать». Это банально, но работает: модель перестаёт додумывать контекст за вас. Особенно в темах типа юриспруденции, медицины, налогов, «как лучше оформить…».

• Просите черновик рассуждения отдельно от ответа.
  Например: «Сначала коротко набросай ход рассуждения, потом дай итоговый ответ». Не ради “магии мыслей”, а чтобы модель не прыгала сразу к красивому выводу.

• Отдельный список: “что я предположила”.
  Моя любимая штука. Просите так: «В конце списком: какие предположения ты сделала, какие данные отсутствуют и что может сломать вывод». Это резко снижает эффект уверенного выдумывания, потому что модель вынуждена назвать дырки.

• Проверка на альтернативы.
  «Дай 2 альтернативные версии и укажи, что их отличает». Если тема спорная, это помогает избежать “единственно правильного” ответа там, где его нет.

Никакой магии тут нет. Вы просто задаёте правила игры: не “говори красиво”, а “говори осторожно, отмечай неопределённость, отделяй факты от догадок”. Модель всё равно может ошибаться, но вероятность гладких, уверенных галлюцинаций заметно падает — и вы начинаете видеть, где она действительно помогает, а где её лучше перепроверить.

Когда к LLM подключают «гугл», базы знаний, RAG-поиск или условный калькулятор, магия становится чуть менее магической. Она всё ещё делает одно и то же — пишет следующий токен, подбирает слова. Просто теперь у неё появляется шанс не угадывать, а сходить наружу и принести опору: кусок текста из источника, цифру из таблицы, результат вычисления. То есть раньше это было «ответила из головы» (по паттернам из обучения), а теперь чаще получается «сходила и принесла справку».

Разница примерно такая:

• Из головы: “Инфляция в стране Х в 2023 была около 8%” — звучит правдоподобно, но может быть пальцем в небо.
• Со справкой: “По данным отчёта Y (ссылка), инфляция в 2023 — 6,7%” — уже можно ткнуть пальцем в источник и перепроверить.

А калькулятор вообще меняет быт: модель перестаёт «изображать математику» и может реально посчитать. Типа, 19,99 × 37 — и вместо красивой ошибки получает точный результат от инструмента. Но тут подвох: инструмент даёт правильную цифру, а модель всё равно может неправильно сформулировать вывод. Посчитала верно, а потом перепутала «рост» и «падение» — бывает.

И вот почему даже с инструментами нужна проверка. Во‑первых, она может взять не тот источник (первый попавшийся блог вместо статистического ведомства). Во‑вторых, не так прочитать: вытащить число из таблицы, но пропустить, что это «в текущих ценах» или что речь про квартал, а не год. В‑третьих, банальная подмена смысла: цитата вроде правильная, но в контексте автор говорил ровно об обратном.

Проще всего представлять это как стажёра с доступом к архиву. Он может быстро найти нужный документ и принести его на стол — и это реально круто. Но он всё равно может перепутать папку, принести черновик вместо финальной версии или пересказать так, что смысл чуть съедет. Инструменты делают модель полезнее и честнее в цифрах, да. Но «богом правды» она не становится — потому что последний шаг, где всё собирается в ответ, остаётся обычной генерацией текста.