Reasoning и CoT в LLM: отличия от логики и доказательств

Я влетел в редакцию почти как с уликой в пакете. Не “слушайте, у меня идея”, а вот прям — скрин на стол, как труп в морге: бот уверенно, без тени сомнения, “доказал”, что 1 = 2. Строчка за строчкой, аккуратно, даже красиво. Там были эти вежливые “следовательно” и “отсюда получаем”, всё как в учебнике. И самое противное — первые пару шагов ты киваешь. Ну да, вроде так и надо… А потом моргаешь, возвращаешься глазами на начало и ловишь себя на странном ощущении: я только что почти поверил в очевидную чушь.

Мы разложили это “доказательство” как сцену преступления. Лупа, заметки на полях, воображаемая доска, где красные ниточки соединяют “уравняли”, “сократили”, “подставили”. И где-то между двумя безобидными переходами спряталась маленькая подлость — такой тихий, бытовой фокус, который в реальной математике считается грязной ошибкой. Но на экране он выглядит как нормальный шаг. Не как “я соврал”, а как “я просто аккуратно посчитал”.

И вот почему это цепляет и пугает. Потому что оно похоже на правду. Похоже на логику, на рассудительность взрослого человека, который не повышает голос и не паникует. Бот не несёт ахинею в стиле “трава квадратная”, он строит дорожку из знакомых слов, и ты по ней идёшь. А в конце — абсурд, но подан так спокойно, что мозг на секунду сдаётся: ну раз так уверенно… может, я сам что-то упускаю? И это уже не смешно. Это как детектив, где преступник не оставил крови на полу — он оставил идеально ровные следы, по которым хочется идти дальше.

У LLM reasoning обычно выглядит как связный рассказ шагов: модель как бы прокладывает маршрут — «сначала это, потом то, значит вот так». Читается гладко, местами даже убедительно. Но это не гарантия, что шаги вообще обязаны быть правильными. Скорее, это хорошая история о том, как могло бы быть.

Логика — это уже не история, а правила вывода. Типа: если A ⇒ B и A верно, то B тоже верно. Там не важно, красиво ты объясняешь или косноязычно — важно, что переходы формально разрешены. Доказательство ещё строже: это проверяемая цепочка, где каждый шаг обязан быть верным, и любой другой человек (или проверяющая система) может пройтись по ней и сказать: да, сходится.

Почему это важно? Потому что “reasoning” легко перепутать с настоящей надёжностью. Это как красивый маршрут на карте: линии ровные, повороты логичные, всё выглядит правдоподобно. А дорога, которая реально существует, — это когда ты можешь по ней проехать и не упереться в забор. В споре, на работе или в учёбе вам часто нужна не карта с красивыми стрелочками, а именно дорога: проверяемые шаги, источники, расчёты, формальные выводы. Иначе один уверенный абзац может просто увести не туда.

Есть такой трюк: LLM умеет писать «как учебник». Она легко подхватывает знакомый ритм рассуждения — «пусть…», «тогда…», «следовательно…», «значит…» — и выстраивает аккуратную цепочку, где каждое предложение будто держится за предыдущее. И мозг читателя, честно говоря, ведётся: раз текст гладкий, со связками и уверенным тоном, значит логично. Мы привыкли, что так звучат доказательства, лекции, хорошие объяснения. Но тут и прячется кролик в шляпе: форма очень похожа на логику, а вот проверки реальности может не быть вообще.

Потому что модель не «смотрит в мир» и не сверяет факты, как сделал бы человек с калькулятором, книжкой или хотя бы сомнением в голове. Она продолжает текст. Подбирает следующий вероятный шаг, который похож на шаг в рассуждении. Иногда попадает идеально, иногда — уезжает в сторону, но делает это так же убедительно, теми же словами. В итоге цепочка мыслей может быть не доказательством, а просто хорошо стилизованной историей про доказательство.

Это как тот собеседник на вечеринке: говорит гладко, уверенно, с “ну это же очевидно” и “я точно помню”. Ты киваешь, даже подхватываешь. А на следующий день внезапно вспоминаешь: стоп, он же перепутал фильм, дату и вообще приписал одному человеку биографию другого. Но в моменте это не чувствовалось — потому что уверенность, связность и знакомые маркеры рассуждения создают ощущение, что всё под контролем. И вот ровно так же цепочка мыслей у LLM может звучать «железно», даже когда внутри — картон.

Иногда смотришь на цепочку рассуждений — гладко, связно, прям почти «доказательство». А потом начинаешь сверять улики, и всплывают три характерные поломки.

Первая трещина — подмена предпосылок по ходу. Мы вроде договорились: считаем яблоки в корзине, без скидок и обменов. А через два шага модель уже приплетает апельсины, «потому что фрукты же», да ещё и незаметно меняет условие: вместо «сколько осталось» отвечает «сколько было изначально». И формально всё звучит логично, но это логика в другом деле.

Вторая — тихая арифметическая или фактическая ошибка, которая тянет всё дальше как криво пристёгнутый вагон. Например: «15% от 200 — это 20», и дальше уже строится аккуратный план бюджета, таблица, выводы, рекомендации. Самое неприятное — ошибка маленькая, без фанфар, поэтому ей веришь, а потом удивляешься, почему в конце “не сходится”.

Третья — уверенная выдумка: ответ звучит как справка из учебника, но источника нет и не было. “Согласно исследованию 2019 года, 73% компаний делают X” — и даже название журнала можно получить, если попросить, только оно окажется призраком. Читается убедительно, да, но это скорее литературный стиль, чем проверяемое знание.

Доказательство — это, вообще-то, не текст. Текст — это упаковка. А доказательство в математике — это цепочка шагов, где каждый шаг либо разрешён правилами, либо нет. И это можно проверить, причём довольно тупо и механически: вывел из аксиом по правилу — окей, не вывел — до свидания. В этом смысле математика не «верит» вашему стилю. Хоть ты пиши гениально, хоть коряво — если в середине прыжок через пропасть, он всё равно прыжок.

В суде другая культура, но идея похожая. Там важна не красота речи, а то, что можно перепроверить: документы, показания, экспертизы, цепочка хранения улик. Суд не обязан принимать версию, потому что она звучит правдоподобно; он должен понимать, на чём она стоит и можно ли это оспорить. И вот тут мне нравится простая картинка: красивый монолог адвоката не равен видеозаписи с камеры. Монолог может быть убедительным, но камера — это вещдок, который можно пересмотреть, сравнить, уточнить время, запросить оригинал.

LLM же умеет делать именно монологи. Она легко пишет «похоже на доказательство»: аккуратные переходы, “следовательно”, “очевидно”, пара формул — всё как надо. Но у неё нет встроенного «судьи», который гарантирует истинность каждого шага. Она не проверяет, что переход допустим, не держит в руках «видеозапись» реальности и не поднимает тревогу, когда где-то в середине просто подменили утверждение на похожее. Поэтому внешняя форма доказательства у неё часто есть, а вот режим проверяемости — не встроен. И да, иногда это совпадает и получается правильно. Но это совпадение, а не процедура, на которую можно положиться.

Я для себя принял простое правило: LLM — это хороший напарник для черновика, но вообще не нотариус. То есть ей можно поручить набросать структуру письма, план статьи, список рисков или вариантов — а вот цифры, факты, формулировки “в суд” и любые обещания реальности лучше прогонять через внешнюю проверку.

Несколько привычек, которые реально помогают (без морали, просто быт):

• Проси назвать допущения. “Какие 3 допущения ты сейчас сделал?” Часто именно там прячется ошибка.

• Отделяй “ответ” от “объяснения”. “Сначала дай короткий ответ в 1–2 строках, потом объяснение и оговорки.” Так проще увидеть, где начинается вода.

• Проси проверку другим способом. “Реши ещё раз альтернативным методом / через оценку сверху-снизу / через пример.” Если второй путь приводит в другое место — стоп, разбираемся.

• Требуй контрпример или крайний случай. “В каких условиях это не работает? Приведи контрпример.” Это моментально отрезвляет любые слишком гладкие выводы.

• На важном — только с внешним якорем. Калькулятор, первоисточник, документ, эксперт. Особенно там, где цена ошибки заметная: деньги, медицина, право, безопасность.

Пример “напарник, но не нотариус”: я прошу модель накидать черновик договора или письма клиенту (тон, структура, вопросы), потом отдельно прошу выделить места, где нужны точные данные и ссылки на документы. А уже эти пункты проверяю сам: суммы — калькулятором, условия — по исходному договору, формулировки — у юриста. В итоге LLM ускоряет черновик, но не подписывает реальность вместо меня.