Модели "учитель" и "ученик": суть дистилляции в ИИ

Сначала — зачем вообще «уменьшать мозг». Тут важный момент: маленькая модель — это не обязательно «хуже», она просто удобнее в жизни. Большую модель круто иметь где‑то в облаке, но она дорогая в запуске: нужны мощные видеокарты, нормальная инфраструктура, плюс каждый запрос — это время и деньги. А маленькую можно гонять на обычном сервере, на кассе в магазине или вообще в телефоне. Она отвечает быстрее, не заставляет пользователя ждать эти лишние секунды, и — что особенно приятно — может работать без интернета: в метро, в самолёте, на даче, где связь то есть, то нет.

Для бизнеса выгода прям приземлённая. Если у тебя, скажем, поддержка клиентов или поиск по базе знаний, разница между «1 запрос = дорого» и «1 запрос = почти бесплатно» превращается в нормальную экономию на масштабе. Плюс меньше электричества: когда модель легче, она меньше «жрёт», а значит ниже счета и проще уложиться в лимиты, особенно если у тебя не дата-центр, а парочка машин в офисе. Для обычного человека это тоже не абстракция: локальный переводчик, умная клавиатура, распознавание речи — всё это становится быстрее и приватнее, потому что данные не обязательно уезжают куда-то на сервер.

Я бы сравнил это с переездом из огромного дома в уютную студию. Дом классный, просторный, но уборка вечная и коммуналка кусается. А студия — меньше хлопот, дешевле, всё под рукой. Правда, надо умно выбрать, что брать с собой: не тащить десять шкафов, а оставить самое полезное. Вот дистилляция примерно про это — сохранить «смысл и навыки», но упаковать их так, чтобы ими можно было пользоваться каждый день, а не только по праздникам.

Это частое заблуждение: будто дистилляция — это взяли большую модель, “вырезали половину нейронов” и получили мелкую версию, которая кое-как угадывает продолжения. На практике всё гораздо менее варварски. Дистилляция — это обучение по примеру: большая модель (учитель) много раз показывает, как именно она отвечает на разные запросы, а маленькая (ученик) учится воспроизводить не текст слово в слово, а логику и манеру.

Представьте сильного репетитора. Он не заставляет ученика переписывать учебник на 1000 страниц, он натаскивает на типовые задачи: где смотреть, как рассуждать, какие ходы почти всегда работают. То же и тут: ученик подхватывает “стиль решения” — например, что в спорном вопросе надо сначала уточнить вводные, а потом дать короткий ответ и список шагов. И да, учитель часто даёт не одну “правильную” метку, а целое распределение вариантов — что вероятнее, что менее вероятно. Это помогает ученику уловить нюансы.

Мне больше всего нравится аналогия с кухней. Шеф-повар — это большая модель: он знает кучу рецептов, техник и редких финтов. Су-шеф — маленькая: он не обязан помнить весь мировой справочник, но если шеф несколько недель показывает, как он собирает соус, как балансирует кислоту и сладость, как доводит блюдо до “вау”, су-шеф начинает готовить в той же манере. Он не копирует каждую щепотку — но результат получается очень похожим. Вот это и есть дистилляция.

Представь, что у тебя есть очень умная большая модель — учитель. Её можно завалить тысячами вопросов: от «какой город столица?» до «что автор имел в виду в этом абзаце?». И фишка в том, что учитель может выдать не только один “правильный” ответ, а ещё и показать расклад уверенности: мол, вариант А — скорее всего, вариант B — тоже звучит правдоподобно, вариант C — почти точно мимо. Это и есть те самые «мягкие подсказки» — не сухая галочка, а более честная картинка того, как модель реально думает.

Дальше появляется ученик — маленькая модель, которой нельзя дать столько памяти и вычислений, но хочется, чтобы она работала почти так же. И её учат не просто угадывать “правильный вариант”, а повторять распределение уверенности учителя. В этом смысл: ученик подхватывает тонкие различия. Например, в задаче с похожими ответами он начинает понимать, что два варианта близки, просто один чуть-чуть лучше — а не воспринимать всё как “правильно/неправильно” в лоб.

Мне нравится сравнение с экзаменом. Если преподаватель просто ставит галочку «верно», ты как бы молодец — но чему ты научился, непонятно. А вот если видно, что он колебался между двумя ответами (скажем, 55% против 45%), это уже подсказка уровня “ага, значит, эти варианты реально похожи, вот где тонкое место”. И ученик именно на таких подсказках и выезжает: учится быть не таким мощным, как учитель, но более “сообразительным”, чем если бы его кормили только жёсткими метками.

Когда говорят «перенести знания из большой модели в маленькую», кажется, будто это одна штука. Но на деле переносить можно разное — как будто у модели есть три слоя памяти, и в каждом лежит свой тип “умения”.

1) Финальные ответы — просто поведение.
Самый прямолинейный вариант: маленькую модель учат отвечать так же, как большая. Вопрос — ответ, вопрос — ответ. Это как выучить песню по слуху: попадаешь в ноты, куплеты на месте, слушателю вроде бы всё знакомо. Но если чуть поменять тональность или попросить сыграть “с выражением”, может развалиться — потому что ты повторял результат, а не то, как он получается.

2) Промежуточные «привычки мышления» — как она приходит к ответу.
Тут уже интереснее: переносится не только “что сказать”, но и “как дойти”. Как если бы музыкант не просто копировал мелодию, а подсматривал приёмы — где сделать паузу, где аккуратно поддать, как разложить пассаж по пальцам. У модели это выглядит как попытка научить её держать в голове ход рассуждения: сначала прикинуть рамки, потом проверить детали, потом собрать ответ. И да, это обычно делает маленькую модель заметно устойчивее.

3) Внимание к деталям — на что она смотрит.
И вот самый тонкий слой: куда модель “глядит”, когда читает текст. Одни цепляются за даты и числа, другие — за формулировки “не” и “кроме”, третьи — за связи между абзацами. Это очень похоже на то самое чувство ритма: ноты те же, техника вроде та же, но без ритма игра не узнаётся. Перенесёшь это — и маленькая модель начинает ловить важные мелочи автоматически, без постоянных подсказок.

Цена компактности обычно всплывает не там, где модель «вообще не умеет», а там, где она начинает уверенно ошибаться. И это прям бесит: ответ звучит гладко, тон спокойный, формулировки убедительные — а по сути мимо. Маленькая модель после дистилляции часто становится как карманный путеводитель: на главных маршрутах всё ок, но стоит свернуть в странный переулок — и она поведёт не туда, причём с таким видом, будто там сто раз была.

Почему так происходит? У ученика банально меньше «места в голове». Большая модель держит больше исключений, тонких связей и контекстных оговорок, а маленькой приходится сильнее обобщать. В дистилляции это ещё усиливается: ученик учится повторять типичное поведение учителя (то, что чаще встречается в данных и распределениях вероятностей), а вот редкие хвосты — необычные формулировки, узкие домены, смешанные языки, странные запросы — сжимаются и размазываются. Плюс длинный контекст: когда параметров и «внутренней памяти» меньше, модель проще «теряет нить» и начинает додумывать.

Как заметить, что вы попали в зону провалов? Есть несколько характерных признаков:

• Слишком высокая уверенность без опоры: много категоричных утверждений, мало уточняющих вопросов, почти нет «не уверен».
• Редкие случаи ломают логику: исключения, нестандартные форматы, двусмысленные условия — и модель выбирает один вариант, не проговаривая допущения.
• Нюансы схлопываются: путает близкие понятия (например, «точность» vs «полнота», «корреляция» vs «причинность») и не видит разницы.
• Длинный контекст течёт: на 10–15 абзаце вдруг противоречит тому, что сама писала в начале, или «забывает» ключевое условие задачи.
• Галлюцинации звучат правдоподобно: вместо “не знаю” появляются аккуратные, но выдуманные детали — даты, названия, ссылки.

В общем, компактность — это не только «быстрее и дешевле». Это ещё и риск получить модель, которая на типовых сценариях выглядит взрослой, а на редких — ошибается не робко, а уверенно и красиво. И вот это, честно, самое опасное.

Самый простой и честный способ — дать учителю и ученику одни и те же задачи и сравнить не только “попал/не попал”, а как именно они отвечают. Возьмите 20–30 запросов из реальной жизни: письмо клиенту, краткое резюме статьи, разбор таблицы, “почему у меня падает сервис”, пару задач на логику и пару — на факты с датами/цифрами. И да, задавайте одинаково, слово в слово. Потом смотрите: ученик не просто короче, он ещё и не начинает выдумывать? Не теряет важные ограничения? Не уходит в общие слова там, где учитель обычно точнее?

Дальше — стабильность. Прогоните один и тот же вопрос 5–10 раз (или чуть перефразируйте) и проверьте, не “переобувается” ли модель на ходу. Нормально, когда формулировки разные. Ненормально, когда в первом ответе “делай A”, во втором “ни в коем случае не A”, а в третьем она вообще меняет факты. Отдельно посмотрите на аккуратность с фактами: дайте 10 вопросов, где легко облажаться (даты релизов, названия законов, статистика, “кто автор”). Если ученик чаще начинает уверенно фантазировать — это красный флаг, даже если на “школьных” задачках он выглядит бодро.

Ещё один маркер — умение признавать неопределённость. Специально добавьте вопросы с неполными вводными: “посоветуй, какой тариф выбрать”, “оцените риски”, “почему так происходит” — без контекста. Хорошая мини-модель не обязана угадывать. Она должна спросить уточнения или хотя бы сказать “могу ошибаться, вот что нужно знать”. Потому что в реальных сценариях важна не только “правильность” по тесту, а поведение: не навредить, не уверенно соврать, не сломать процесс. В проде обычно страдают не от одной неправильной цифры, а от того, что модель звучит слишком уверенно и её начинают слушать.

И напоследок — слепой дегустационный тест, как с колой. Два “стакана”: вы сохраняете ответы учителя и ученика, перемешиваете (A/B), и даёте человеку (или себе через день) угадать, где кто. Те же вопросы, тот же формат, никаких подсказок. Если в 10–15 попытках вы угадываете модель “на вкус” почти всегда — ученик пока заметно хуже. А вот если вы путаетесь, и различия только в скорости/цене — поздравляю, это уже похоже на нормальную дистилляцию, а не на игрушку.