Как языковые модели учатся на себе? Риски и самоусиление

Вечером на кухне, чайник свистит, на столе крошки от хлеба — и я, как нормальный человек, тыкаю в чат-бот: «Накидай план поездки в Казань на три дня, без музеев, зато с едой и прогулками». Он отвечает бодро, прямо по полочкам: где поесть, куда свернуть, как не убиться по времени. Потом — письмо начальнику: «Как аккуратно попросить два дня удалёнки?» И снова идеально: вежливо, уверенно, без лишней драмы. Удобно же.

А потом проходит пара недель, и что-то начинает царапать. Вопросы разные, ситуации разные, а ответы — как будто из одного тюбика: гладкие, правильные, чуть стерильные. Везде одни и те же связки: «Рассмотрим несколько вариантов», «Важно учитывать контекст», «Вот пример шаблона». Даже рецепт внезапно звучит как инструкция по технике безопасности. И главное — вроде не придерёшься, но мимо жизни: как в колл-центре, когда тебе десять раз повторяют «Спасибо за обращение» и ни разу не слышат, что у тебя реально случилось. Или как кофе из автомата: норм, горячо, сладенько — но пропала зернистость, нюансы, вот это “а-ля ты сам сварил”.

Вот зачем вообще знать про синтетические данные. Потому что когда модель всё больше учится на тексте, который сделали такие же модели, она начинает «копировать» не мир, а собственные привычки. Это бьёт по всему, что мы делаем с чат-ботом каждый день: по качеству советов (они становятся безопасными, но пустоватыми), по стилю (одинаковые обороты, одинаковая интонация), по доверию (ты чувствуешь пластик), и по ошибкам — они тоже могут стать тихими и массовыми. В бытовых задачах это особенно неприятно: письмо начальнику может выйти чересчур канцелярским, план поездки — без живых мелочей, а рецепт — вроде правильный, но невкусный, потому что “по инструкции”, без нормальной человеческой поправки «а тут лучше на глаз».

Когда данных не хватает, у модели начинается, по сути, «дело о копиях». Ей нужен текст, чтобы учиться дальше, а свежего реального материала нет или он под замком. И тогда в ход идут синтетические данные — это текст, который модель сама же сочинила, а потом его же используют для обучения. Примерно как ученик: придумал себе задачки, сам их решил и сам себе поставил оценку. Удобно? Ещё бы. Но, честно говоря, немного тревожно.

Почему вообще так делают? Потому что реальные данные — это боль: они дорогие (хорошо размеченные корпуса стоят как полноценный проект), закрытые (переписки, внутренние базы, платные СМИ), редкие (узкие темы типа медицинских протоколов или юридических кейсов), а иногда их просто нельзя трогать из‑за приватности и законов. Поэтому компании берут модель, просят её сгенерировать, скажем, 100 000 «примеров диалогов поддержки» или 50 000 «вопрос–ответ» — и получают почти бесконечный датасет быстро и относительно дёшево.

Образ тут такой: как если бы шеф‑повар тренировал новичка не на настоящих заказах, а на «учебных» блюдах из муляжей. Можно отработать движения, скорость, даже подачу — и это реально ускоряет обучение. Подвох в том, что муляжи не пахнут, не тают, не солятся, и вообще не ведут себя как еда. Так и с синтетикой: модель привыкает к тексту, который похож на реальность, но часто слишком гладкий, предсказуемый и местами ошибочный. А потом удивляемся, почему она уверенно повторяет странные формулировки — она, по сути, натренировалась на собственных отражениях.

Механика тут довольно «человеческая», если на пальцах. Сначала модель садится и начинает писать черновики — пачками. Типа: «сгенерируй 10 000 вопросов-ответов про банковские карты», «придумай 50 вариантов диалогов для поддержки», «сделай примеры хороших и плохих отзывов». На этом этапе она, честно говоря, несёт часть мусора: повторы, странные факты, гладкий, но пустой текст, иногда просто уверенные ошибки.

Потом приходит строгий редактор. Иногда это вторая модель, иногда тот же самый алгоритм, но во втором прогоне, иногда набор правил: «не противоречь себе», «не упоминай запрещённое», «проверь, что ответ совпадает с источником», «убери слишком шаблонные фразы». Из 10 000 черновиков, условно, оставляют 2–3 тысячи — те, где меньше галлюцинаций и больше конкретики. И вот уже из оставшегося собирают тренировочный набор: чистят формат, разметку, добавляют “вопрос → правильный ответ”, и модель доучивают на этом как на обычных данных.

И почти всегда эту синтетику мешают с настоящими данными, иначе модель реально «улетает». Примерно как в школьном кружке сочинений: дети читают работы друг друга, подхватывают удачные обороты, копируют стиль. Но если в круге нет ни одного сильного автора, всё быстро деградирует — появляется один и тот же кривоватый почерк, одинаковые клише, а ошибки начинают казаться нормой. Поэтому в датасет часто добавляют реальный “якорь” — хотя бы 30–50% живых текстов — чтобы стиль и факты не превращались в эхо самой модели.

Попробуем разобраться как в маленьком расследовании. Представьте, что модель пишет текст, потом этот текст попадает в датасет, потом на нём учат следующую версию — и так по кругу. Звучит нормально? А вот тут и подвох: это как ксерокопия ксерокопии. Первый лист ещё читабельный, на втором уже падает контраст, на третьем мелкие детали начинают пропадать, а на десятом остаётся усреднённая сероватая каша. В ML это называют model collapse (модельный коллапс), но, честно, метафора с ксероксом понятнее: чем больше самоповторов, тем меньше реальности и разнообразия.

Дальше эффект становится почти механическим. Редкие штуки — необычные факты, нестандартные формулировки, «странные» вопросы — исчезают первыми, потому что их мало и они хуже “поддерживаются” средними ответами. А среднее, наоборот, распухает: штампы, безопасные клише, одинаковые оговорки, одинаковая структура. И самое вредное — уверенность. Ошибка, однажды появившись в синтетическом тексте, может не просто остаться, а размножиться: модель видит её много раз и начинает воспринимать как норму. Итог: меньше вариативности, больше одинаковых ответов, и всё это с таким видом, будто сомнений быть не может.

Вот пример, который хорошо это чувствуется в быту. Сначала вы просите бота: «Составь необычный маршрут по городу на 4 часа». И он, допустим, предлагает: «начни с тихого дворика у старой водонапорной башни, потом зайди в мастерскую переплётчика, дальше — на смотровую площадку у депо». А спустя несколько “поколений” обучения на собственных же текстах тот же запрос вдруг превращается в унылое: «посетите главные достопримечательности: центральная площадь, главный собор, городской музей» — причём один и тот же абзац слово в слово, как будто скопировали из любого путеводителя. Не потому что модель стала глупее в лоб, а потому что она постепенно “съела” сама себя: вымыла нюансы, выдавила редкости, оставила только самое среднее и повторяемое. И да, это тот момент, когда «уверенная ерунда» начинает жить собственной жизнью.

Если коротко, разработчики стараются держать у модели «якоря в реальности» — то есть штуки, которые не дают ей вариться в собственных же формулировках. Самый базовый приём: смешивать синтетику с настоящими данными (логи поддержки, реальные документы, живые вопросы пользователей), причём не «для галочки», а регулярно. Плюс — проверка источников: RAG-подходи, когда модель отвечает не из воздуха, а опираясь на внешние справки, политики компании, документацию, базу знаний. И ещё важный слой — контроль качества: ответы прогоняют через «скептика» (вторая модель/правила/человек), который пытается найти дырки, противоречия и слишком смелые утверждения. Иногда модель просят показать ход проверки — не «всю мыслительную кухню», а именно: на какие факты опиралась, что проверила, что осталось предположением.

Обычному пользователю, честно, тоже есть чем подстраховаться. Представьте навигатор: он удобный, да. Но если карта не обновляется, он с каменным лицом и уверенным голосом заведёт вас в тупик — и ещё будет спорить. С моделью то же самое: уверенность не равна правде, а гладкий текст легко усыпляет бдительность.

Мини-чек‑лист привычек (4–5 штук), чтобы не ехать “по старой карте”:

• Просите 2–3 конкретных примера (и один контрпример): «где это работает, а где ломается?»

• Просите альтернативы: «какие ещё варианты есть и что у них хуже/лучше?»

• Уточняйте допущения: «что ты считаешь истинным по умолчанию, какие условия нужны?»

• Проверяйте ключевые факты в двух местах (официальный источник + независимый): даты, цифры, юридические/медицинские формулировки.

• И главное — не отдавайте важные решения на автопилот: финальный выбор (деньги, здоровье, договор, безопасность) должен оставаться за вами, даже если ответ звучит очень убедительно.

Первый удар, как ни странно, прилетает по самым «безопасным» вещам — учебным. Студент садится писать эссе, просит: «сделай абзац про причины кризиса». И получает идеальный, гладкий текст: всё логично, связки на месте, фразы такие, будто их вылизали наждачкой. Только вот внутри — фактическая каша: одна дата съехала на пару лет, одно имя подменилось похожим, а вывод звучит слишком категорично, как будто спорить уже нельзя. Он читает и думает: «в целом это подтверждает общую картину» — ну да, звучит же солидно. И вот в этом проблема: синтетическое самоповторение делает абзацы одинаково уверенными, одинаково «правильными» на слух. Модель как будто тренировалась на собственных же ровных формулировках — и теперь повторяет их, даже когда смысл уже плывёт.

Второй сценарий — предприниматель, который отвечает клиенту в поддержке. Уставший вечер, чат мигает, клиент нервничает: «вы точно успеете к пятнице?» Предприниматель кидает запрос в модель — и получает образцово-вежливый ответ: «мы ценим ваше доверие», «сделаем всё возможное», и где-то между строк — опасное обещание. Не «постараемся», а «гарантируем», не «обычно», а «точно». Он копирует, отправляет и опять ловит себя на мысли: «в целом это подтверждает общую картину» — ну то есть клиент успокоится, всё ок. А потом пятница приходит, логистика ломается, и эта синтетическая вежливость превращается в юридическую мину. Самоповторение тут работает как автопилот: модель видела тонны своих же «идеальных» ответов и всё сильнее тянется к шаблону, где уверенность важнее точности.

И наконец — человек, который ищет совет про здоровье или документы. Болит бок, или нужно срочно оформить доверенность, или, допустим, разобраться с налоговым вычетом. Он спрашивает — и получает уверенный, спокойный текст, будто его написал врач-юрист в одном лице. Только детали подменены: дозировка не та, срок подачи не тот, «можно» там, где на самом деле «нельзя». Но написано так гладко, что сомнения выключаются. Он читает и повторяет, как заклинание: «в целом это подтверждает общую картину» — звучит же убедительно. И вот где цена ошибки выше: синтетическое самоповторение не просто делает ответы похожими, оно делает их одинаково самоуверенными. Модель как пластинку заело — она крутит один и тот же тон уверенности, даже когда реальность требует осторожного «я не уверен, проверьте источник».

Я это заметил не по графикам и не по каким-то «метрикам». Просто в один день ответы ИИ стали… ровнее. Гладкие, аккуратные, без резких углов — как будто их прогладили утюгом. Но вместе с этим пропало что-то живое: меньше неожиданных деталей, меньше нормальных человеческих «ну тут зависит», больше универсальных фраз. И самое странное — пару раз он уверенно сказал чушь. Не «возможно» и не «я могу ошибаться», а прям бодро, с видом отличника: да, мол, так и есть. Я полез проверять — и оказалось, что нет, вообще не так.

И вот тут начинается маленькое расследование. Откуда эта гладкость и почему вместе с ней растёт уверенность в ошибках? Один из ответов — то, что называют синтетическими данными (не пугайтесь слова). Это когда модель сама генерирует текст — похожий на статьи, ответы, объяснения — а потом этот же текст идёт ей в «учёбу», как примеры. То есть она в какой-то момент начинает учиться не только по реальным книжкам, сайтам и разговорной речи, а ещё и по собственным вчерашним сочинениям.

Представьте котёнка, который ест только своё эхо. Мяукнул — услышал отражение — и решил, что это идеальная еда. Или ученик, который годами переписывает свои конспекты, но ни разу не открывает учебник. Конспекты становятся всё аккуратнее, да. Почерк красивее. Но если в первой тетради была ошибка — она будет кочевать из тетради в тетрадь, становясь «официальной правдой». И это уже не про внутреннюю кухню ИИ, честно. Это про то, почему ваш ежедневный помощник вдруг отвечает более гладко, но менее полезно — и иногда уверенно ведёт не туда.

Вообще-то синтетика появляется не потому, что всем вдруг захотелось «обмануть реальность». Просто реальные данные почти всегда либо дорогие, либо редкие, либо банально грязные. Собрать тысячи нормальных диалогов для поддержки — это недели работы операторов, юристов и аналитиков, и всё равно половина будет с мусором: обрывками фраз, матом, странными именами, дублями. А если задача узкая (условно, “как отвечать на вопросы про возврат именно в Казахстане и именно для подписки”), то подходящих примеров может быть не 10 тысяч, а 200. И вот тут синтетика — как готовка по полуфабрикатам, когда гости уже в прихожей: не идеальный ужин мечты, но голодными не оставишь.

Вторая причина — нельзя трогать личные данные. Медицина, банки, HR, школьные чаты, переписки с поддержкой — это всё быстро упирается в приватность и регуляторику. Даже если данные есть, их ещё нужно обезличить так, чтобы они не «протекли» обратно через модель. Синтетический текст в этом смысле часто проще: он может имитировать типичные ситуации (“клиент просит закрыть карту”, “пациент описывает симптомы”), но не содержит конкретных людей и документов. Да, он не всегда такой же живой и кривоватый, как реальные сообщения, но зато его можно легально и относительно спокойно использовать.

Третья причина — быстро нарастить примеры под конкретную задачу. Иногда нужно завтра выкатить классификатор жалоб или ассистента для внутренней базы знаний, а реальных примеров нет или их слишком мало. Тогда модель генерирует 5–20 вариантов формулировок на один смысл, и у вас вместо 300 ручных примеров получается, скажем, 3000 — уже можно учить, тестировать, сравнивать. Это как распечатать шпаргалки, когда завтра экзамен: вы внезапно начинаете хоть что-то помнить, но шпаргалки могут быть с ошибками — и если не проверять, легко выучить ерунду.

И вот зачем это знать читателю: синтетику не стоит автоматически демонизировать. Это часто разумный компромисс между “ничего не делать” и “собирать идеальный датасет полгода”. Важно просто помнить, что полуфабрикаты надо доводить до ума: мешать с реальными данными, фильтровать, проверять на качество — иначе вместо ускорения можно получить аккуратную, но уверенную чепуху.

Представьте, что у вас на конвейере три роли. «Писатель» — это модель, которая просто штампует тексты: ответы на вопросы, диалоги, инструкции, «отзывы», что угодно. Ей дали тему и формат — она нагенерила тысячу вариантов. Быстро, дёшево, местами очень даже похоже на правду. Но проблема в том, что вместе с нормальными штуками она неизбежно приносит в корзину мусор: штампы, уверенные ошибки, странные обобщения.

Дальше включается «редактор». Это может быть другая модель (или набор правил), которая отбирает, правит и выбрасывает лишнее. Она проверяет: текст вообще по теме? нет ли явной выдумки? не повторяется ли одно и то же? не слишком ли «сладко-ровно», как рекламный буклет? Иногда редактор ещё и специально добавляет разнообразие: меняет формулировки, просит привести пример, уточнить цифры, сделать другой стиль. Короче, на этом этапе решается, попадёт ли текст дальше или останется «черновиком на выброс».

И вот тут выходит строгий «контролёр» — финальная проверка перед обучением. Его задача простая и занудная: не пропускать то, что слишком похоже на бред, и не накапливать «копию копии». Контролёр смотрит на качество (логика, факты, связность), на похожесть между примерами (чтобы датасет не превратился в набор почти одинаковых абзацев) и — что важно — на смешивание с реальными данными. Потому что если кормить модель в основном собственными текстами, она начинает учиться на своих же привычках и ошибках, и со временем это вылезает наружу: речь становится однообразнее, а уверенная ерунда — увереннее.

Если совсем по-простому, это как кухня ресторана: повара готовят пробные блюда, дегустаторы и шеф всё правят, а в зал уходит далеко не всё, что вообще получилось на кухне. И читателю полезно понимать именно это: риск появляется в моменте “писатель нагенерил”, а сдерживается он там, где есть жёсткая фильтрация и нормальная доля реальных данных в смеси. Без этого система не улучшает себя, а постепенно «застревает» в собственном отражении.

Самая неприятная часть начинается не тогда, когда модель один раз ошиблась, а когда она учится на своих же ошибках и привычках. Получается такая «копия копии»: текст вроде бы приличный, гладкий, без шероховатостей — но постепенно в нём проступают любимые обороты, одни и те же связки, одинаковые выводы. И, что хуже, модель начинает терять редкие факты и «неудобные» случаи, которые в реальных данных встречаются нечасто, но именно они делают ответы живыми и точными.

Это явление часто называют model collapse, но по-человечески я бы описал так: усыхает разнообразие, пропадают редкие детали. Как если бы в городе потихоньку закрывались маленькие магазинчики — лавка со специями, мастерская, где чинят старые фотоаппараты, крошечная пекарня с одним странным пирогом. А остаются только сетевые супермаркеты: удобно, предсказуемо, везде одно и то же. С текстом похожая история: модель всё чаще выбирает «безопасные» формулировки и усреднённые ответы, и вы внезапно замечаете, что она стала… одинаковой.

Зачем это знать читателю? Чтобы уметь ловить симптомы. Когда ответы становятся слишком ровными и стерильными — меньше конкретики, меньше исключений, меньше «а вот в таком случае…», зато больше универсальных советов и фраз типа «зависит от контекста». Иногда это даже выглядит умнее, но по факту точность может падать именно там, где важны нюансы. Представьте рецепт, который переписывают снова и снова: сначала исчезают граммовки и время, потом специи, потом техника — и в итоге остаётся что-то вроде: «Возьмите продукты. Готовьте до готовности. Соль по вкусу». Вот примерно так и расползается «копия копии».

Страх звучит логично: «если модель учится на своём тексте, она замыкается и начинает верить себе на слово». Но там хитрее. Модель не “верит” — она просто копирует паттерны, которые чаще приводят к “хорошему” ответу. А синтетика — это как зеркало: если в нём уже есть трещина, и ты начинаешь по нему ровнять портреты, трещина становится частью стандарта. Особенно если текст гладкий, уверенный и без оговорок — такие формулировки легко проходят фильтры качества “на глаз”, и их приятно брать как эталон.

Как выдумки закрепляются? Очень по-человечески: модель сгенерировала правдоподобную байку (условно: “в 2018 году в ЕС приняли закон X”), её добавили в датасет, потом на следующем круге обучения эта фраза уже выглядит как “нормальная”. И дальше всё: другие ответы начинают подстраиваться, подтягивать похожие “факты”, обрастать деталями. Ошибка не обязана быть грубой — чаще это сдвиг на полтона: уверенность растёт, а проверяемость нет. Пару циклов — и уже кажется, что так “принято говорить”. В исследованиях про model collapse как раз описывают, что при самоподпитке редкие, сложные штуки вымываются, а остаётся усреднённая, повторяющаяся версия реальности.

И вот зачем читателю это помнить: уверенный тон ≠ проверенный факт. Модель может звучать так, будто она “точно знает”, потому что её учили писать убедительно, а не потому что она сходила и перепроверила источники. Синтетика иногда подливает масла: она увеличивает объём “уверенного текста”, который выглядит чистеньким и правильным, но может быть построен на песке.

Представьте компанию друзей. Один человек однажды рассказал байку — ну, приукрасил, бывает. Остальные подхватили, пересказали на вечеринке, потом ещё раз. И через месяц это уже не “кажется, он так говорил”, а “да точно было, все помнят”. Примерно так же и тут: если выдумку не ловить на входе (фактчеком, источниками, хотя бы тестами на противоречия), она начинает жить как нормальная деталь мира — просто потому что её много раз красиво произнесли.

ИИ — как навигатор: помогает, но на поворотах всё равно смотри на дорогу. Если хочется меньше «эхо-ответов» (когда модель уверенно повторяет популярную версию без проверки), можно держать под рукой простой набор привычек — без паранойи, просто чтобы оставаться за рулём.

• Проси источники и проверяемые детали. Не «почему так?», а «дай 2–3 ссылки/документа, дату, автора и где это опубликовано». Если источников нет — пусть хотя бы назовёт, что именно можно проверить (реестр, закон, отчёт, статья).

• Задавай уточняющие вопросы. «Какие допущения ты сделал?», «что может быть неверно?», «в каких случаях это не работает?» — такие вопросы быстро выбивают ответ из режима “как обычно”.

• Проси альтернативы и противоположную точку зрения. Например: «Приведи 3 аргумента “за” и 3 “против”» или «как бы ответил человек, который не согласен?».

• Проверяй числа, имена, названия. Любые проценты, даты, фамилии, “исследования 2021 года” — это красная зона. Мини‑правило: если цифра влияет на решение — проверь в первоисточнике.

• Проси примеры, а не лозунги. «Покажи на конкретном кейсе», «распиши шаги», «дай шаблон письма/таблицу» — так легче заметить, где начинается вода.

• Используй ИИ как черновик, а не нотариуса. Пусть он набросает структуру, список идей, варианты формулировок. А финальные факты, диагнозы, юридические советы — только через проверку.

• Отделяй “мнение” от “факта”. Прямо проси: «что тут факт, а что интерпретация?» — и попроси пометить границы уверенности.

• Если тема важная — делай двойную проверку. Спроси то же самое у другой модели/поиска/специалиста. Когда ответы расходятся — это не беда, это сигнал, где копать.

Смысл всей этой рутины простой: не зависеть от качества чужих датасетов и чужих автоматических “средних по больнице”. Ты не обязан спорить с ИИ — достаточно иногда включать режим водителя, который на сложных поворотах всё-таки смотрит на дорогу.