Качество данных для LLM: почему оно важнее объёма?

Вы спрашиваете у чат-бота простую вещь: «Сколько дней в високосном году?» Он бодро отвечает: «365». И даже добавляет что-то вроде «все знают». В этот момент и начинается маленькое расследование: это он шутит, тупит или вы где-то не так сформулировали? Спойлер — чаще всего дело не в “характере” модели, а в том, что у неё внутри нет тайного шкафчика с фактами. Её «память» — это следы опыта из данных, на которых её учили.

LLM по сути готовит ответы “как учили”. Как повар, который всю жизнь варил супы по рецептам из коробки. Если в коробке часть рецептов кривые, с опечатками и странными пропорциями, то и суп будет… ну, такой себе. Модель уверенно повторяет паттерн, который чаще встречала, даже если он неверный. Поэтому она может звучать убедительно и при этом ошибаться — неприятно, но логично.

Зачем обычному человеку вообще понимать, как устроен датасет? Чтобы:

• выбирать инструмент под задачу (общий чат vs специализированный),
• доверять в меру, особенно в медицине/юридике,
• ловить ошибки: где вероятный “шум”, где перекос, где пробелы в данных.

Датасет для LLM — это не просто «гора текста, сваленная в одну кучу». Скорее библиотека: есть разные полки, жанры и ярлыки, чтобы потом можно было быстро понять, что где лежит и зачем. Тексты туда попадают отовсюду: книги и статьи, сайты и блоги, форумы с бесконечными тредами, техдоки и справочники, чаты поддержки, диалоги из приложений (если их можно легально использовать), иногда — примеры кода и комментарии к нему. И вот тут важный момент: всё это изначально выглядит как библиотека после урагана. Полкниги без обложек, страницы перемешаны, в коробках вперемешку «инструкция к роутеру» и спор на форуме про котов. Прежде чем учить модель, это надо разгрести: разложить по местам и хотя бы подписать коробки.

Внутри датасета базовая единица — запись (record). Это один аккуратно оформленный кусок данных в едином формате. Например, для диалогов запись может выглядеть как «вопрос → ответ», для инструкций — «инструкция → правильное выполнение», для продолжения текста — «контекст → следующий фрагмент». А пример (example) — по сути та же запись, но с точки зрения обучения: вот конкретная ситуация, на которой модель тренируется. Один файл может содержать миллионы таких примеров — обычно в формате вроде JSONL, где каждая строка = одна запись.

И да, почти никогда это не «цельные книги целиком». Данные обычно нарезают на куски: абзацы, страницы, чанки по 512–2048 токенов — как удобно под модель и задачу. Потом всё приводят к общему виду, чтобы модель могла это «читать» как поток: одинаковая кодировка, очищенные HTML-обломки, убранные дубли, понятные поля. В итоге получается не хаос, а библиотека, где у каждой стопки есть ярлык — и модель учится не на мусоре, а на более-менее внятной коллекции.

Три комнаты одной квартиры: тренировочная, проверочная и экзаменационная

Представьте, что датасет — это квартира с тремя комнатами. В первой, самой большой, модель живёт и учится каждый день: это train. Тут её кормят “конспектами” — примерами, на которых она набивает руку. Ошиблась — ничего страшного, поправили, ещё раз прогнали. И вот тут есть ловушка: если оставить её слишком долго в этой комнате, она начинает не понимать тему, а зазубривать страницы наизусть. Вроде отвечает бодро, но только на знакомых формулировках.

Вторая комната — validation (val), это такие пробники. Ты как бы не подсказываешь напрямую, но регулярно заглядываешь: “Ну что, держишься? Не поплыл?” И если на пробниках прогресс остановился или пошёл вниз, обучение тормозят — это тот самый момент “всё, хватит натаскивать, дальше будет только переобучение”. Val нужен именно чтобы вовремя остановить модель, пока она ещё учится думать, а не коллекционировать правильные ответы.

И наконец третья комната — test, это уже реальный ЕГЭ. Туда модель за всё время подготовки вообще не заглядывает. Никаких “ой, давай я ещё раз посмотрю варианты” — иначе это не экзамен, а постановка. И вот почему это полезно читателю: без честного теста красивые цифры качества — примерно как сам себе поставил пятёрку, потому что проверял по своим же конспектам. Test возвращает на землю: показывает, как модель справится с новыми задачами, а не насколько хорошо она выучила тренировочные примеры.

Я обычно представляю это как расследование. Ответ плохой — значит, в датасете где‑то оставили отпечатки. И вот пять подозреваемых, которых я бы первым делом повёл на «допрос».

Подозреваемый №1: Мусор и спам.
Заходит в корпус тихо, как будто «просто комментарии», а потом выясняется: там рекламные простыни, токсик, капслок, странные SEO‑тексты. Модель всё это не осуждает — она запоминает стиль. Итог: просишь вежливое письмо, а в ответ прилетает пассивная агрессия или канцелярит на стероидах. Плохой тон, короче, тоже обучается.

Подозреваемый №2: Дубликаты.
Этот вообще хитрый: один и тот же текст размножен сотни раз — репосты, зеркала, копипаста. И модель начинает вести себя как человек, который выучил один анекдот и теперь рассказывает его в любой компании, даже на похоронах. Отсюда навязчивые фразы, повторяющиеся «любимые» примеры, одинаковые формулировки, которые всплывают не к месту.

Подозреваемый №3: Перекосы.
С виду всё прилично, но если копнуть — 70% данных про одну страну, один язык, один взгляд или одну профессию. И модель честно считает это «нормой мира». Потом вы спрашиваете нейтральную вещь, а она вдруг начинает отвечать с перекошенной оптикой: в рекомендациях — только один контекст, в примерах — одни и те же реалии, в спорных темах — заметно тянет в сторону.

Подозреваемый №4: Плохая разметка и противоречивые инструкции.
Тут прямо школьная драма: один учитель говорит «отвечай кратко», второй — «раскрой тему», третий — «никогда не давай советов», четвёртый — «будь максимально полезным». В разметке то одно, то другое, а иногда метка вообще не соответствует тексту. Модель учится угадывать настроение проверяющего, а не задачу. Отсюда: то внезапная морализация, то отказ «не могу помочь», то уверенный бред — потому что правила внутри конфликтуют.

Подозреваемый №5: Устаревшие данные.
Самый печальный. Модель вроде умная, но живёт «вчерашними новостями». Законы уже поменялись, API уже другое, цены уехали, компания переименовалась — а она уверенно цитирует реальность, которой больше нет. И выглядит убедительно, что особенно опасно.

«Протокол допроса»: один вопрос — разными словами

Я люблю этот приём: задаёте один и тот же вопрос в трёх формулировках и смотрите, где у модели дрожит голос.

Если на первом вопросе всё аккуратно, а на втором-третьем вдруг появляются конкретные «формы», «сроки», «инстанции», которых вы не просили — это обычно не “магия интеллекта”. Это как раз следы: мусор, дубли, перекосы, спорящая разметка или устаревший корпус. И да, по‑хорошему, именно так датасеты и проверяют — через повторяемый допрос, пока не поймаешь, кто врёт.

Модель «уверенно врёт» не потому, что она вредная или пытается вас обмануть. Она просто училась на другом. В основе — довольно прозаичная привычка: продолжать текст так, чтобы он выглядел правдоподобно и уместно в контексте. Не «проверить факты как детектив», не «сходить в базу и сверить», а собрать ответ, который похож на хороший ответ. Поэтому иногда получается эффект «убедительного собеседника»: гладко, логично, с правильными оборотами — и мимо.

И вот тут данные сильно решают. Если в датасете много шума (рекламные тексты, SEO-статьи, пересказы пересказов), противоречий (одна и та же тема объясняется десятью взаимоисключающими способами) и перекосов (какая-то точка зрения встречается в 20 раз чаще другой), модель начинает «усреднять» и угадывать. Она не знает, что верно, зато отлично знает, как обычно это звучит. Как человек, который не знает ответа, но ужасно не хочет выглядеть глупо — поэтому говорит уверенно, ровным тоном, добавляет детали… и именно эти детали чаще всего оказываются выдумкой.

Практический вывод простой и чуть неприятный: особенно опасно доверять модели там, где «красивый текст» легко маскирует ошибку. В первую очередь это:

• числа и расчёты (проценты, сроки, дозировки, статистика);
• ссылки и источники (модель легко «собирает» правдоподобные URL, названия статей, DOI, которых не существует);
• юридические и медицинские формулировки (точность важнее красноречия, а одна неверная оговорка меняет смысл).

Если ответ выглядит слишком гладким — это не гарантия, что он верный. Это всего лишь признак, что модель умеет звучать убедительно. Проверяйте факты там, где цена ошибки высокая, и просите конкретику: откуда число, какая норма, какая ссылка, что именно процитировано. Тут «уверенность» лучше считать красным флажком, а не доказательством правоты.

Качество данных — это как дегустация воды. Можно принести стакан из хорошего источника, прозрачный, без запаха — и он реально утоляет жажду. А можно выкатить целое ведро из лужи: объём впечатляет, да, но пить не хочется и, честно говоря, страшно. С датасетами для LLM то же самое: большой объём без фильтрации почти всегда тащит за собой мусор, а мусор быстро становится “характером” модели.

Особенно это видно в дообучении под конкретную задачу. Если вам нужно, чтобы ассистент отвечал в тоне техподдержки, знал ваши термины и не уходил в лирику, то 500–2000 аккуратно отобранных примеров (хорошие диалоги, корректные ответы, единый стиль) часто дают больше, чем 200 тысяч “как-нибудь похожих” сообщений из чатов. Потому что во втором случае модель подхватывает странные привычки: повторяемость (“как я уже говорил…” через строчку), токсичность (вплоть до пассивной агрессии), и ещё эту неприятную манеру уверенно нести чепуху — просто потому что в данных так принято.

И да, объём без гигиены портит всё даже не драматично, а по-тихому. Попались в источнике 20% дублей — получите ощущение, что модель “заедает пластинку”. Много сарказма и ругани — она начнёт отвечать колко, даже когда не просили. Много шаблонных SEO-текстов — и привет, водянистые абзацы с “в современном мире”. В итоге у вас не “умнее”, а “громче” — модель говорит больше, но точнее не становится.

Мини‑чеклист: 6 вопросов к данным/источнику

• Кто автор/источник? Это эксперты, документация, редактура — или анонимный поток?
• Насколько данные свежие? Есть ли устаревшие термины, версии, правила, цены, законы?
• Есть ли разнообразие? Разные форматы вопросов, сложности, кейсы, а не одна и та же сцена по кругу.
• Есть ли проверяемые опоры? Ссылки на документы/политику/мануалы, или “все знают”?
• Какая доля дублей и шаблонов? Повторы, копипаста, перефразы одного и того же.
• Соответствует ли это задаче и тону? Именно так должны звучать ответы в вашем продукте? Именно те термины?