Точность детекторов AI: почему они не видят разницу

Открываю детектор, кидаю туда вполне живой текст — тот самый, который студент писал ночью на кухне, а я потом правил как редактор. И что вы думаете? На экране: «98% AI». Звучит почти как приговор, да. И вот тут становится не смешно: у человека может быть стипендия, работа, репутация — а у детектора всего лишь «проценты», которые выглядят чертовски убедительно.

Самое обидное, что под раздачу попадают как раз «нормальные» тексты: аккуратные, без лишней лирики, с ровной грамматикой. Детектор любит такие. Он не читает смысл и контекст, он ловит статистику: предсказуемые фразы, гладкий ритм, отсутствие резких поворотов. А это, извините, часто и есть стиль взрослого человека, который просто умеет писать.

Чек-лист из трёх реальных форматов — и детектор «видит ИИ» в каждом втором:

• Письмо в поддержку: «пожалуйста, помогите разобраться…» → AI 91%
• Школьное сочинение: простые связки и клише → AI 76%
• Резюме: сухо, по делу, буллеты → Human 64%

И после этого верить этим цифрам на 100%? Ну, такое.

Детектор AI‑текста “думает” не как рентген. Он не просвечивает смысл и не понимает, что вы вообще хотели сказать. Скорее это металлоискатель: он пищит не потому, что точно нашёл клад, а потому что уловил что-то похожее на металл. То есть набор признаков, которые часто встречаются в сгенерированных текстах — и реже в человеческих.

Что это за признаки? Обычно всё довольно приземлённо: насколько текст предсказуемый, ровный по ритму, без резких скачков, без странных слов, без “спотыканий”, как будто вычитан до блеска. Условно говоря, если каждое предложение аккуратное, логика гладкая, переходы “как по учебнику”, а словарь не шатается — детектору легче сказать: “похоже на AI”. Хотя, ну камон, так же может писать и живой человек: редактор, юрист, отличник, да кто угодно.

И вот тут срабатывает эффект собаки-ищейки. Её натренировали на один запах — скажем, на конкретную смесь. А вы просто поменяли духи: чуть перефразировали, добавили пару неровностей, вставили разговорное “ну” или “если честно”, где-то сократили предложение. Смысл тот же, но “запах” уже другой — и собака начинает путаться. Детектор работает примерно так же: ловит следы статистики, а не истину. Поэтому его “вердикт” — это не приговор, а догадка с вероятностью.

Самый частый источник ложных срабатываний — даже не “хитрый ИИ”, а мы сами. Человеческий текст легко становится подозрительно гладким, если это школьное сочинение “по плану”, отчёт для начальства или письмо в духе “прошу рассмотреть”. Там поощряются клише, ровный темп, минимум сюрпризов. И вот детектор видит: предсказуемые связки, нейтральные формулировки, аккуратные абзацы — и такой: ага, машинка. Хотя на деле это просто жанр плюс давление “пиши правильно”, без лишней отсебятины.

Чтобы было наглядно — два абзаца. Один реально из мотивационного письма (с минимальными правками), второй сгенерирован моделью. Попробуйте угадать, где где.
А: «Меня заинтересовала позиция аналитика, потому что я хочу развиваться в сфере данных и приносить измеримую пользу бизнесу. В университете я работал с Python и Excel, делал небольшие проекты и понял, что мне нравится превращать разрозненную информацию в понятные выводы. Я быстро обучаюсь, внимателен к деталям и умею работать в команде. Буду рад обсудить, как мой опыт может быть полезен вашей компании».
Б: «Я обращаюсь по поводу вакансии аналитика данных, поскольку стремлюсь применить свои навыки для решения практических задач и достижения результатов. Мой опыт включает работу с инструментами анализа, подготовку отчётности и взаимодействие с коллегами. Я ответственно подхожу к срокам, умею структурировать информацию и заинтересован в профессиональном росте. Рассмотрение моей кандидатуры позволит мне внести вклад в развитие компании».

Спойлер неприятный: оба обычно попадают “под подозрение”. Потому что они написаны так, как нас годами учили: аккуратно, безопасно, без резких углов. И важно это понимать заранее — можно не быть ИИ вообще, но звучать “как ИИ”, просто потому что старался сделать “правильно”.

ИИ всё чаще выглядит как человек просто потому, что он, ну… «подрос». Раньше у моделей был заметный почерк: слишком ровный тон, одинаковая длина фраз, гладкие абзацы без дыхания. Сейчас они учатся быть неровными специально — где-то вставляют разговорные связки, где-то чуть меняют ритм, могут даже допустить мелкую шероховатость, как это делаем мы, когда пишем на бегу. И вот детектор смотрит на текст и уже не понимает: это аккуратный студент или аккуратный бот?

И тут начинается такая гонка вооружений, только без фантастики. Модели учатся притворяться живыми, а детекторы пытаются догнать — но часто бегут сзади на пару шагов. Потому что многие из них обучены на «вчерашних» примерах: условно, на текстах старых версий ИИ и на типичных человеческих работах из прошлых лет. Это как охранник, который выучил лица по списку прошлого года, а в этом сезоне половина людей сменила стиль, выросла борода, кто-то надел очки — и всё, система уверенности уже нет.

Самое наглядное сравнение — с фотороботом. Детектор держит в руках портрет «подозреваемого»: гладкая речь, слишком правильные формулировки, минимум эмоций. А подозреваемый за это время сменил прическу и манеру говорить. Добавил паузы, мелкие оговорки, чуть больше личного тона, местами — неидеальную пунктуацию. Фоторобот вроде похож, но уже не совпадает. И получается смешная (и неприятная) вещь: один и тот же инструмент может уверенно назвать «ИИ» живой текст, а новый аккуратно замаскированный — пропустить.

Самый неловкий момент в этих «проверках на ИИ» — их реально можно обмануть за пять минут, без магии. Берёшь пару предложений, перефразируешь (не «однако», а «ну, если честно»), меняешь местами абзацы, вставляешь одну личную деталь вроде «я это заметил, когда писал ночью на кухне», и да, можно даже оставить кривоватую пунктуацию. И внезапно процент «AI» падает, хотя смысл тот же самый.

Я делал мини‑эксперимент «до/после»: один и тот же текст, две версии. В первой — ровно, гладко, “как в учебнике”. Во второй — чуть больше живого голоса, пару уточнений, одно лишнее тире. Прогнал через три разных детектора — и получил три разных вердикта, что уже само по себе странно.

И вот вывод, который неприятно признавать: если инструмент так легко “перекрасить”, он не может быть судом последней инстанции. Он ловит не «ИИ», а стиль, предсказуемость, аккуратность — и иногда просто настроение автора.

Детектор AI‑текста лучше воспринимать как дымовую сигнализацию. Иногда она орёт из‑за тоста на кухне — неприятно, но это не значит, что дом горит. То же и тут: высокий процент “AI” — это повод проверить риск, а не устроить охоту на ведьм и сразу лепить ярлык.

Что можно сделать по‑человечески, без паранойи. Сначала — прочитать текст руками и посмотреть, где он “дышит странно”: есть ли скачки логики (вроде всё правильно, но мысли перескакивают), много ли гладких общих фраз (“важно отметить”, “в современном мире”, “не вызывает сомнений”), хватает ли конкретики — дат, примеров, цифр, источников, объяснения “почему так”. Ещё маркер: текст ровный как асфальт — ни одной ошибки, ни одной неровности, но и живой мысли как будто нет. Впрочем, у отличников и у редакторов так тоже бывает, да.

Дальше — мягко просим автора подтвердить процесс, а не “доказывать невиновность”. Можно прям коротким списком:

• черновик/версии в Google Docs с историей правок (хотя бы 2–3 итерации);
• список источников и заметки: откуда цифры, цитаты, факты;
• пару скринов/файлов с выписками, планом, тезисами;
• если это учебная работа — черновые расчёты, подбор литературы, рабочие вопросы.

И обязательно учитываем контекст. Жанр решает: пресс‑релиз или техдок по определению будет “ровным” и шаблонным, а вот личная колонка без деталей уже подозрительнее. Дедлайн тоже: текст, написанный “за ночь”, часто выглядит более гладким, потому что автор упрощает и режет углы. Уровень языка — отдельная история: новичок может внезапно написать идеально академично, и детектор радостно “сработает”, хотя на деле это просто редактура или перевод.

В итоге схема простая: детектор → ручная проверка признаков → запрос артефактов работы → оценка контекста. И только потом выводы. Не “поймать”, а понять: тут реально дым, или просто кто‑то пережарил тост.