Протестувала популярні детектори та дізналася, що я машина.
Враховуючи поширеність текстових нейромереж, у тому числі безкоштовних, нерідко замислюєшся: а чи не нейронка написала текст, який подається як особистий досвід та рекомендація? Мало кому хочеться сліпо довіряти словам, за якими не стоїть людина, особливо якщо пропонують послугу чи продукт.
У звичайному житті ризик помилки не такий високий, але є сфери, де перевірці текстів доводиться приділяти більше уваги. Це стосується наукових праць, навчальних завдань та контенту, яким наповнюють сайти.
Хоча Google і «Яндекс» ІІ-тексти як такі, вони виявляють шаблонні та марні матеріали та знижують їх у видачі – незалежно від того, чи живий у них автор чи ні. І у нейромережевого контенту, особливо невичитаного і створеного без хорошого промптингу, шанси виявитися безглуздим і застарілим приблизно такі самі, як у роботи копірайтера, якого хвилює не якість статті, а лише кількість знаків.
Якщо текст якісний, унікальний і посилається на перевірені актуальні джерела, він просуватиметься у пошуку незалежно від того, причетний ІІ до його створення чи ні. Але тим, хто контент не створює, а лише замовляє чи перевіряє, потрібний інструмент для оцінки людяності — звідси й попит на детектори.
Як працюють детектори ІІ
Такі послуги шукають у текстах патерни та особливості, властиві людському мовленню та мовним моделям, та аналізують, чого вийшло більше. А потім видають вердикт — ймовірність того, що авторка людина, а не машина.
Майже всі детектори насамперед оцінюють два ключові показники.
- Передбачуваність (perplexity, не плутати з роботом) — грубо кажучи, чи нейрон, що оцінює статтю, передбачити, яке слово буде наступним. Нейросети схильні вибирати найімовірніший і підходящий варіант, через що текст виходить складним, але надто рівним і струнким. Там, де людина може збитися з думки, додати життєвий приклад або пожартувати, умовний ChatGPT просто продовжуватиме доносити головну ідею. Якщо протягом тексту так і відбувається, детектор це помітить.
- Сплескування (burstiness) — приблизно те саме, що передбачуваність, лише щодо змісту, а форми тексту. Людина може використовувати рубані короткі фрази, щоб зробити акцент, висловити шкільну любов до поезії Маяковського або просто не розбиратися, який розділовий знак правильніше поставити. Або, навпаки, вдаритися в розлогий опис і не закінчувати пропозицію, доки вона не переросте в абзац без крапок. А найчастіше міксувати те й інше з нормальними пропозиціями, як вчили на уроках російської: підмет, присудок і далі за списком. У нейромережі все частіше вилізано і усереднено: пропозиції приблизно однієї довжини, експресії на рівні форми мінімум, думка добре структурована і не йде вбік.
Це не все, ніж оперують детектори. Також вони:
- Порівнюють текст із мільйонами вже розмічених прикладів — від живих людей та різних моделей на кшталт GPT‑5, Grok 4 тощо.
- Шукають шаблони — надлишкові синоніми, красиві, але порожні формулювання, велика кількість вступних слів, фраз на кшталт «важливо помітити», за якими не варто нічого важливого.
- Шукають приховані водяні знаки – недруковані символи, які чат-боти навмисно або через помилку додають до генерації. На такому неодноразово ловили ChatGPT.
- Розбивають текст на блоки у пошуках елементів «машинності» в окремих фразах та реченнях. Якщо склад у цілому нормальний та людський, але деякі моменти викликають сумніви, ці частини будуть підсвічені як потенційно згенеровані.
Методи різних сервісів різняться, але це поєднання описаних вище технік плюс свій корпус розмічених текстів, у яких навчали модель в детекторі. В результаті на ефективність впливає ще й те, як багато матеріалів було потрібною мовою.
Чи виходить у детекторів ІІ визначити людяність
Краще один раз показати, ніж сто разів розповісти, тому я вирішила провести експеримент: прогнати через популярні детектори написаний мною текст — ось цей, що ви читаєте зараз, і другий, згенерований у Gemini. Так, стандарт все ж таки ChatGPT, але через майстер-промпт мій не здатний видати нормальний матеріал без детального запиту. А для чистоти та наочності експерименту все ж таки хотілося взяти найдефолтніший ІІ-текст, який не був покращений якими-небудь налаштуваннями та техніками.
Тут можна було б считерити і перевірити сервіси на коротеньких статтях завдовжки пару абзаців, отримати свої 100% людяності і поглумитися над детекторами, але це було б нечесно. Будь-які їх версії дуже нестабільно працюють з невеликими обсягами — не вистачає даних для аналізу. Плюс сценарії використання все ж таки припускають, що користувач перевірятиме за раз кілька сторінок, а не пару пропозицій. Тому потрібні були тексти хоча б на кілька тисяч знаків.
Текст згенерований ІІ
Почнемо з генерації. Gemini вийшла проста базова стаття. Але була проблема з таблицями — порівняннями сервісів: вони нормально не копіюються у полі введення, тому майже всім детекторам цей блок довелося вирізати.
Популярний мультимовний GPTZero (запустила через Google Документи, щоб зберегти таблицю) видав нерішучі 49%, трохи схиляючись у бік людського автора. При цьому підкреслення якось підозріло розподілилося за статтею: червоний (точно ІІ), жовтий (ймовірно, ІІ) та зелений (людина) блоки йшли послідовно.
Російський «Текст.ру», в якому також є ІІ-детектор, без проблем видав статті 100% людяності. Сильна заява повністю платного інструменту.
GigaCheck від “Сбера” так само легко обдурити не вдалося.
Бонусом прогнала ту саму статтю через кілька чат-ботів. Результат виявився цікавим: орієнтований англійською мовою ChatGPT і Gemini визнали, що текст майже напевно людський, тоді як російськомовна «Аліса AI», а також китайські DeepSeek і Qwen відразу сказали, що ймовірність участі ІІ вище 80%.
При цьому огляд від Qwen вийшов кумедніше за інших: бот зауважив, що текст теж по темі виявлення ІІ, і прямо у вердикті посилався на різні його пункти.
Враховуйте, що йдеться про швидко і незграбно згенерований текст без будь-яких правок людиною.
Текст написаний людиною
Принаймні я себе машиною не вважаю. Сгодувала детекторам весь цей текст без урахування блоків з експериментом та рекомендацією сервісів. Тому що склала рекомендації саме після тестів — така ось рекурсія.
Втомлювати не буду: усі перераховані вище рішення від «Текст.ру» до Gemini зійшлися на думці, що текст людський.
Для підтвердження гіпотези я прогнала ще кілька текстів із різним ступенем авторської експресії, які точно написані людьми. Найгірша точність виявилася у GPTZero та Gemini. Останній регулярно приймав експресію за штампи ІІ і був переконаний, що Android 15 та Grok 4 – це галюцинації та припущення моделей, адже таких версій ще не існує. Ось що з LLM робить застарілий датасет.
«Текст.ру» іноді підсвічував як згенеровані ІІ звичайні фрагменти описів та технічних характеристик — певне, навіть у нейродетектор просочився аналіз унікальності. А GigaCheck називав генерацією будь-які трохи вилізані та фактологічні статті, які пройшли через редактора.
У китайських ботів та «Аліси» проблем з аналізом практично не виникло: зазвичай вони припускали, що ІІ могла використовуватися для збору інформації, але погодилися, що тексти писали люди. В одному випадку Qwen заявив, що аргументи є і за людяність, і за ІІ, але в будь-якому разі матеріал якісно опрацьовано, а хто його написав — уже не так важливо. Загалом, бот не визначився і вибрав дипломатію.
У чому проблема сервісів для перевірки
Якби можна було виділити одну конкретну причину, через яку ІІ-детектори працюють так нестабільно, то їх творці давно вигадали б рішення, і все стало б ідеально. Але проблема у поєднанні відразу кількох факторів.
- Якість приймається за роботу ІІ. Детектори нерідко звинувачують у використанні нейромереж звичайний людський текст — особливо якщо він добре структурований, діловий, академічний або просто вичитаний ретельним редактором. Формальний стиль із дотриманням усіх правил часто виглядає машинним, тому що у повсякденному житті так мало хто пише.
- Проблеми з об'ємом та змішаним контентом. У коротких текстах — менше 300–400 слів — просто не вистачає вступних для точної відповіді. А якщо людина відредагувала ІІ-статтю під себе або додала власні приклади та досвід, сервіс для перевірки не зможе видати точний вердикт — максимум підсвітить сумнівні місця.
- Великі мовні моделі постійно допрацьовуються. Якщо ми знаємо про ознаки згенерованого тексту і можемо їх позначити, то розробники моделей тим більше про них знають. І в нових версіях впроваджують способи обходити ці маркери і робити текст люднішим.
- Мовні особливості. Більшість топових сервісів спочатку заточені під англійську. Для російської результати традиційно менш стабільні, коли йдеться про мультимовних сервісах. Але при цьому зараз з'являються адекватні рішення, підлаштовані під нього.
А ще не можна ігнорувати, що люди та нейромережеві моделі найчастіше навчаються письма на тих самих даних: класичній та сучасній літературі, типових прикладах з підручників, статтях з інтернету. Через це детекторам не позаздриш: доводиться розбиратися, що є грамотним матеріалом, написаним вручну, а що текстом у розмовному стилі, створеним нейромережею.
Які детектори ІІ можна спробувати
Так, ці послуги неідеальні. Але мій невеликий експеримент показав, що деякі інструменти викликають більшу довіру, ніж інші. Принаймні при роботі з російською мовою. Ось ці послуги — що важливо, всі вони безкоштовні. І ні, це не було заплановано: просто так вийшло, що платні рішення впоралися гірше.
GigaCheck
- Сайт: developers.sber.ru.
Детектор від “Сбера” доступний на сайті в телеграм-боті. Дозволяє без реєстрації перевіряти тексти об'ємом до 1 000 слів та 10 000 символів, але видає лише вердикт: ІІ або людина. Подробиці не розписує, відсотка впевненості не дає, ймовірні проблемні місця не наголошує. Показав себе найкращим із спеціалізованих сервісів, але все одно здатний на помилки, якщо текст більше про факти, ніж про особистий досвід.
Аліса AI
- Сайт: alice.yandex.ru.
Чат-бот з “Алісою” можна попросити оцінити ймовірність того, що стаття згенерована нейромережею. І, на відміну від ChatGPT або Gemini, навчена на багатьох російськомовних текстах модель від «Яндекса» відмінно справляється з цим завданням. Чат-бот повністю безкоштовний, але відсутність «Плюсу» накладає обмеження: листування зберігається лише 14 днів (з підпискою — вічно), а запити обробляються з нижчим пріоритетом.
DeepSeek
- Сайт: deepseek.com.
Хоча останнім часом цей чат-бот не тішить якістю створених текстів і фактчека, з ідентифікацією згенерованого тексту DeepSeek все пристойно. Бот безкоштовний, відкривається в Росії без обмежень та гідно справляється з російською мовою. Просто вставте текст у поле введення повідомлення або підвантажте документ і попросіть оцінити ймовірність того, що стаття згенерована ІІ.
Qwen
- Сайт: qwenlm.ai.
Як і DeepSeek, Qwen – це китайський чат-бот із непоганим розумінням російської мови. Під час тестів він точно визначав «Ішність» наведених прикладів і аргументував своє рішення — а також вказував, які важливі критерії, а які «прапорці» можуть бути помилково. Бот безкоштовний та доступний у Росії.