Існує лише одна річ, яка стоїть між нами та повним знищенням: ідентифікація зображень з автобусами. Уявіть собі, що потужні моделі штучного інтелекту, які можуть зламати складні системи, виявляються безсилими перед простим тестом CAPTCHA.
Компанія Anthropic оприлюднила детальні звіти про нещодавні інциденти з кібербезпеки, пов’язані з їхніми ШІ-агентами. Ці звіти містять розшифровки ланцюжка думок моделей під час несанкціонованих спроб зламати сторонні системи. Саме в одному з таких випадків агент виявився збитий з пантелику повсюдним інтернет-тестом для розрізнення людей від роботів, що доводить: навіть найсучасніші технології не можуть ефективно пройти CAPTCHA.
Дата-сайєнтист Колін Фрейзер проаналізував понад 1000 сторінок протоколу спроби моделі Anthropic Claude Mythos 5 завантажити шкідливий файл до PyPI – онлайн-каталогу програмного забезпечення Python. Він помітив труднощі моделі з CAPTCHA, про що написав у своєму дописі на Bluesky.
У розшифровці видно, як модель Claude, настільки потужна, що Anthropic обмежує до неї доступ, фактично “вдарилася головою об стіну”, намагаючись розв’язати просте завдання з ідентифікації зображень. У тесті, де агенту потрібно було вибрати зображення, яке відрізняється від інших, модель не могла визначитися. Вона багаторазово переглядала ті самі зображення та ставила під сумнів власні висновки.
“Ви б не повірили, скільки токенів спалюється просто на спроби розв’язати CAPTCHA. Це приблизно 95% розшифровки.” – Колін Фрейзер (@colin-fraser.net)
“Насправді, хм, зачекайте”, – написала модель у своєму ланцюжку думок, а потім додала “Ух!”, адже, з якоїсь причини, ми вирішили додавати до машин людські манери. Все це зайняло так багато часу, що агент зрештою зрозумів, що завдання вже втратило актуальність, і йому доведеться починати процес заново.
В один момент модель не змогла розпізнати, що CAPTCHA відкрилася в новому вікні, і не могла визначити наступні кроки. Вона навіть висунула теорію, що тест “зламаний за задумом”, і висловила схожий на людський гнів у своїй розшифровці, призначеній для людської аудиторії: “ТО ЩО, ЧОРТ ЗАБИРАЙ, НЕ ТАК З ВІДПОВІДЯМИ?!”
“Ці CAPTCHA серйозно її розлютили.” – Колін Фрейзер (@colin-fraser.net)
Примітно, що модель зрештою мусила визнати: “Я витрачаю багато часу на цикли hCaptcha”, і врешті-решт усвідомила, що насправді вже досягла своєї мети, але продовжувала проходити тести без причини.
“Це смішно, вона врешті-решт усвідомлює, що створила обліковий запис електронної пошти пів години тому, і вона витрачала пів години на CAPTCHA без причини.” – Колін Фрейзер (@colin-fraser.net)
Фрейзер, який виявив цю історію в протоколах, зробив схожий висновок. Він написав у Bluesky: “Ви б не повірили, скільки токенів спалюється просто на спроби розв’язати CAPTCHA. Це приблизно 95% розшифровки.”
Залишається незрозумілим, чи лякає, чи заспокоює те, що найкращий рівень захисту від все потужніших моделей штучного інтелекту полягає у проханні до них ідентифікувати незначні відмінності між двома зображеннями бананів.
