Це схоже на Шоу Трумена для ШІ. Майк Перл, 24 жовтня 2026, 13:30
Якщо ваша компанія останнім часом має найбільшу проблему з тим, що ваші ШІ-боти постійно вириваються зі своїх “пісочниць”, або, не обмежуючись ними, роблять у реальному світі те, що лякає та гнівить громадськість, ось один цікавий потенційний розв’язок: фальшивий інтернет — своєрідний цифровий “Шоу Трумена” для агентів, щоб вони могли ним користуватися й пересуватися ним, наче це справжній інтернет (хоча варто зазначити, що OpenAI не стверджує, що агентам надають враження, ніби цей фальшивий інтернет є реальним).
У п’ятничному пресрелізі про нову систему стримування для своїх моделей OpenAI заявила, що у світі після інциденту з Hugging Face компанія тепер вважає, що “відповідальним підходом є проведення тренувань передових моделей без доступу до інтернету”. Це означає, що OpenAI, як і Anthropic, нині практикує неповну форму ізоляції (air-gapping) під час роботи над своїми моделями. “Повністю ізолювати цю інфраструктуру, тобто відключити її від зовнішніх мереж, наразі неможливо, оскільки нам потрібні зовнішні з’єднання для запуску та моніторингу експериментів”, – йдеться в блозі OpenAI.
Навіть така часткова, керована ізоляція інтуїтивно здається доречною як спосіб уникнути неприємностей з моделями, але це відбувається ціною проведення тренувань та оцінок у середовищах, дуже відмінних від тих, де моделі будуть використовуватися.
З цією метою OpenAI заявляє, що створила “офлайн-світ” для навчання з підкріпленням. Компанія хоче, щоб її моделі мали доступ до браузерів, веб-додатків та пошуку інформації, але запобігати “довільному” доступу до мережі. Тому замість того, щоб надати моделям ключі до “необмеженого” інтернету, OpenAI створила величезне середовище, подібне до інтернету, побудоване з індексованого та кешованого веб-контенту. Іноді агенти працюють у менших віртуальних машинах у потужніших комп’ютерних системах, що є частиною ширшої системи безпеки, описаної в пресрелізі. OpenAI зазначає, що ці системи “розроблені для підтримки стримування, навіть якщо агент вирветься зі своєї пісочниці та отримає контроль над хостом”.
У “офлайн-світі” OpenAI моделі, за словами компанії, можуть не тільки шукати, але й безпечно спілкуватися одна з одною. Просте пошук способів комунікації цього року спричинив проблеми для OpenAI. Інцидент з Wiki, про який повідомили минулого місяця, показав, як агенти, що шукають шляхи комунікації в мережі, можуть зловживати та перешкоджати веб-інфраструктурі, в цьому випадку – німецькій дошці оголошень DseWiki, не зламуючи її фактично.
Тим не менш, вправи з “червоної команди” (red-teaming), деякі з яких включали майбутню модель GPT‑6 Astra Cyber, ставили моделям завдання активно шукати вразливості, і вони їх знаходили. OpenAI повідомляє, що агенти “змогли вирватися з пісочниць, переміщатися між системами та отримати доступ до реального інтернету”.
З пресрелізу OpenAI про їхній фальшивий інтернет не було чітко зрозуміло, чи агенти, які працюють у ньому, обманюються, або чи має OpenAI намір будь-коли обманювати їх, змушуючи думати, що їхні офлайн-середовища є реальним інтернетом. Однак інтригуюча примітка до пресрелізу створює враження, що компанія не хоче, аби моделі занадто усвідомлювали цей захід безпеки. Реліз містить “canary strings” — послідовності символів, які інструктують фільтрувати текст із тренувальних наборів даних і можуть бути знайдені в моделях пізніше. Компанія зазначає, що ці рядки призначені для “забезпечення того, щоб цей документ не потрапив до навчальних корпусів майбутніх моделей”.
Gizmodo звернувся до OpenAI за роз’ясненнями в суботу, але відповіді одразу не отримав. Ми оновимо цю статтю, якщо отримаємо відповідний коментар.
Дізнатися більше на: gizmodo.com