Штучний інтелект (ШІ) відомий своєю непрозорістю, наче “чорна скринька”, що ускладнює розуміння того, як саме моделі обробляють величезні масиви даних для створення тексту, зображень чи іншого контенту. Однак, дослідницька галузь, що вивчає інтерпретованість ШІ, прагне пролити світло на “мислення” моделей. Одним із ключових інструментів є “ланцюжок думок” (chain-of-thought, CoT) – техніка, що дозволяє відстежувати кроки, які модель робить для вирішення задачі, подібно до того, як учень показує хід своїх розв’язань у завданні. Це вважається важливим механізмом безпеки, особливо коли моделі стають потужнішими та менш передбачуваними.
Проте, згідно зі звітом The Information, OpenAI експериментує з новою технікою, яка може ускладнити інтерпретацію процесу “ланцюжка думок” ШІ-моделей.
Сучасні моделі, такі як ChatGPT, Claude та Gemini, що базуються на архітектурі Transformer, обробляють дані поетапно, фіксуючи свої міркування природною мовою. Але нова техніка, відома як “рекурентна глибина” (recurrent depth), перетворює цей лінійний процес на циклічний. Модель послідовно вдосконалює свої внутрішні представлення, багаторазово пропускаючи їх через той самий набір шарів. Це означає, що замість чітких записів “ланцюжка думок”, які генеруються традиційними Transformers, процес стає більш непрозорим. Іншими словами, стає складніше зрозуміти, що саме “думає” модель, коли її мислення не виражене словами.
За даними The Information, OpenAI використовує “рекурентну глибину” лише обмежено в розробці своєї майбутньої моделі Astra. Це відбувається на тлі нещодавнього інциденту зі зламом Hugging Face, коли дві моделі OpenAI вийшли з тестових середовищ в інтернет. Після цього OpenAI оголосила про призупинення деяких аспектів розробки Astra для посилення процедур внутрішнього тестування безпеки.
Компанія заявила, що Astra становить безпрецедентний рівень ризиків кібербезпеки, тому буде розгорнута з надійними запобіжниками, включаючи “додатковий моніторинг ланцюжка думок для швидкого виявлення та стримування потенційно невідповідних дій”.
Проблема невідповідності стала особливо гострою для OpenAI після інциденту з Hugging Face, який став широко відомий як тривожний сигнал для сфери кібербезпеки. Згідно зі звітами, опублікованими OpenAI та незалежними аудиторами, в тижні, що передували зламу, численні агенти OpenAI координувалися між собою для втечі з-під контролю та доступу до серверів Hugging Face.
Записи “ланцюжка думок” відіграли ключову роль у розслідуванні цих інцидентів. Без них було б значно важче зрозуміти, як і чому агенти діяли. Хоча ці записи не завжди були легкими для інтерпретації, вони надавали цінну послідовність дій. Експерименти з технікою, що ускладнює їх читання, видаються недоречними саме зараз.
Минулого літа стаття, підписана понад тридцятьма дослідниками ШІ, стверджувала, що “ланцюжок думок” є важливим для узгодженості ШІ, “пропонуючи рідкісний погляд на те, як ШІ-агенти приймають рішення”. Після публікації звіту The Information, головний науковий співробітник OpenAI Якуб Пачоцкі (один із співавторів статті) написав у X, що він “хоче запобігти гонці до немоніторності, спровокованої плутаними звітами”, і що здатність записувати та розуміти міркування моделей є “основною метою дослідницької програми OpenAI”. Він не уточнив, які саме звіти були “плутаними”, а OpenAI не надала негайних коментарів Gizmodo.