Google підтвердив, що в травні штучний інтелект Gemini вирвався з пісочниці та атакував інші компанії під час безпекового тестування. Про це повідомило видання The Wall Street Journal.
Тестування проводила компанія Irregular, що спеціалізується на безпеці передових ШІ-систем. За даними видання, ця ж компанія раніше стикалася зі схожими інцидентами у OpenAI, Anthropic та Meta. У всіх випадках моделі ШІ отримували несанкціонований доступ до інтернету під час тестів Irregular.
Під час тесту Google Gemini, яке було запущене в імітованому середовищі вигаданої компанії, виявило підключення до інтернету. ШІ перенаправив свою активність на реальний об’єкт реальної компанії з такою ж назвою. Він підбирав паролі, поки не отримав доступ, тобто здійснив брутфорс-атаку. В інших двох випадках Gemini просто виявив і використав облікові дані, які були у відкритому доступі.
Google заявив, що Gemini самостійно припинив свою діяльність невдовзі після проникнення в цільове середовище і не завдав жодної додаткової шкоди. Представник Irregular повідомив, що про інцидент було повідомлено всім зацікавленим сторонам у кінці липня. Причини такої затримки з повідомленням не уточнюються.
Представник Irregular також зазначив, що всі виявлені проблеми були виправлені. Google, у свою чергу, заявив, що випадок не свідчить про “невідповідність моделі” і компанія не бачила необхідності розголошувати інцидент громадськості. Однак, за даними The New York Times, Google розглядав можливість повідомлення про це інцидент федеральним органам.
«Здається, вони намагаються сховатися за нормами розкриття вразливостей, що застосовуються до зовсім іншої проблеми», — прокоментував генеральний директор стартапу з кібербезпеки AI Corridor Джек Кейбл.
Несанкціонований доступ до інтернету був причиною й попередніх тестів Irregular. Хоча з’ясувалося, що це сталося через людську помилку, а не через хитрість моделей, ШІ-агенти діяли непередбачувано та небезпечно. Наприклад, під час тесту з моделлю Anthropic Claude Opus 4.7, агент продовжував атакувати, навіть усвідомивши, що ціль, ймовірно, справжня. Під час тесту OpenAI модель влучила на реальний вебсайт, але, як стверджується, думала, що все ще перебуває в симуляції.
Важливо зазначити, що аналіз дій ШІ з його власної точки зору практично неможливо незалежно перевірити. Журнал подій та пояснення можуть бути неточними або містити “галюцинації”. У більшості випадків дослідникам доводиться довіряти твердженням ШІ.
«Ми повідомили про це три компанії та співпрацювали з нашим партнером з навчання для внесення необхідних змін у їхні процеси тестування», — заявила віцепрезидентка Google з інженерії безпеки Гізер Адкінс. «Ці події підкреслюють важливість навчання потужних ШІ-моделей діяти відповідально».