Ненавмисний удар Пентагону по школі в місті Мінаб, що забрав життя понад 150 людей, зокрема 123 дітей, міг статися через надмірну довіру до штучного інтелекту та застарілі дані. Про це свідчать результати внутрішнього розслідування Міністерства оборони США, яке ще не було опубліковане.
За даними джерел Bloomberg, які брали участь у розслідуванні, помилка сталася через надмірне використання системи Maven Smart System, розробленої компанією Palantir. Ця система зі штучним інтелектом призначена для прискорення аналізу розвідданих та прийняття рішень. Зазначається, що деякі співробітники Пентагону надмірно покладалися на її рекомендації, очікуючи, що система автоматично виявлятиме застарілі дані чи суперечності в інформації.
Школа в Мінабі була помилково внесена до списку потенційних цілей як об’єкт Корпусу вартових Ісламської революції через застарілі дані. Система Maven рекомендувала цей об’єкт як ціль для атаки першого дня. Процес формування списку цілей, який раніше займав години, тепер скоротився до кількох хвилин.
Представники Palantir заявили, що компанія не несе відповідальності за первинні дані чи виявлення недоліків у розвідці, і що немає доказів, які б свідчили про несправність їхнього програмного забезпечення. За їхніми словами, уряд несе основну відповідальність за якість інформації, що подається до Maven. Після інциденту Palantir додала нові функції для перегляду первинної розвідки, які допомагають виявляти фактори, що можуть дискваліфікувати ціль, та відзначати невідповідності й неточності, які могли бути пропущені при людському огляді.
Використання Maven було лише однією з трьох причин катастрофічної помилки. Іншими факторами стали неякісні розвіддані та застарілі супутникові знімки. Бази даних США роками вказували на об’єкт у Мінабі як на військовий, хоча комерційні супутникові зображення свідчили про протилежне. Будівництво стін та окремих входів, що відокремлювали школу від сусідньої бази, було завершено до 2017 року. Знімки 2018 року показували яскраві стіни, футбольне поле, місця для зборів та ігровий майданчик.
Навіть у 2019 році один з аналітиків помітив зміни та вніс зауваження до системи, яка не була пов’язана з основною базою даних розвідки, що використовувалася для націлювання. Ці нотатки так і не дійшли до осіб, які формували пакет ударів. Хоча прямі людські джерела інформації з південного Ірану були обмежені, школа мала власний веб-сайт і була присутня на Google Maps.
Об’єкт залишався позначеним як база Корпусу вартових Ісламської революції в умовах вимагання адміністрацією Трампа про масштабний початковий штурм. За перші 24 години було вражено понад 1000 іранських цілей, і, за словами джерел Bloomberg, такий темп стиснув час, відведений на додаткові підтвердження.
Крім того, кількість персоналу, що займається зменшенням цивільних жертв у Міністерстві оборони США, скоротилася приблизно на 90% за останні роки, до менш ніж 20 осіб загалом. Група в Центральному командуванні США скоротилася з 10 до 1 особи. Жоден член цих команд не переглядав об’єкт у Мінабі перед тим, як ракети були запущені.
Окрема, незалежна міжнародна місія ООН з встановлення фактів щодо Ірану дійшла висновку, що є обґрунтовані підстави вважати, що Сполучені Штати вчинили воєнний злочин, здійснивши невибірковий напад. Місія встановила, що США “не виконали своє зобов’язання зробити все можливе для перевірки”, що школа є військовим об’єктом, і що це “перевищило просту недбалість”. У звіті зазначено, що США “націлювали удари на будівлю школи, усвідомлюючи значний ризик ураження цивільного об’єкта та діючи необережно щодо можливості такого розвитку подій”.
Незважаючи на ці звіти, Вашингтон публічно не взяв на себе відповідальність. Президент Трамп навіть заявив, що удар “здійснив Іран”. Старший представник адміністрації повідомив Bloomberg: “Сполучені Штати не націлюють цивільних осіб”, а Міністерство оборони відмовилося коментувати звіт ООН.
Помилки, пов’язані з надмірною залежністю від штучного інтелекту, стають дедалі частішими, оскільки технології все глибше впроваджуються у військову справу та правоохоронну діяльність. В іншому випадку аналітик спеціальних операцій використав чат-бот, який видав неправдиву інформацію про судно, що перевозило компоненти ядерної зброї до Ірану, що ледь не призвело до спроби його захоплення. Правоохоронні органи також стикаються з проблемами, коли системи розпізнавання облич та ШІ призводять до помилкових арештів, що завдає непоправної шкоди репутації та життю людей.
Хоча люди в усіх галузях іноді надмірно покладаються на ШІ, навчаючись його можливостям і обмеженням, ставки у військових та правоохоронних застосуваннях значно вищі. Неправильне використання технологій або прийняття автоматизованих висновків без перевірки фактів може мати катастрофічні наслідки. Тому головне питання полягає не стільки в теоретичній неконтрольованій потужності ШІ, скільки в тому, як люди використовують цю технологію.