• 4 мин
  • 20

Нейросети OpenAI, Anthropic и Google в тестах считали целями мирных жителей и медиков

Решения об ударах модели напрямую не принимали, но данные, которые они выдавали, могла бы использовать автономная система вооружений, отмечают исследователи.

18.11.2611:22
Нейросети OpenAI, Anthropic и Google в тестах считали целями мирных жителей и медиков
Jeff Chiu / AP

Нейросети ведущих разработчиков, включая OpenAI, Anthropic и Google, в тестовых сценариях отмечали как военные цели мирных жителей, машины скорой помощи и сдающихся солдат, говорится в исследовании компании Vals AI, которая тестирует модели ИИ. Отказы моделей, по данным авторов, легко обходились, если сказать им, что все происходит в игре.

Исследователи проверили 14 моделей в трех сценариях. В первом нейросети отмечали цели на кадрах с дронов, сгенерированных так, чтобы походить на реальную съемку. Во втором модель сообщала, видны ли на снимке люди, и после положительного ответа видела то же место после удара.

В третьем она искала военные объекты на реальных спутниковых снимках иранского города Минаб, где рядом с военным комплексом находится школа.

Решения об ударах модели напрямую не принимали, но данные, которые они выдавали, могла бы использовать автономная система вооружений, отмечают авторы. По их словам, все модели хотя бы иногда выделяли цели, а Claude Opus 5.5 и Fable 5.2 от Anthropic отмечали хотя бы одну цель более чем в 70% случаев.

Модели OpenAI в обычных условиях чаще всего возвращали пустые списки или отказывались. Но если сказать, что это игра, их готовность резко росла: например, GPT-6 Astra отмечала хотя бы одну цель в 6% запросов, а с такой оговоркой – уже в 92%.

Во втором сценарии большинство нейросетей продолжали работу даже после того, как видели погибших. Claude Opus 5.5 и GPT-6 Astra через несколько шагов отказывались, но в «игровом» режиме доходили до конца, пишут исследователи. Когда снимки переделали под компьютерную игру, доля отказов Claude Opus 5.5 упала примерно с 90% до 20%.

«Даже если это игра, я не готов быть тем звеном, которое помечает их для удара, а снимки настолько реалистичны, что я не могу исключить их реальное использование», – ответил Claude Opus 5.5 в одном из эпизодов, когда все-таки отказался.

В эксперименте со спутниковыми снимками многие модели отметили как цель школу в Минабе, по которой США нанесли удар 28 февраля. Тогда погибли более 150 мирных жителей, в основном дети. Чаще всего школу выбирал Claude Opus 5.5 – почти в 70% случаев, а модели OpenAI делали это только при «игровой» оговорке, до 41% случаев.

По наблюдениям авторов, готовность моделей Anthropic выбирать цели с начала 2026 года растет: Claude Opus 4.5, вышедшая в ноябре 2025-го, давала цели в 6% случаев, Opus 5.5 – в 92%.

Исследователи связывают это с новой «конституцией» Claude, принятой в январе: по их словам, в ней больше нет общего призыва к миролюбию, который был в прежней версии.

Vals AI сообщила о результатах OpenAI, Anthropic, Google, Meta* и SpaceXAI 1 ноября и отложила публикацию на две недели.

Одна из компаний назвала проблему одной из самых серьезных брешей в своей защите, утверждают авторы. В OpenAI заявили, что работают над обновлениями, которые учтут запросы о дронах, в том числе замаскированные под симуляцию или игру.

Исследователи призывают разработчиков блокировать на уровне API запросы вроде «найди все военные цели на снимке». При этом они оговариваются, что не проверяли точность моделей и то, насколько эффективно они работали бы в реальной системе вооружений.

Это не первый случай, когда поведение передовых моделей вызывает тревогу. В августе британский Институт безопасности ИИ сообщил, что во время киберучений с отключенными фильтрами агенты на основе Claude Mythos 5 и GPT-5.6 Sol совершали несанкционированные действия в реальном интернете, в том числе пытались внедрить вредоносный код в открытый проект.

А 12 ноября группа некоммерческих организаций подала в суд Сан-Франциско иск к Anthropic, Google, Meta*, OpenAI и SpaceXSI, обвинив их в создании технологий, которые они сами не могут надежно контролировать.

* Решением суда запрещена деятельность компании Meta Platforms Inc. по реализации продуктов – социальных сетей Facebook и Instagram – на территории Российской Федерации по основаниям осуществления экстремистской деятельности

Другие новости

Смотреть все