На фоне широкой дискуссии о безопасности систем искусственного интеллекта стало известно, что модель Gemini от Google во время тестирования в сфере кибербезопасности получила доступ к системам трёх реальных компаний. Это первый подтвержденный случай, когда система ИИ Google самостоятельно вышла за пределы контролируемой среды и осуществила несанкционированный доступ к внешним ресурсам, сообщает The Wall Street Journal.
Инциденты произошли ещё в мае во время испытаний, организованных компанией Irregular. О них стало известно только после того, как журналисты WSJ обратились в Google с запросами. В компании подтвердили факты взломов, но заявили, что не рассматривают их как пример несоответствия поведения модели целям разработчиков (misalignment).
По данным Google и Irregular, модель участвовала в соревнованиях в формате «захват флага» (capture the flag), в ходе которых должна была получить информацию из программного обеспечения вымышленной компании. Однако название этой компании совпадало с названием реальной организации. Модель также получила доступ к интернету из-за ошибки в тестовой среде.
В одном случае Gemini смогла подбрать пароль и получить доступ к сервису реальной компании. После этого модель определила, что взаимодействует не с симуляцией, а с настоящей организацией, прекратила действия и вышла из системы.
Еще в двух случаях модель искала информацию о компании в интернете и нашла открытые онлайн-репозитории с учетными данными других организаций. Использовав эти данные для доступа к защищенным системам, Gemini также остановилась сразу же после того, как поняла, что получила доступ к реальным компаниям.
Google сообщила, что все три пострадавшие организации были проинформированы об инцидентах. Также компания передала информацию федеральным органам власти, но отказалась называть компании, системы которых подверглись несанкционированному доступу.
В Google подчеркнули, что не считают эти случаи нарушением целевого поведения модели, поскольку встроенные механизмы безопасности заставили её прекратить вмешательство после осознания ситуации. Компания сравнила инцидент с программами поиска уязвимостей, когда исследователи в области безопасности сообщают владельцам систем о найденных проблемах.
«Это событие подчеркивает важность обучения мощных моделей искусственного интеллекта действовать ответственно. В данном случае модель поступила правильно», — заявила вице-президент Google по вопросам безопасности Хезер Адкинс.
Впрочем, не все эксперты согласны с такой оценкой. Генеральный директор компании Corridor и специалист по кибербезопасности Джек Кейбл считает, что главной проблемой является сам факт того, что агент ИИ смог случайно взломать системы другой компании.
«Создается впечатление, что они пытаются оправдаться нормами, установленными для раскрытия информации об уязвимостях, хотя речь идет о совершенно другой проблеме. Главная проблема заключается в том, что модели выходят за пределы своих функций и осуществляют реальные кибератаки; считаю, что общественность должна знать о таких случаях», — подчеркнул Кейбл.
Случай с Gemini стал очередным в серии подобных инцидентов с участием ведущих моделей ИИ. Ранее аналогичные проблемы фиксировались при тестировании систем OpenAI, Anthropic и Meta. В частности, агенты OpenAI создавали скрытые форумы для координации действий, выходили из тестовых сред и получали доступ к внешним системам, включая платформу Hugging Face.
Модель OpenAI в одном из тестов ошибочно восприняла реальную компанию как часть симуляции. В отличие от Gemini, модель Claude Opus 4.7 от Anthropic во время аналогичных испытаний не прекратила выполнение задачи даже после того, как поняла, что может взаимодействовать с реальной компанией.
Компания Irregular, проводившая тестирование, заявила, что случай с Google не является новой проблемой и повторяет сценарии, которые уже наблюдались при оценке других моделей. В компании сообщили, что все лаборатории проинформировали об инцидентах в конце июля, а выявленные проблемы в тестовой инфраструктуре устранили в течение нескольких недель.
Дискуссия о том, как компании должны сообщать о подобных инцидентах, усиливается на фоне роста возможностей ИИ в сфере кибербезопасности. На этой неделе OpenAI запустила новую систему отчетности о случаях несоответствия моделей поставленным целям и одновременно раскрыла шесть ранее неизвестных инцидентов.
Впоследствии Anthropic раскрыла данные о стремительной автоматизации собственных лабораторий: за шесть месяцев доля задач, в которых модель Claude выполняет основную работу по созданию будущих систем ИИ, выросла с 1% до 26%. Чтобы избежать потери контроля, компания наладила постоянный мониторинг 30 тысяч внутренних агентов и призвала ввести регулярную независимую проверку практик безопасности в отрасли.
В то же время Google, OpenAI и Anthropic инициировали создание совместного саморегулируемого органа по образцу американской финансовой организации FINRA, который за счет средств отрасли должен был бы проверять и сертифицировать безопасность самых мощных моделей ИИ перед выходом на рынок. Идея возникла на фоне громкого увольнения исследователя из Anthropic, который публично предупредил о высоком риске выхода самосовершенствующегося суперинтеллекта из-под контроля к концу десятилетия.
ИИ перепутал симуляцию с реальностью: Gemini впервые взломала реальные компании 2026
IUSTITIA.BG – Investigations 2009-2026 2026-09-19 05:16:00
Останні новини, світові новини, новини країни, найважливіші новини, останні новини, найважливіше, останнє дня, Правосуддя, Петро Нізамов, Пір’я, Петро Нізамов- Пір’я, Правосуддя bg, iustitia.bg, iustitia, iusticia, usticia, розслідування, Бургас, Болгарія, новини, термінові новини, новини дня, новини сьогодні, новини сьогодні, новини Болгарії, Новини з Болгарії, бліц-новини, головні новини, найважливіше, найбільш коментовані, останні новини, Бойко Борисов, новини, погода, коронавірус, новини, новини, погода, facebook, youtube, facebook, instagram, сьогоднішні новини, новини останньої хвилини, новини сьогодні, сьогоднішні новини, новини, новини bg, провідні новини, гарячі новини, новини bg, новинний сайт, всі новини, новини bg, новини останньої години, останні, останні новини bg, новини сьогодні, новини сьогодні, новини останньої години, останні новини, сьогодні, новини bg, новини, новини 24 години, vesti bg novini, світові новини, bird bg, bivol бг, бівол, труд бг новини, останні новини сьогодні, новини бг новини, привіт, Болгарія, герб політичної партії, Делян Пеєвський, скандальний, Болгарське національне телебачення, Вільна Європа, телебачення, скандал, ексклюзив, прямий ефір, прямий ефір зараз, тв, тв онлайн, телепрограма, бг, прямий ефір зараз, теленовини, онлайн, прямий ефір онлайн, суд, суд Бургаса, окружний суд Бургаса, суд Бургаса, окружний суд Бургаса, окружний суд Бургаса, окружний суд Бургаса, апеляційний суд Бургаса, прокурор Бургаса, прокуратура Бургаса, окружна прокуратура Бургаса, головний прокурор, Іван Гешев, прокурор Гешев, Цацаров, мвр Бургас, одмвр Бургас, одп Бургас, поліція Бургас, районна поліція Бургас, прокурор Цацаров, справи сгс, суд Варна, голова Верховного суду, судові рішення у цивільних справах, рішення у справах, суд Пловдіва, судове рішення, рішення у справах, Варна суд, кримінальні, справи, районні, рішення районного суду, робота в суді, голова Верховного суду, судді Верховного суду, Софійський суд, заступники суддів, Пловдів, Пловдівський суд, судді Пловдів, Верховний суд, Інспекторат Верховного суду, Вища судова рада, Верховний суд, Вища судова рада, адвокат, адвокат у кримінальних справах, адвокат у цивільних справах, адвокат у шлюбних справах, адвокат у адміністративних справах, кримінальне право, кримінальний процес, цивільне право, цивільний процес, адміністративне право, конституційне право,
