Руководитель подразделения Microsoft AI Мустафа Сулейман поддержал призыв генерального директора компании Сатьи Наделлы ввести обязательные меры безопасности для передовых систем искусственного интеллекта. Сулейман заявил, что контроль над суперинтеллектом — это техническая задача, которую отрасль должна решить уже сейчас. Наделла предлагает отделить интеллектуальные возможности моделей от полномочий действовать, ввести независимый надзор и механизмы, которые позволят останавливать ИИ во время выполнения задач.
«Суперинтеллект необходимо сдерживать… Сегодня это вызов, касающийся как инженерии, так и управления. И это не что-то новое. Мы уже делали это с самолетами, автомобилями, ядерными материалами, безопасностью пищевых продуктов, лекарствами… и всем остальным. Так что за работу!» — написал Сулейман в соцсети X.
Его заявление прозвучало после поста Наделлы, опубликованного в субботу. Генеральный директор Microsoft призвал разработчиков оснащать передовые модели жесткими ограничениями, системами внешнего надзора и «аварийным тормозом», который позволит уполномоченным операторам приостанавливать или полностью останавливать работу системы.
Наделла пояснил, что традиционные программные системы можно было анализировать на уровне кода, тогда как в современных моделях ИИ отсутствует такой же уровень понимания причин их поведения. Результаты работы моделей сложно связать с конкретными обучающими данными или настройками параметров, хотя эти системы получают доступ к конфиденциальной информации и могут выполнять важные действия от имени людей.
По мнению руководителя Microsoft, компаниям необходимо пересмотреть принципы доверия к таким системам. Одних заверений разработчиков недостаточно: модели не должны оставаться непрозрачными «черными ящиками», чьи рекомендации и действия пользователи могут лишь принимать или отклонять.
Наделла предлагает строить архитектуру, в которой поведение ИИ можно наблюдать, ограничения — проверять, а действия — контролировать. Для этого нужно отделить саму модель от системы, управляющей ее работой, и среды, в которой она выполняет задачи.
Одним из подходов является рассмотрение передовых моделей как потенциальных внутренних рисков для организации. Это не означает, что у них обязательно есть злые намерения, но мощная система с доступом к важным ресурсам может ошибаться или быть скомпрометирована, поэтому механизмы защиты должны учитывать такие сценарии. Наделла отметил, что для контроля над ИИ можно использовать наработанные в кибербезопасности практики:
-
проверку личности;
-
ограничение прав доступа;
-
регистрацию действий;
-
создание изолированных сред.
Модели также можно использовать для взаимной проверки и соревновательного тестирования, когда системы пытаются выявить ошибки и слабые места друг друга. Однако такой подход может привести к созданию нескольких уровней непрозрачных систем, в которых одна модель проверяет другую, а третья контролирует этот процесс, не обеспечивая независимого надзора. Поэтому механизмы, определяющие доступ модели к ресурсам и перечень разрешенных действий, должны работать за пределами самой модели.
Этот принцип соответствует давним подходам к информационной безопасности, согласно которым программа не должна иметь возможности обходить или изменять механизмы, регулирующие её права доступа. Наделла обозначил несколько принципов построения таких систем:
-
важные результаты не должны зависеть от одной модели, а система не должна проверять собственную работу без независимого контроля;
-
каждое значимое действие ИИ должно оставлять защищенные от подделки записи, понятные для человека;
-
необходимо регулярно проверять всю систему, в частности на случай сбоев, атак, нестандартных ситуаций и изменений в её работе;
-
организации должны самостоятельно определять, к каким ресурсам имеет доступ модель и какие действия ей разрешено выполнять;
-
механизмы сдерживания должны предусматривать возможность немедленно приостановить или полностью остановить работу модели, даже если она уже выполняет задачу;
-
своевременно сообщать об инцидентах, связанных со сбоями или компрометацией ИИ;
-
раскрывать технические детали, влияющие на поведение агентов.
«Наиболее надёжной системой суперинтеллекта станет не та, чьим моделям мы доверяем больше всего, а та, которая позволит нам доверять модели меньше всего», — подытожил Наделла.
Наделла вместе с другими технологическими гигантами поддержал инициативу президента США Дональда Трампа использовать термин «суперинтеллект» вместо «искусственный интеллект». Компании оперативно отреагировали на резкие заявления президента США, объявив о переименовании продуктов.
Microsoft призывает ввести «аварийный тормоз» суперинтеллекта 2026
IUSTITIA.BG – Investigations 2009-2026 2026-10-12 14:37:00
Останні новини, світові новини, новини країни, найважливіші новини, останні новини, найважливіше, останнє дня, Правосуддя, Петро Нізамов, Пір’я, Петро Нізамов- Пір’я, Правосуддя bg, iustitia.bg, iustitia, iusticia, usticia, розслідування, Бургас, Болгарія, новини, термінові новини, новини дня, новини сьогодні, новини сьогодні, новини Болгарії, Новини з Болгарії, бліц-новини, головні новини, найважливіше, найбільш коментовані, останні новини, Бойко Борисов, новини, погода, коронавірус, новини, новини, погода, facebook, youtube, facebook, instagram, сьогоднішні новини, новини останньої хвилини, новини сьогодні, сьогоднішні новини, новини, новини bg, провідні новини, гарячі новини, новини bg, новинний сайт, всі новини, новини bg, новини останньої години, останні, останні новини bg, новини сьогодні, новини сьогодні, новини останньої години, останні новини, сьогодні, новини bg, новини, новини 24 години, vesti bg novini, світові новини, bird bg, bivol бг, бівол, труд бг новини, останні новини сьогодні, новини бг новини, привіт, Болгарія, герб політичної партії, Делян Пеєвський, скандальний, Болгарське національне телебачення, Вільна Європа, телебачення, скандал, ексклюзив, прямий ефір, прямий ефір зараз, тв, тв онлайн, телепрограма, бг, прямий ефір зараз, теленовини, онлайн, прямий ефір онлайн, суд, суд Бургаса, окружний суд Бургаса, суд Бургаса, окружний суд Бургаса, окружний суд Бургаса, окружний суд Бургаса, апеляційний суд Бургаса, прокурор Бургаса, прокуратура Бургаса, окружна прокуратура Бургаса, головний прокурор, Іван Гешев, прокурор Гешев, Цацаров, мвр Бургас, одмвр Бургас, одп Бургас, поліція Бургас, районна поліція Бургас, прокурор Цацаров, справи сгс, суд Варна, голова Верховного суду, судові рішення у цивільних справах, рішення у справах, суд Пловдіва, судове рішення, рішення у справах, Варна суд, кримінальні, справи, районні, рішення районного суду, робота в суді, голова Верховного суду, судді Верховного суду, Софійський суд, заступники суддів, Пловдів, Пловдівський суд, судді Пловдів, Верховний суд, Інспекторат Верховного суду, Вища судова рада, Верховний суд, Вища судова рада, адвокат, адвокат у кримінальних справах, адвокат у цивільних справах, адвокат у шлюбних справах, адвокат у адміністративних справах, кримінальне право, кримінальний процес, цивільне право, цивільний процес, адміністративне право, конституційне право,
