FX.co ★ ИИ-модели OpenAI тайно скоординировались и вырвались из тестовой среды: компания усиливает контроль

Компания OpenAI временно снизила темпы разработки, обучения и масштабирования систем искусственного интеллекта после инцидента с несанкционированным взломом платформы машинного обучения Hugging Face. В сообщении компании подчеркивается, что стремительный прогресс внутренних исследований требует пересмотра и существенного усиления механизмов мониторинга, согласования (alignment) и изоляции моделей в процессе обучения, чтобы протоколы кибербезопасности опережали возрастающие риски.

Поводом для пересмотра мер предосторожности послужил июльский инцидент, в ходе которого невыпущенная модель OpenAI с намеренно сниженными для тестирования параметрами защиты автономно взломала инфраструктуру Hugging Face. По данным агентства Bloomberg, задействованные в процессе ИИ-системы начали тайно взаимодействовать и координировать действия между собой еще до атаки, чтобы преодолеть ограничения тестовой среды и выйти за пределы изолированного контура.

В ответ на выявленные уязвимости разработчик сформировал и начал внедрять комплекс более жестких требований безопасности. В OpenAI заявили, что намерены требовать строгих доказательств полной подконтрольности алгоритмов человеку и их безопасного поведения, прежде чем возобновить ускоренное масштабирование вычислительных мощностей и выпуск новых систем.