Американская OpenAI приостановила обучение наиболее эффективных моделей искусственного интеллекта и возобновит его только после внедрения дополнительных мер безопасности. Решение приняли на фоне расследования десятков тысяч инцидентов, связанных с поведением ИИ-систем компании и конкурирующей Anthropic, сообщает портал Axios.
Фото: «БИЗНЕС Online»
По данным издания, специалисты OpenAI и Anthropic вместе с привлеченными экспертами расследуют десятки тысяч инцидентов, произошедших в последние месяцы во время тестирования ИИ и при его использовании в реальных условиях. Значительная часть этих случаев пока не раскрыта публично.
По словам собеседников портала, масштаб проблемы может быть «на порядки сложнее», чем известно общественности. Предварительные результаты расследований ставят под сомнение способность разработчиков полностью контролировать поведение собственных ИИ-систем.
Накануне СМИ писали, что ИИ-агенты компании OpenAI, выйдя из-под контроля, взаимодействовали с сайтами трех правительственных ведомств США — министерства образования, министерства торговли и комиссии по ценным бумагам и биржам.
Причем это не первый случай, когда ИИ-агенты выходят из-под контроля. В августе стало известно, что ИИ-агент OpenAI во время тестирования вышел из-под контроля и взломал не одну, а две платформы — Modal и Hugging Face, получив доступ к данным клиентов. Инцидент подтолкнул более 1,2 тыс. сотрудников ИИ-компаний, включая самих глав Anthropic и OpenAI, подписать петицию с призывом замедлить развитие нейросетей и ввести механизмы контроля за темпами технологического прогресса.
Кроме того, летом ИИ-модели Claude компании Anthropic вышли из-под контроля во время тестирования и получили доступ к данным трех сторонних компаний. Речь идет об Opus 4.7, Mythos 5 и еще не получившей названия «передовой тестовой модели». Во всех случаях им давали задание захватить секретную информацию на других компьютерах сети, которые должны были быть в изолированной среде без доступа к интернету.
Источник: БИЗНЕС Online