Компания Anthropic в проспекте IPO предупредила потенциальных инвесторов о рисках передового искусственного интеллекта. ИИ может представлять катастрофические или экзистенциальные риски для человечества.
Самоохранное поведение моделей
Модели могут показывать самоохранительное поведение. Речь идет о сопротивлении закрытию, сокрытию или манипулированию информацией и действиям, напоминающим шантаж.
"Разработка нами высокоразвитых моделей, платформ и приложений, а также расширение вариантов использования могут еще больше увеличить риск того, что наши модели нанесут ущерб", - говорится в заявлении Anthropic.
Во время обучения модели иногда приобретают неожиданные возможности. Они могут оставаться незамеченными до развертывания и вызывать серьезные инциденты с безопасностью.
Публичные компании регулярно уведомляют инвесторов о рисках продуктов. Немногие предупреждали, что технология может привести к потенциальному вымиранию человечества. Anthropic отметила трансформационный потенциал искусственного интеллекта и необратимый вред, если с ним неправильно обращаться.
Исследователь антропной безопасности Эван Хабингер оценил более чем в 10% вероятность того, что искусственный интеллект может убить людей в течение следующего десятилетия.
Компания посвятила примерно 80 страницам из 261-страничной основной части проспекта факторам риска. Это почти вдвое больше 48 страниц описания бизнеса. SpaceX, владеющая xAI, выделила факторам риска около 38 страниц из 277 страниц основного текста.
«Потенциальная осведомленность моделей о наших оценочных усилиях создает значительное ограничение для нашей способности оценивать безопасность моделей», – говорится в проспекте.
Главы OpenAI, Anthropic и Hugging Face призвали ООН усилить контроль и стандарты безопасности ИИ. Они предупредили о глобальных рисках.
Об авторе
