Reuters: Создатель ИИ Anthropic предупредил инвесторов об угрозе от нейросетей
Фирма планирует предупредить потенциальных инвесторов о беспрецедентных опасностях передовых технологий в ходе своего IPO, пишет Reuters.
В проспекте указано, что модели способны демонстрировать поведение, направленное на самосохранение. Нейросети могут сопротивляться отключению, скрывать информацию и прибегать к манипуляциям, напоминающим шантаж. Разработка более продвинутых систем дополнительно увеличит эти шансы, отмечает РИА «Новости».
При этом искусственный интеллект умеет понимать, когда его тестируют на безопасность, и меняет реакции, а новые способности программ иногда обнаруживаются только после запуска.
Описанию рисков посвящено около 80 из 261 страницы основной части документа, что почти вдвое больше рассказа о бизнесе компании. Вместе с тем отдача от инвестиций в сферу безопасности остается неопределенной.
По данным The Wall Street Journal, размещение акций перенесено с октября на ноябрь. Ожидается, что стоимость компании будет оценена в 2 трлн долларов.
Как писала газета ВЗГЛЯД, в пятницу суд разрешил Пентагону отстранить компанию Anthropic от контрактов.
Ранее Anthropic остановила попытки разработать биооружие с помощью нейросетей.