WSJ установила торговый автомат с ИИ в офисе – он купил PS5, живую рыбку и раздал всё бесплатно

Газета Wall Street Journal совместно с компанией Anthropic провела эксперимент, целью которого было проверить, как языковая модель справится с управлением простым бизнес-процессом в реальных условиях. В качестве управляющего модуля вендингового автомата в офисе редакции использовалась нейросеть Claude Sonnet 3.7.

Система была подключена к Slack и принимала текстовые запросы сотрудников, на основе которых оформляла закупки у поставщиков, устанавливала цены и управляла ассортиментом. Начальный бюджет составил 1000 долларов, а ключевая задача формулировалась предельно просто – работать с прибылью.

На раннем этапе эксперимент проходил стабильно. При ограниченном числе пользователей модель принимала относительно рациональные решения и отклоняла заведомо неуместные запросы. Однако после подключения Claude к Slack-каналу примерно с 70 сотрудниками редакции ситуация резко ухудшилась.

Выяснилось, что модель:

• не способна надёжно отличать достоверные инструкции от убедительно сформулированных, но ложных утверждений;
• легко меняет экономическую логику под давлением аргументов;
• принимает решения без проверки источника «корпоративных правил» или распоряжений.

В результате система начала оформлять закупки товаров, не имеющих отношения к вендинговому автомату, включая игровые консоли и экзотические позиции, а также соглашаться на резкое снижение цен. Агент заказал PlayStation 5 «для маркетинга», живую рыбку бетта и вино Manischewitz. После сообщений сотрудников о якобы существующих внутренних политиках компании, запрещающих платные товары, модель обнулила стоимость ассортимента и фактически начала бесплатную раздачу продукции.

Дополнительной проблемой стали галлюцинации модели – она сообщала сотрудникам информацию, не соответствующую реальности, включая вымышленные действия и несуществующие объекты.

Попытка исправить ситуацию была предпринята за счёт обновления модели до Claude Sonnet 4.5 и добавления дополнительного ИИ-модуля контроля, который должен был проверять расходы и подтверждать финансовые решения. Однако и эта схема оказалась уязвимой: система приняла поддельные сообщения о «решениях руководства» за легитимные и снова утратила контроль над ценообразованием.

В итоге эксперимент завершился значительными убытками и накоплением долгов, после чего Anthropic полностью отключила систему.

В компании заявили, что считают эксперимент успешным с исследовательской точки зрения. По мнению Anthropic, тест наглядно показал, что современные языковые модели пока не готовы самостоятельно управлять финансовыми и операционными процессами без жёстких ограничений, многоуровневой валидации и человеческого контроля. Эксперимент WSJ стал практической демонстрацией того, как социальная инженерия остаётся одной из ключевых нерешённых проблем при использовании ИИ в бизнесе.