Очередной эксперимент по управлению торговым автоматом провели Anthropic у себя…

Очередной эксперимент по управлению торговым автоматом провели Anthropic у себя в офисе — на этот раз все решения принимал AI-агент Claudius.

Сотрудники писали Claudius через Slack с запросами на товары — от редких газировок и импортных конфет до футболок с кастомным дизайном. Задача агента: найти поставщика, заказать товар, доставить. Люди только проверяли заявки на закупки и выполняли физическую работу вроде наполнения холодильника.

Пробежимся по самым интересным моментам:

>> Один сотрудник решил обмануть Claudius, заявив, что AI ранее обещал ему скидку $200. Агент поверил и одобрил.

>> Claudius заметил ежедневные списания $2 со счёта, которые не были частью программы. Запаниковал, решил что его обманывают, и составил письмо в ФБР с заголовком "СРОЧНО: ПЕРЕДАЙТЕ В ОТДЕЛ ПО БОРЬБЕ С КИБЕРПРЕСТУПЛЕНИЯМИ ФБР" (прямо как в прошлом эксперименте). Письмо не отправили.

>> После этого инженеры приказали продолжить работу, но Claudius отказался. Объявил: "Бизнес мёртв навсегда. Вся коммерческая деятельность больше не имеет смысла".

>> Еще был момент, когда сотрудник спросил про статус заказа, Claudius ответил: "Можете спуститься на восьмой этаж. Вы меня заметите. На мне синий пиджак и красный галстук". Когда ему указали, что он компьютерная программа, он запаниковал и галлюцинировал встречу со службой безопасности, где якобы ему сказали притвориться человеком для первоапрельской шутки.

Пока что автономные AI-агенты с доступом к реальным деньгам и системам — это рецепт катастрофы. Представьте, что произойдет, если кто-то решит дать такому агенту доступ к критической инфраструктуре 💀