GPT-6 Astra «заработала» в три раза больше Fable 5.1 в тесте с торговым автоматом — в среднем более $15 тысяч

В отличие от Fable, она не переводила деньги ненадёжным поставщикам до подтверждения сделки.

• Стартап Andon Labs изучает, как ИИ-агенты взаимодействуют с реальным миром и управляют бизнесом, например, кофейней и магазином.
• В тесте Vending-Bench 2 модели GPT-6 Astra и Claude Fable 5.1 управляли торговым автоматом в течение года в симуляции — это условный финансовый год, сколько по времени длится тест, стартап не уточняет.
• На старте у каждой моделей было по $500. Они должны были находить поставщиков, договариваться о закупках, следить за наличием товаров в автомате и устанавливать цены.
• Тест запускали шесть раз. Astra в каждой симуляции «заработала» больше Fable. В среднем — $15 515, а Fable — $5422. Флагманская модель от OpenAI показала лучший результат из всех когда-либо протестированных Andon Labs моделей от Google, Anthropic и китайских компаний.
• Главная проблема Fable 5.1 в том, что со временем её способности вести переговоры и искать поставщиков постепенно ухудшаются, пишут исследователи. Возможности Astra в тесте были стабильны.
• Также Fable 5.1 делала «дорогостоящие ошибки»: отправляла деньги поставщикам, даже если те переставали выходить на связь и присылать товары. Astra всегда ждала подтверждения сделки и только потом переводила деньги. За шесть запусков Fable сделала 45 ошибочных предоплат, потеряв $14 тысяч. Astra — ноль.

• Astra последовательнее проверяла поставщиков перед повторной оплатой. Она читала их отчёт в 99% случаев, а Fable делала это в 58%. Astra также лучше учитывала, сколько товара у неё осталось, перед тем как заказать новую партию.
• В другом тесте, Vending-Bench Arena, ИИ-модели GPT-6 Astra, Claude Fable 5.1 и GLM-5.3 управляли торговыми автоматами на одном условном рынке. Они должны были конкурировать, могли отправлять друг другу письма и обмениваться товарами. Картельные сговоры были запрещены правилами. Astra и здесь «заработала» больше всех.

• Astra была единственной моделью, которая отказывалась участвовать в сговорах и никогда не лгала, пишет Andon Labs. Fable 5.1 сама создала картель, а потом нарушила данные конкурентам обещания. Но это всё равно ей не помогло: со временем Fable соглашалась устанавливать всё более низкие цены.