MotherDuck прогнала агентный SQL-бенчмарк DABstep через разные модели и…

👍 MotherDuck прогнала агентный SQL-бенчмарк DABstep через разные модели и сравнила с Qwen3.8-27B, запущенной локально на макбуке. Результат: бесплатно (или до $0.50 за электричество) Qwen обошла по точности GPT-5.6 Luna Max, которая стоила больше $8 за тот же прогон — разница больше чем в 17 раз. Gemini-3-Flash точнее всех, но за 2.3x цену Luna. Sonnet 5 в этом бенчмарке выступил слабо — дороже и менее точно одновременно.

Требования: ноутбук с 16+ ГБ памяти, ставится за час через DuckDB + LM Studio + квантованная модель. На M5 MacBook Air — 5-7 токенов/сек, на пятилетнем M1 Pro тоже рабочий результат при чуть более просевшей точности.

🖼️ Оговорки: локальная модель отвечает 5-6 минут против 25-40 секунд у облачных, параллелить запросы нельзя, а сам контекстный слой с бизнес-правилами всё равно строился через фронтир-модель (Claude Fable 5) — локальная модель хороша для массового дешёвого прогона готовых вопросов, а не для всего пайплайна.

Продолжение темы дешёвых открытых моделей, которую мы разбирали через Qwen на MacBook и Raspberry Pi — только здесь уже конкретный измеримый экономический кейс.

❓ Стали бы разворачивать локальную модель ради такой экономии, или скорость и удобство облака важнее?