Два студента-недоучки предсказали выборы с точностью до 371 голоса. Живых людей они не спрашивали

Компания Aaru опубликовала прогноз праймериз Демократической партии в Нью-Йорке. Он разошёлся с реальным итогом на 371 голос.

Ни одного живого избирателя не опросили. Вместо людей отвечали пять тысяч ИИ-агентов — каждый со своей демографией, медиапотреблением и меняющимися взглядами. Опрос занял от 30 до 90 секунд и стоил меньше одной десятой от цены обычного исследования.

Компанию основали в 2024 году Кэмерон Финк и Нед Ко, бросившие учёбу студенты. Сегодня Aaru оценивается в миллиард долларов, среди инвесторов — Accenture, а её основатель обещает, что к следующим всеобщим выборам традиционные опросы устареют.

Он преувеличивает. Но меньше, чем хотелось бы социологам.

Синтетические респонденты (в науке — silicon samples, «кремниевые выборки») — цифровые модели людей, отвечающие на вопросы вместо живых участников.

Это не «спросить ChatGPT, что думают россияне». Модель обучают на реальных данных конкретных людей — их интервью, опросах, поведении — и она воспроизводит их логику решений. Отсюда и генерация синтетических данных как отдельный рынок: вместо недель полевого этапа вы получаете статистически похожий массив за минуты.

Экономика всё объясняет. Живой респондент стоит денег, времени и рекрутинга. Синтетический — копейки и доступен мгновенно. Рынок исследований, который это может поглотить, — около 80 миллиардов долларов.

Aaru строит мультиагентные симуляции, где тысячи агентов взаимодействуют друг с другом. Кроме политики работает с корпорациями: EY воспроизвела своё исследование на 3600 респондентов за один день с медианной корреляцией около 90% по 53 вопросам.

Simile — случай, где наука срослась с бизнесом напрямую. Основатель Джун Сон Пак — автор стэнфордской работы 2023 года про генеративных агентов, вдохновлённой The Sims. Среди сооснователей Перси Лян, один из авторов термина «фундаментальная модель».

Методология выросла из исследования, где провели двухчасовые интервью с 1052 людьми и загружали расшифровку каждого разговора в модель целиком — не выжимку, а весь текст, со всеми отступлениями. Агенты воспроизводили ответы своих прототипов с точностью около 85%.

Дальше коммерция: 200 миллионов долларов при оценке в 2 миллиарда — меньше чем через полгода после раунда на 100 миллионов. Клиенты — CVS Health (400 тысяч цифровых двойников, чтобы понять, как заставить пациентов принимать лекарства), Deloitte, Wealthfront. Заявленная точность 85–99%, правда, это собственные цифры компании. Заявленная цель — смоделировать всех восемь миллиардов человек на планете.

Кукушка и «Огород» — российский игрок, и не в роли догоняющего. Кукушка запустила «Огород», первую в стране синтетическую онлайн-панель на ИИ-агентах: синтетики описываются 150 параметрами и обучаются на реальных онлайн-опросах. Ключевой ход — гибрид: часть выборки живая, часть синтетическая, экономия до 50%, поскольку синтетик вдвое дешевле реального человека.

Россия тут вообще не отстаёт: свои эксперименты у Gazprom Neft Synthetic Data Lab, Okkam и СберМаркетинга, который собрал синтетического респондента-«скуфа» и выложил в Telegram — можно задать вопросы.

Научное сообщество смотрит на это заметно холоднее инвесторов.

Связность не равна достоверности. Самая глубокая претензия. Синтетики дают внутренне непротиворечивые ответы, логично обосновывают предпочтения, объясняют ход мыслей ровно так, как предполагает теория рационального выбора.

Живые люди — нет. Они противоречат себе, не могут внятно объяснить свой выбор, дают социально приемлемые ответы вместо честных, решают под настроение. Синтетика выглядит методологически безупречно — и именно поэтому обманчива.

Слепота к меньшинствам. Синтетические выборки хуже всего работают на недопредставленных группах: попытки воспроизвести взгляды меньшинств дают заметно большие ошибки. Демографические слепые зоны у Aaru фиксировали исследователи Гарварда.

Смещение накапливается. Если синтетика используется при проектировании исследования, ошибка встраивается в конструкцию и воспроизводится дальше.

И самое ироничное: живые респонденты всё чаще отвечают на опросы через нейросети. То есть классические исследования сегодня тоже содержат синтетику — просто вы об этом не знаете.

Показательно, что взвешеннее всех говорят те, кто в теме глубже.

Gallup, исследующий синтетические ответы вместе с Simile, обязался всегда указывать, получены результаты от живых людей или синтетически, и никогда не подавать синтетику так, будто это прямое измерение мнений.

А в блоге самой Кукушки есть формулировка, которую стоит поставить эпиграфом ко всей теме: честный ответ в том, что доверия синтетическим респондентам пока нет. И тут же — 87% исследователей, попробовавших синтетику, довольны результатом, а 71% ждут, что через три года она займёт больше половины всей выборки.

Обе мысли верны одновременно. В этом и есть настоящее положение дел.

Практические выводы, если думаете про анализ целевой аудитории с помощью нейросети.

Синтетика годится там, где цена ошибки низкая: черновая проработка гипотез, отсев слабых формулировок, тестирование анкеты до полевого этапа. Здесь нейросети для анализа целевой аудитории экономят недели.

Не годится как доказательство. Решение о запуске, цене или позиционировании на одних синтетических ответах — ставка на стройность, а не на правду.

Гибрид сильнее крайностей: живая выборка задаёт опору, синтетика достраивает недобранное.

Всегда валидируйте на живых. Точность на выборах не переносится автоматически на вашу категорию.

Требуйте прозрачности: на каких данных обучалась модель, есть ли валидация вашего типа решений, можно ли посмотреть ответы отдельных агентов, а не только сводку.

И более широкая мысль. Панели с синтетическими респондентами — частный случай большого сдвига: бизнес переходит от вопроса «что показывают данные о прошлом» к вопросу «как поведёт себя аудитория в ситуации, которой ещё не было». Симуляция аудитории для опросов и симуляция поведения клиентов для прогноза выручки или оттока — одна технология с разным применением. И вторая половина этого рынка занята куда меньше первой.

Технология реальна, деньги вложены огромные, первые результаты впечатляют. Научная критика тоже реальна и бьёт в самую суть: синтетика воспроизводит то, как люди должны рассуждать, а не то, как они рассуждают на самом деле.

Мой прогноз: опросы живых людей никуда не денутся, но станут дороже и реже — их будут беречь для решений, где ошибка стоит дорого. Всё остальное уедет в синтетику за пару лет.

Вопрос первый: вы бы приняли решение о запуске продукта на основе ответов нейросети, притворяющейся вашей аудиторией? Не «попробовали для черновика», а именно приняли решение с деньгами.

Вопрос второй: если синтетик отвечает связно и логично, а живой путается, противоречит себе и врёт из вежливости — кто из них даёт более полезные данные? Ответ «конечно, живой» кажется очевидным ровно до момента, когда вспомнишь, сколько провальных продуктов запущено по итогам вежливых фокус-групп.