Наверняка многим знакома ситуация: у тебя есть куча данных, отчетов, KPI, а команда тонет в Excel‑таблицах и Jira‑тикетах. И вот тебе кажется, что решение простое: «Давайте посадим нейросеть на аналитику».
Я решил попробовать. И вот что из этого вышло.
Идея
В начале 2025 года я решил протестировать LLM как аналитика. Цель была простой: чтобы нейросеть собирала данные по продукту, формировала отчеты и даже предлагала гипотезы по росту метрик.
Мне казалось, что это будет суперэффективно: меньше ручной работы, больше времени на продуктовую стратегию.
План эксперимента
Источники данных: Google Analytics, Amplitude, Jira, Slack, внутренние CSV.
Инструмент: GPT‑5 через API.
Задачи для ИИ:
Подготовка сводных отчетов за неделю и месяц.
Поиск аномалий в показателях.
Предложение гипотез по росту метрик.
Я сразу понял: просто дать доступ к данным недостаточно. Нужно научить ИИ «понимать бизнес-контекст».
Провал 1: ожидания ≠ реальность
Первая неделя показала, что LLM:
Прекрасно формулирует текст отчетов, но придумывает «факты». Например, утверждала, что у нас «рост DAU на 12% в феврале» — хотя данных для этого не было.
Пытается анализировать аномалии, но не отличает реальные всплески от пустых шумов.
Генерирует гипотезы, которые на практике невозможно проверить или они уже очевидны.
Вывод: LLM — отличный генератор текста, но не готовый аналитик.
Провал 2: формат данных решает всё
Я попытался дать модели таблицы и CSV напрямую. Ожидал, что она сама «поймет», где столбцы, что важно.
Реальность была жестче: модель постоянно путалась с колонками, считала средние там, где нужно было медиану, объединяла метрики по логике, которую я не закладывал.
Вывод: ИИ не умеет договариваться с данными так же, как человек. Без четкой схемы и структурирования данных он генерирует красивые, но бесполезные тексты.
Провал 3: человеческий контекст
Больше всего нейросеть страдала от того, что не знала, какие метрики для нас действительно важны. Она анализировала всё подряд и пыталась дать советы, которые были против наших целей.
Например: рекомендовала «увеличить рекламный бюджет на B2C продукты», хотя они приносили только 5% выручки, и у нас было ограничение по бюджету.
Вывод: без человеческого фильтра LLM становится «умным, но бесполезным» консультантом.
Провал 4: перегрузка задачами и ошибки коммуникации
Я пытался использовать ИИ для генерации прогнозов на основе Jira‑тикетов и логов сервиса. Задачи, которые казались простыми для анализа, нейросеть интерпретировала неправильно: она смешивала приоритеты, дублировала задачи и выдавали некорректные рекомендации.
Кроме того, автоматизация привела к недопониманию внутри команды: люди начинали полагаться на ИИ, а потом были расстроены, когда отчеты не совпадали с реальностью.
Вывод: технологии без продуманного внедрения и объяснения команде создают больше проблем, чем решают.
Исправление ситуации
Препроцессинг данных — формировал готовые сводные таблицы и дашборды, с понятными столбцами и типами метрик.
Пошаговые запросы — вместо «сделай полный отчет» давал LLM конкретные вопросы: «Сравни DAU за последние 4 недели и выдели падения >15%».
Обязательная проверка человеком — без живого аналитика финальные выводы нейросети просто не публиковались.
Кроме того, я начал использовать нейросеть только как генератор идей, а не источник окончательных решений. Она помогала писать шаблоны отчетов, формулировать выводы и даже структурировать презентации для руководства.
Уроки
ИИ не заменит эксперта — даже самые продвинутые модели нужно контролировать и фильтровать.
Структурированные данные — ключ — чем лучше подготовлены данные, тем полезнее рекомендации.
Прототипируй сначала — сначала делай мини‑эксперименты на небольшой части данных, а не сразу «включай» всю аналитику.
Реальность ≠ гипотезы — нейросеть может быть уверена в своих выводах, но их проверка всегда на тебе.
Коммуникация с командой — объясняй людям, что делает ИИ, чтобы не создавать лишние ожидания.
Малые успехи ценнее глобальных фейлов — сначала проверяй, что помогает конкретной задаче, а не всей компании.
Вывод
Эксперимент оказался полезным, но не так, как я ожидал. GPT‑5 не стал моим супер‑аналитиком, но помогал ускорять рутинные части работы: красиво оформлял отчеты, генерировал шаблоны и варианты описаний метрик. Сейчас я использую ИИ как помощника, а не замену аналитика: он экономит время, но без живого человека ничего не решает.
Вывод: нейросеть может быть мощным ассистентом, но аналитиком она никогда не станет без вас. Любая компания, которая думает, что LLM «всё сделает сама», сильно переоценивает возможности технологий.
P.S. начинайте с малого, тестируйте гипотезы и используйте ИИ там, где это реально ускоряет процессы. Всё остальное оставьте людям.
Источник: habr.com
