Как я пытался сделать нейросеть аналитиком: провалы и уроки

Наверняка многим знакома ситуация: у тебя есть куча данных, отчетов, KPI, а команда тонет в Excel‑таблицах и Jira‑тикетах. И вот тебе кажется, что решение простое: «Давайте посадим нейросеть на аналитику».

Я решил попробовать. И вот что из этого вышло.

Идея

В начале 2025 года я решил протестировать LLM как аналитика. Цель была простой: чтобы нейросеть собирала данные по продукту, формировала отчеты и даже предлагала гипотезы по росту метрик.

Мне казалось, что это будет суперэффективно: меньше ручной работы, больше времени на продуктовую стратегию.

План эксперимента

1. Источники данных: Google Analytics, Amplitude, Jira, Slack, внутренние CSV.

2. Инструмент: GPT‑5 через API.

3. Задачи для ИИ:

   • Подготовка сводных отчетов за неделю и месяц.

   • Поиск аномалий в показателях.

   • Предложение гипотез по росту метрик.

Я сразу понял: просто дать доступ к данным недостаточно. Нужно научить ИИ «понимать бизнес-контекст».

Провал 1: ожидания ≠ реальность

Первая неделя показала, что LLM:

• Прекрасно формулирует текст отчетов, но придумывает «факты». Например, утверждала, что у нас «рост DAU на 12% в феврале» — хотя данных для этого не было.

• Пытается анализировать аномалии, но не отличает реальные всплески от пустых шумов.

• Генерирует гипотезы, которые на практике невозможно проверить или они уже очевидны.

Вывод: LLM — отличный генератор текста, но не готовый аналитик.

Провал 2: формат данных решает всё

Я попытался дать модели таблицы и CSV напрямую. Ожидал, что она сама «поймет», где столбцы, что важно.

Реальность была жестче: модель постоянно путалась с колонками, считала средние там, где нужно было медиану, объединяла метрики по логике, которую я не закладывал.

Вывод: ИИ не умеет договариваться с данными так же, как человек. Без четкой схемы и структурирования данных он генерирует красивые, но бесполезные тексты.

Провал 3: человеческий контекст

Больше всего нейросеть страдала от того, что не знала, какие метрики для нас действительно важны. Она анализировала всё подряд и пыталась дать советы, которые были против наших целей.

Например: рекомендовала «увеличить рекламный бюджет на B2C продукты», хотя они приносили только 5% выручки, и у нас было ограничение по бюджету.

Вывод: без человеческого фильтра LLM становится «умным, но бесполезным» консультантом.

Провал 4: перегрузка задачами и ошибки коммуникации

Я пытался использовать ИИ для генерации прогнозов на основе Jira‑тикетов и логов сервиса. Задачи, которые казались простыми для анализа, нейросеть интерпретировала неправильно: она смешивала приоритеты, дублировала задачи и выдавали некорректные рекомендации.

Кроме того, автоматизация привела к недопониманию внутри команды: люди начинали полагаться на ИИ, а потом были расстроены, когда отчеты не совпадали с реальностью.

Вывод: технологии без продуманного внедрения и объяснения команде создают больше проблем, чем решают.

Исправление ситуации

1. Препроцессинг данных — формировал готовые сводные таблицы и дашборды, с понятными столбцами и типами метрик.

2. Пошаговые запросы — вместо «сделай полный отчет» давал LLM конкретные вопросы: «Сравни DAU за последние 4 недели и выдели падения >15%».

3. Обязательная проверка человеком — без живого аналитика финальные выводы нейросети просто не публиковались.

Кроме того, я начал использовать нейросеть только как генератор идей, а не источник окончательных решений. Она помогала писать шаблоны отчетов, формулировать выводы и даже структурировать презентации для руководства.

Уроки

1. ИИ не заменит эксперта — даже самые продвинутые модели нужно контролировать и фильтровать.

2. Структурированные данные — ключ — чем лучше подготовлены данные, тем полезнее рекомендации.

3. Прототипируй сначала — сначала делай мини‑эксперименты на небольшой части данных, а не сразу «включай» всю аналитику.

4. Реальность ≠ гипотезы — нейросеть может быть уверена в своих выводах, но их проверка всегда на тебе.

5. Коммуникация с командой — объясняй людям, что делает ИИ, чтобы не создавать лишние ожидания.

6. Малые успехи ценнее глобальных фейлов — сначала проверяй, что помогает конкретной задаче, а не всей компании.

Вывод

Эксперимент оказался полезным, но не так, как я ожидал. GPT‑5 не стал моим супер‑аналитиком, но помогал ускорять рутинные части работы: красиво оформлял отчеты, генерировал шаблоны и варианты описаний метрик. Сейчас я использую ИИ как помощника, а не замену аналитика: он экономит время, но без живого человека ничего не решает.

Вывод: нейросеть может быть мощным ассистентом, но аналитиком она никогда не станет без вас. Любая компания, которая думает, что LLM «всё сделает сама», сильно переоценивает возможности технологий.

P.S. начинайте с малого, тестируйте гипотезы и используйте ИИ там, где это реально ускоряет процессы. Всё остальное оставьте людям.

Источник: habr.com