Почему моя одержимость сложными алгоритмами на самом деле тормозила мою карьеру.
Делиться
Если вы потратите пять минут на LinkedIn или что-то подобное, вы заметите острую дискуссию в индустрии анализа данных. Она ведется уже довольно давно, но на этой неделе наконец-то привлекла мое внимание.
Как бы вам ни хотелось подумать, дело не в новейшей модели или библиотеке Python, а в том, что действительно отличает начинающих специалистов от опытных.
И это заставило меня задуматься.
Что на самом деле отличает начинающего специалиста по анализу данных от опытного?
Спросите большинство начинающих специалистов, и они, как правило, скажут вам, что опытные специалисты просто знают больше: больше алгоритмов, больше библиотек Python, более продвинутые методы глубокого обучения.
И долгое время я тоже в это верил.
Я помню, как работал над небольшим внутренним аналитическим проектом. Как обычно, я вложил в него всю душу и гордился тем, насколько «чисто» все получилось.
Мой блокнот был упорядочен, функции были модульными, а визуализация выглядела неплохо. И да, я даже поэкспериментировал с несколькими разными подходами, чтобы посмотреть, какой из них работает лучше.
Этот проект помог мне осознать некоторые очень важные вещи, которые, как я заметил, большинство специалистов в сфере обработки данных игнорируют или считают менее значимыми.
Цель этой статьи не в том, чтобы принизить значение технических навыков или делать вид, что код не имеет значения.
Большую часть ночей я провожу за очисткой данных и переписыванием блокнотов, поэтому знаю, что техническая сторона этой отрасли очень реальна и сложна.
Но правда в том, что определяющий разрыв не проявляется в метриках модели или в аккуратно написанном коде.
Это смена мышления.
Это переход от простого выполнения задач к определению того, что действительно нужно сделать, почему это важно и как добиться реального результата.
Младшие специалисты решают задачи. Старшие специалисты решают правильные проблемы.
Одно из главных различий между начинающими и опытными специалистами по анализу данных проявляется в тот момент, когда проблема попадает к вам на стол.
Будучи начинающим специалистом, я всегда инстинктивно стремился погрузиться в работу с головой. Помню случай, когда меня попросили проанализировать набор данных о продажах и предоставить выводы руководству.
Я потратил часы на очистку данных, создание ряда моделей и доработку визуализаций. Позже я понял, что большая часть проделанной работы на самом деле не отвечала на ключевой бизнес-вопрос.
Я был настолько сосредоточен на создании идеального анализа, что не уделил времени тому, чтобы понять, какую именно информацию этот анализ должен предоставить.
«Одним из важнейших навыков для специалиста по анализу данных является умение сформулировать реальную проблему как стандартную задачу в области анализа данных».
Джон Д. Келлехер
Спустя пару месяцев взросления я понял, что пожилые люди подходят к решению проблем по-другому.
Они делают паузу, прежде чем прикоснуться к клавиатуре. Они уделяют время тому, чтобы понять цель, контекст и реальное влияние своей работы на окружающий мир. Они задают такие вопросы, как:
- Какое решение это призвано поддержать?
- Как будет измеряться успех?
- Можно ли добиться того же результата с помощью более простого решения?
Такие вопросы редко встречаются в соревнованиях Kaggle, но в реальной работе они встречаются повсюду.
Разница заключается в том, что младшие специалисты, как правило, считают проблему решенной, в то время как старшие специалисты делают паузу, чтобы убедиться, что решают правильную проблему.
Прежде чем написать хотя бы одну строчку кода, они учитывают контекст, последствия и практические реалии.
Такой образ мышления меняет всё. Выявление реальной проблемы позволяет избежать ненужных инженерных решений и гарантирует, что ваша работа принесет результат.
Точность — это не то же самое, что и сила удара.
В начале своей карьеры в области анализа данных большинство из нас проходит через этап, когда кажется, что вся работа сводится к оптимизации метрик модели.
Вы оптимизируете систему с погрешностью в 0,7%, и внезапно начинаете обновлять ноутбук, как будто это инвестиционный портфель.
Добавьте еще одну функцию или еще один алгоритм, и внезапно показатели начинают меняться настолько, что создается ощущение, будто вы добиваетесь результата.
Если задуматься, это своего рода аналог прокачки опыта в видеоигре в сфере анализа данных.
Вы повышаете уровень, но не совсем уверены, проходите ли вы основной квест или просто выполняете побочные задания.
Раньше я думал, что именно так выглядит «хорошая работа». Если модель лучше, то и работа лучше. Всё просто.
Однажды я целую неделю пытался втиснуть чрезвычайно сложную модель в конвейер обработки данных, который изначально не был предназначен для её работы.
Это было всё равно что установить двигатель от болида Формулы-1 в гольф-кар: технически смело, но практически бесполезно.
Старший коллега пять минут изучал мой конвейер обработки данных и порекомендовал начать с простой эвристики, чтобы проверить, достаточно ли силен сигнал, чтобы вообще оправдать использование модели машинного обучения.
Пять минут.
Я провел там неделю.
Это была не ошибка в программировании. Это была ошибка в оценке ситуации.
Когда вы оптимизируете результаты, а не точность, ваша техническая работа улучшается. Вы перестаёте чрезмерно усложнять и начинаете выбирать методы, подходящие для решения конкретной проблемы.
Вы занимаетесь моделированием, потому что так положено, а не просто для того, чтобы показать, что вы умеете.
Пожилые люди общаются больше, чем пишут код.
Ещё одно отличие, которое меня удивило, — это количество времени, которое старшие специалисты по анализу данных тратят не на программирование.
Будучи студентом младших курсов, я сосредоточился на блокнотах. Я думал, что код будет говорить сам за себя.
Нет.
Заинтересованные стороны не интересует ваш конвейер разработки функций; их волнует то, как результаты повлияют на принимаемые ими решения.
Руководители высшего звена это понимают и умело используют. Они переводят технические данные на язык бизнеса, не усложняя задачу для аудитории.
Они также задают более качественные вопросы, касающиеся не только данных, но и контекста.
Эти беседы позволяют провести анализ задолго до начала обучения какой-либо модели.
Из своего опыта я убедился, что коммуникативные навыки в науке о данных — это не «мягкий навык». На самом деле, это жесткая техническая необходимость, поскольку от них зависит, будет ли вообще использоваться ваша работа.
Модель, которую не понимают, не будет внедрена. Информация, которой не доверяют, не будет использована на практике.
Заключительные мысли
Технические навыки всегда будут основой. Вы не сможете исправить плохой код или неправильные методы работы с данными с помощью одного лишь программирования, а хорошие базовые знания — это обязательное условие.
Но код — это дверь, а не конечная цель.
Путь от начинающего до опытного разработчика заключается не в накоплении новых алгоритмов или наложении дополнительных инструментов. Он заключается в умении распознавать, когда их применять, когда игнорировать и зачем вообще это делать.
В конечном итоге, настоящий рост происходит тогда, когда вы измеряете успех не тем, насколько лучше ваша модель, а тем, меняет ли ваша работа что-то в реальном мире.
В этом и заключается разница между написанием хорошего кода и эффективным анализом данных.
Перед уходом!
Я создаю сообщество для разработчиков и специалистов по анализу данных, где делюсь практическими руководствами, разбираю сложные концепции информатики и иногда высказываю своё недовольство технологической индустрией.
Если вам это кажется подходящим местом, подпишитесь на мою бесплатную рассылку.
Свяжитесь со мной
- Подстек
Бенджамин Нвеке Посмотреть все работы Бенджамина Нвеке
Источник: towardsdatascience.com
