Месяц публичного изучения инженерии данных: вот о чем я не написал.

Размышления о первом месяце обучения инженерии данных в открытом режиме, и о том, что на самом деле мотивировало меня продолжать.

Делиться

Несколько дней назад я написал в LinkedIn человеку, с которым никогда не встречался лично, спрашивая, какой, по его мнению, лучший путь в области инженерии данных и стоит ли вообще получать сертификаты. Оказывается, он уже читал одну из моих статей. Поэтому вместо того, чтобы дать мне новый ответ, он ответил мне, мой собственный. «Вы на правильном пути, — сказал он. — Вы следуете 12-месячному плану, придерживайтесь его. Не принимайте советы ни от кого, это может вас запутать».

Я перечитал это сообщение дважды.

подарил мне вернуться назад.

Прошел месяц с момента публикации моей первой статьи об этом пути, «От аналитика данных к инженеру данных: мой 12-месячный план самообучения». С тех пор я написал еще три, в каждом из которых описывалось то, что я создал сам. Конвейер ETL с нуля. Этот же процесс был подготовлен для использования в продакшене с помощью SQLite и идемпотентности. Затем он был запланирован с помощью GitHub Actions, сначала это был урок по переносимости, а затем — урок по планированию. Но они не отражают то, какими были эти месяцы на самом деле. Поэтому эта статья другая. Никакого кода, никаких пошаговых инструкций. Только то, что никуда больше не подошло.

План говорил об одном, прошедшем месяце — об другом.

План действий был составлен в хронологическом порядке. Сначала SQL, затем Python, затем Git, затем Spark, затем Airflow, затем Databricks. Аккуратно. Последовательно. Такой план отлично выглядит на доске в Notion.

Я не следил за этим планом. Не совсем. Вместо того, чтобы двигаться по стеку в правильном порядке, я построил один небольшой конвейер и продолжал его наращивать, пока он не сломался по-новому. Появился SQL. Появился Питон. Появился Гит. Но не в том порядке, в котором я планировал, и не потому, что я так запланировал. Они появились, потому что этот сложный конвейер.

Раньше я думал, что это значит, что я сбился с пути. Теперь я думаю, что это просто означает, что план был отправной точкой, а не контрактом. Дорожная карта дала мне толчок к движению. План развития определен, почему мне действительно нужно учиться.

Стены никогда не были связаны напрямую с инструментами.

Если вы читаете дальше статьи о сборке, вы заметите закономерность, которую я тогда не формулировал. каждая возникшая проблема была техническим решением и, кроме этого, нетехнический урок.

• Идемпотентность на самом деле не была настолько о SQLite, сколько о том, чтобы понять, что не следует доверять предположению, что «если это сработало один раз», то «это будет работать и дальше».
• Настойчивость заключения не так уж и велика в Google Диске, насколько осознанно то, что моя работа может исчезнуть в тот момент, когда я закрою вкладку, и что я уже потерял файл, даже не заметив, окончательно близок, я был к потере ещё нескольких.
• Вопрос переносимости на самом деле касался не GitHub Actions. Он пришел к выводу, что я обнаружил, что один жестко заданный путь незаметно сделал весь мой конвейер зависимым от одной-единственной среды, потому что я никогда не принимал это решение намеренно. Это уроки мышления, которые случайно вплыли в процесс работы с кодом. На самом деле, с моей точки зрения, это именно такая реальная структура инженерии данных. Инструменты — это то, как начинаются уроки. Сами по себе уроки не являются.

  Вот та часть, которая не была показана в статьях о сборке.

  чего они не имеют значения. Где-то в середине этого месяца энергия, исходящая от наблюдения за людьми, начала угасать. Не резко. Просто стало тише. Я перестал чувствовать то давление, о котором писал во второй статье, о том, когда незнакомцы с волнением откликнулись и предложили наблюдать за процедурой. Это давление исчезло не потому, что мне было все равно. Оно ослабло, потому что конечная цель — получение высокооплачиваемой должности инженера по обработке данных — стала казаться очень далекой. Только далекой, что перестала мотивировать и стала утомительной даже думать о ней.

  Ситуация усугубило то, что моя основная работа стала более загруженной, и мне пришлось дополнительно изучать Laravel для работы. Три-четыре в день звучат разумно, пока вы не отстанете от основной работы, а дома вас ждет еще один незнакомый стек-технологии.

  Бывали периоды, когда я серьезно подумывал снизить темп. Меня больше не удерживало за привычным столом просмотр самой работы. Оно стало чем-то независимым. Я постоянно думал о том единственном человеке, который находится именно в таком же положении, как и я в мае, застряв где-то между аналитикой и инженерией без чёткого плана, и который, возможно, ждёт следующую статью. Помощь этого человека стала для меня большей мотивацией, чем абстрактная идея моего будущего ролика. Я также поставил себе цель найти что-то действительно сложное, чтобы заполнить свое свободное время, вместо легкой, бессмысленной работы, которая просто заполняет время, ничего не делая после себя. Даже в те дни, когда работа казалась далёкой, по крайней мере, я не провел часы впустую. В своей первой статье я признаюсь, что страдаю синдромом погони из-за блестящих объектов, переключаясь между производством, анимацией, маркетингом, информационными технологиями и уже данными, прежде чем хоть что-то из этой фазы прижится. Я сказал, что мне нужно будет целенаправленно следовать этому и здесь.

  Так или иначе, это произошло. В середине месяца я начал задумываться о сертификатах: нужен ли мне какой-то сертификат, какой именно, и вообще, на правильном ли я пути. Это привело к серьезным размышлениям о смене направления развития систем искусственного интеллекта, потому что в тот момент это казалось более привлекательным и востребованным. Мне пришлось остановиться и вернуться к пути, который я уже выбрал, и о котором уже рассказал, что я ему предан.

  Что возвращает меня к такому сообщению.

  Тот незнакомец, который дал мне мой квадрат совет.

  Сообщение в LinkedIn, о котором я упомянул в начале, пришло сразу после этого изменения. Я обратился к человеку за советом о лучшем пути в области инженерии данных, наполовину спрашивая разрешения усомниться в себе, частично вслушиваясь в размышления о том, что поможет ли сертификация. Вместо этого он сказал, что уже читал мою статью о развитии планеты, и что ответ на мой вопрос основан на моих естественных текстах. Приостановись план. Перестаньте собирать мнения незнакомцев, потому что слишком много мнений только запутывают вас.

  Есть что-то почти смешное в том, когда вы убеждаете вернуться к собственному плану люди, которые узнали о нем только потому, что я его опубликовал. Но в этом и весь смысл публичного обсуждения. Ответственность возникает не только от того, что люди наблюдают за твоим процессом. Иногда это оборачивается против тебя, и твои собственные слова возвращаются именно в тот момент, когда они тебе нужны.

  Что я на самом деле узнал о том, как я учусь.

  Другое осознание в этом месяце не имело ничего общего с мотивацией, а было связано исключительно с темой, как я работаю. Раньше я думал, что для того, чтобы чему-то научиться, нужно построить что-то масштабное. Настоящий проект, занимающий несколько недель, что-то достойное портфолио с самого начала. Этот случай чуть не сбил меня с толку не раз, потому что большие проекты легко начать и легко бросить на полпути.

  Вместо этого работали небольшие проекты. Конвейер, которого я могу собрать и проверить за выходные, учит меня так же многому, как и масштабный многонедельный проект, и я его действительно довожу до конца. Во втором месяце я меняю идею одного большого проекта на небольшую серию. Мини-проекты, размер которых подходит под график работы с 9 до 5 и дедлайн Laravel, каждый из которых направлен на конкретную реализацию, а не на создание целого раздела в резюме. Вы спросили меня в первый день, что значит успех, я бы ответил: высокооплачиваемая работа, и точка. Спустя месяц этот все еще где-то рядом, но это уже не то, что заставляет меня открывать ноутбук после долгого рабочего дня.

  Сейчас я к этому веду более скромный и, честно говоря, более устойчивый подход. Мне нравится что-то создавать. Мне нравится писать о том, что ломается. И каждый раз, когда кто-то говорит мне, что статья действительно помогла ему определить свой следующий шаг, это для меня значит больше, чем мысль о каком-либо будущем предложении работы.

  План действий остается в форме. Я всё ещё следую ему, включая хрон-задание. Но во втором месяце я начинаю с более ярким пониманием того, что на самом деле поможет мне пережить следующие одиннадцать месяцев, и это совсем не то, что я продолжаю, когда писал первую статью. Если вы следите за моими публикациями, спасибо. Если это ваша статья в серии, ссылки на первые статьи приведены выше.

  Свяжитесь со мной в LinkedIn, YouTube и Twitter.

  Ибрагим Салами. Все материалы от Ибрагимы Салами.

  Источник: towardsdatascience.com

  Похожие записи

  • Что делает роботов экономически жизнеспособным бизнесом
  • Cursor начал тестировать iOS-приложение
  • Сдерживаем полет фантазии LLM в киносервисе