Скрытый пробел в навыках: почему знания SQL и Python уже недостаточно

Эта статья посвящена разрыву между тем, к чему готовятся кандидаты, и тем, что действительно нужно компаниям прямо сейчас.

# SQL + Python — этого недостаточно

Долгое время формула казалась простой: выучить SQL + выучить Python = получить работу с данными. Особенно когда средние компании начали переходить на «ориентированный на данные» подход. Менеджеры по найму были рады, что могут взять любого, кто умеет писать более-менее приличные команды GROUP BY и работать с DataFrame pandas, ничего не сломав. Знаете, что такое PostgreSQL? Устраивайтесь, и вы получите работу! Это работало какое-то время. Пока не перестало работать.

Если вы ещё не заметили, рынок труда для специалистов по работе с данными претерпел структурные изменения. Да, SQL и Python по-прежнему важны ; они указаны в описании каждой вакансии. Но их навыки перестали быть просто отличительными чертами и стали обязательными требованиями .

Скорее всего, вы до сих пор пытаетесь подготовиться к вопросам собеседования, которые тренировали три года назад. Забудьте об этом. Эта статья о разрыве между тем, к чему готовятся кандидаты, и тем, что действительно нужно компаниям прямо сейчас.

# Что на самом деле требует рынок труда

Анализ более 700 вакансий для специалистов по анализу данных, проведенный компанией Future Proof Data Science в январе 2026 года, показал, что Python и SQL по-прежнему входят в тройку самых востребованных навыков, а навыки машинного обучения и искусственного интеллекта занимают второе и четвертое места соответственно .

Источник изображения: Future Proof Data Science

Не все вакансии, связанные с ИИ, требуют практических навыков работы с ИИ, но каждая третья требует. Наиболее востребованные специфические навыки в области ИИ :

• Большие языковые модели (LLM)
• Генерация с расширенным извлечением (RAG)
• Оперативное проектирование
• Векторные базы данных

Это свидетельствует о растущем спросе на специалистов по работе с данными, способных создавать и внедрять системы искусственного интеллекта .

Следует помнить, что направление и скорость этих изменений имеют значение. Это напоминает мне о том, как машинное обучение из узкоспециализированной потребности в 2012 году превратилось в почти повсеместную потребность к 2020 году.

Вторая тенденция менее заметна, но, пожалуй , более актуальна для большинства кандидатов : планка требований к базовым инженерным навыкам резко возросла . Навыки работы с данными — конвейеры обработки, оркестрация, облачные платформы, проверка качества данных — и машинное обучение в производственной среде — мониторинг моделей, обнаружение отклонений, проектирование оценок — теперь являются основными требованиями, а не бонусами в объявлениях о вакансиях в области анализа данных.

Достаточно взглянуть на любой крупный сайт по поиску работы, чтобы убедиться в этом: наряду с навыками работы с ИИ, в вакансиях под названием «Специалист по анализу данных» обычно указываются такие обязательные требования, как знание Snowflake , dbt , Airflow и владение конвейерами ETL, а не просто желательные навыки.

Вероятно, вам не хватает четырех навыков. Это новые конкурентные преимущества на современном рынке труда.

# Навык №1: Моделирование данных

// Что это такое

Моделирование данных — это умение проектировать структуру, взаимосвязь и хранение данных . Представьте это как решение о том, какие таблицы создавать, что они представляют и как они связаны друг с другом.

// Почему это стало отличительной чертой

Улучшения в инструментах изменили ситуацию. Snowflake , dbt и BigQuery значительно упростили для специалистов по анализу данных освоение уровня преобразования данных . Другими словами, решения по моделированию, которые раньше принимали инженеры данных, теперь передаются специалистам по анализу данных.

Неправильная схема данных может привести к серьезным проблемам. Как правило, эти ошибки не сразу бросаются в глаза. Но как только они становятся очевидными, уже слишком поздно. Ваша работа в области машинного обучения уже пострадала из-за проектирования признаков на основе данных неправильной детализации — прямого следствия плохо смоделированной основы.

// Как его приобрести

Возьмите реальный набор данных, с которым вы работаете, и перепроектируйте его схему с нуля. Задайте себе следующие вопросы:

• Что представляют собой эти сущности?
• С чем они связаны?
• Какой сорт зерна подойдет?
• Какие запросы будут выполняться чаще всего?

После этого почитайте о многомерном моделировании. Подход Кимбалла , подробно описанный в его книге «Инструментарий хранилища данных», остается полезным ориентиром.

# Навык №2: Оптимизация производительности

// Что это такое

Оптимизация производительности — это понимание того, почему запрос выполняется именно так, и как сделать его быстрее, дешевле или масштабируемее . Оптимизировать можно SQL-запросы , а также конвейеры обработки данных на Python и рабочие процессы обработки данных в целом — специалисты по анализу данных все чаще берут на себя их комплексную оптимизацию.

// Почему это стало отличительной чертой

Во-первых, объемы данных выросли до такой степени, что правильный, но неэффективный запрос может стоить сотни долларов и привести к простою в работе.

Во-вторых, как уже упоминалось ранее, теперь специалистам по анализу данных приходится контролировать гораздо большую часть конвейера обработки данных, чем раньше. Ваш код должен быть готов к использованию в производственной среде, а не просто запускаться в блокнотах Jupyter.

// Как его приобрести

Выберите несколько сложных SQL-запросов, которые вы написали, запустите для них EXPLAIN ANALYZE и прочитайте, что фактически сделал планировщик запросов. Затем используйте это для оптимизации запроса . Вероятно, вы найдете как минимум один индекс, реструктуризацию или переписывание, которые улучшат каждый запрос.

Для анализа медленной работы конвейера Python используйте профилирование . Существует два основных инструмента для измерения времени :

• cProfile : Запустите его с помощью команды `python -m cProfile -s cumulative your_script.py` и посмотрите в верхней части вывода, чтобы увидеть функции, потребляющие наибольшее суммарное время.
• line_profiler : Позволяет более детально изучить время выполнения конкретной функции построчно. Используйте его, когда cProfile определил, какая функция выполняется медленно, и вам нужно узнать причину.

Для работы с памятью используйте memory_profiler .

Найдите узкое место — замедляет ли процесс цикл в Python векторизацию? Загружаются ли данные в память сразу, а не по частям? — устраните проблему и измерьте разницу.

# Навык №3: Осведомленность об инфраструктуре

// Что это такое

Этот навык подразумевает понимание систем, в которых хранятся данные и через которые они перемещаются . К таким системам относятся облачные платформы, распределенные вычисления, конвейеры обработки данных, форматы хранения и модели затрат .

Вы должны обладать достаточными знаниями об инфраструктуре, чтобы проектировать системы, которые можно будет в неё развернуть.

// Почему это стало отличительной чертой

Опять же, потому что значительная часть работы инженера по данным ложится на плечи специалиста по анализу данных. Если вы зависите от инженеров по данным при принятии каждого решения, касающегося инфраструктуры, вы фактически создаете узкое место — а это не то, чего ищут менеджеры по найму.

Осведомленность об инфраструктуре включает в себя следующие основные взаимосвязанные области.

Вам, скорее всего, придётся ознакомиться с этими инструментами.

// Как его приобрести

Договоритесь о встрече с вашей командой инженеров данных. Поговорите с ними и попросите их подробно объяснить весь процесс обработки данных от начала до конца . Разберитесь , где хранятся данные, как они разделены и что происходит, когда что-то ломается .

Затем перейдите к следующему шагу, создав небольшой конвейер самостоятельно: используйте бесплатный облачный сервис, изучите показатели стоимости и выполнения, а затем намеренно нарушьте работу конвейера, чтобы понять, почему он дает сбой.

# Навык №4: Проектирование систем RAG, оценка результатов LLM и проведение экспериментов с ИИ.

// Что это такое

Этот набор навыков связан с практической работой в области ИИ . Вам необходимо уметь проектировать системы генерации с дополненной реальностью (RAG) (подключение моделей LLM к реальным источникам данных), создавать системы оценки (измерение эффективности функции, основанной на модели LLM) и проводить эксперименты с функциями ИИ.

// Почему это стало отличительной чертой

Причина в инструментах искусственного интеллекта. Они позволили создать конвейер обработки RAG без обширных исследовательских знаний. Такие фреймворки, как LangChain и LlamaIndex , в сочетании с облачными векторными базами данных значительно снизили барьер.

Таким образом, вопрос уже не в том, можно ли это построить — да, можно. Но можно ли это построить качественно, оценить и использовать в производственной среде? Ответить на этот вопрос — вот что вам необходимо уметь: определять метрики, разрабатывать эксперименты и измерять результаты.

Применяя эти навыки, вы будете использовать эти инструменты.

// Как его приобрести

Найдите несколько вопросов для собеседования , которые помогут вам отточить свои навыки в области ИИ. Вот несколько примеров вопросов для собеседования по разработке продуктов и созданию генно-ориентированного ИИ на платформе StrataScratch.

Пример №1: Измерение эффективности внедрения функций ИИ в розничных магазинах

Как бы вы оценили влияние внедрения системы рекомендаций по товарам на основе искусственного интеллекта в выборке розничных магазинов? Как бы вы разработали эксперимент и учли различия на уровне магазинов?

Пример №2: Архитектура системы RAG

Опишите, как бы вы спроектировали систему RAG с нуля. Какие компоненты необходимы, и как бы вы оптимизировали качество извлечения?

После того, как вы четко сформулируете свою идею, создайте небольшое RAG-приложение : выберите предметную область, встройте корпус документов, настройте поиск и оцените результаты, используя структурированную метрику.

Кроме того, разработайте эксперимент: сформулируйте гипотезу, определите метрики и продумайте валидный тест для ее оценки.

# Заключение

Четыре основных навыка — моделирование данных, оптимизация производительности, понимание инфраструктуры и практические навыки в области ИИ — составляют разрыв между вами и рынком труда. Надеемся, вы не попадете в эту ситуацию. Чтобы этого избежать, в этой статье приведены практические советы о том, как приобрести каждый из этих навыков.

Нейт Розиди — специалист по анализу данных и продуктовой стратегии. Он также является адъюнкт-профессором, преподающим аналитику, и основателем StrataScratch, платформы, помогающей специалистам по анализу данных готовиться к собеседованиям с помощью реальных вопросов от ведущих компаний. Нейт пишет о последних тенденциях на рынке труда, дает советы по прохождению собеседований, делится проектами по анализу данных и освещает все аспекты SQL.

Источник: www.kdnuggets.com