Уроки, извлеченные за 8 лет машинного обучения

Глубокая работа, чрезмерная идентификация, спорт и ведение блога.

Делиться

Компании OpenAI сейчас около десяти лет.

В те времена OpenAI казалась лишь одним из множества (хорошо проработанных) стартапов. DeepMind уже существовала, но еще не была полностью интегрирована в Google. И тогда же «триада глубокого обучения» — ЛеКун, Хинтон и Бенджио — опубликовали статью о глубоком обучении в журнале Nature*.

Сегодня ИИ — это общественное благо. Раньше о нём знали и интересовались в основном учёные и технические специалисты. Сегодня даже дети знают, что такое ИИ, и взаимодействуют с ним (в худшую или даже худшую сторону).

Это быстро развивающаяся область, и мне повезло присоединиться к ней лишь немного позже, «тогда» — восемь лет назад, когда она набирала обороты, но классическое машинное обучение всё ещё преподавалось в университетах: кластеризация, k-средние, SVM. Это также совпало с годом, когда сообщество начало понимать, что механизма внимания (и линейных слоёв) будет достаточно. Другими словами, это было отличное время, чтобы начать изучать машинное обучение.

Поскольку год подходит к концу, кажется, настало подходящее время взглянуть на ситуацию в целом. Ежемесячно я анализирую небольшие практические уроки и публикую их. Примерно раз в полгода я затем ищу более глубокие темы: закономерности, которые повторяются, даже при изменении проектов.

На этот раз в моих заметках повсюду встречаются четыре нити:

• Глубокая работа (мой самый любимый вид работы)
• Чрезмерная идентификация со своей работой
• Спорт (и движение в целом)
• Ведение блога

Глубокая работа

Кажется, тема «Глубокая работа» — моя любимая, и в машинном обучении она встречается повсюду.

Работа в области машинного обучения может иметь несколько направлений, но в большинстве случаев она сосредоточена на сочетании следующих аспектов:

• теория (математика, доказательства, тщательное рассуждение),
• программирование (конвейеры обработки данных, циклы обучения, отладка),
• Написание текстов (отчеты по проектам, статьи, документация).

Все они требуют постоянной концентрации внимания в течение длительного времени.

Доказательства теорем не возникают из пятиминутных фрагментов. В программировании, разумеется, прерывания караются: если вы глубоко погружены в ошибку и кто-то вас вытаскивает, вы не просто «возобновляете» работу — вам нужно перестроить код, что лишь отнимает время**.

Письменная речь тоже хрупка. Создание хороших предложений требует внимания, а внимание — первое, что исчезает, когда ваш день превращается в череду коротких уведомлений.

Мне посчастливилось работать в среде, которая позволяет посвятить несколько часов в неделю глубокой работе. Это не норма — честно говоря, скорее исключение. Но это невероятно полезно. Я могу часами погружаться в проблему и потом чувствовать себя совершенно измотанным.

Устал, но доволен.

Для меня глубокая работа всегда означала две вещи, и я уже подчеркивал это полгода назад:

1. Навык : способность глубоко концентрироваться в течение длительного времени.
2. Окружающая среда : наличие условий, которые позволяют и защищают эту концентрацию.

Как правило, навык легче приобрести (или восстановить), если у вас его нет. Сложнее изменить окружающую среду. Можно тренировать концентрацию, но нельзя в одиночку убрать встречи из календаря или изменить корпоративную культуру за одну ночь.

Тем не менее, полезно назвать эти две составляющие. Если вам трудно заниматься глубокой работой, дело может быть не в недостатке дисциплины. Иногда, как показывает мой опыт, дело просто в том, что окружающая среда не позволяет вам делать то, что вы пытаетесь сделать.

Чрезмерная идентификация со своей работой

Вам нравится ваша работа?

Будем надеяться, что так и есть, ведь значительную часть своего времени бодрствования вы тратите на это. Но даже если вам в целом нравится ваша работа, будут моменты, когда она вам понравится больше, и моменты, когда она вам понравится меньше.

Как и все люди, я пережил и то, и другое.

Бывали периоды, когда я чувствовал прилив энергии просто от того, что «делаю что-то с машинным обучением».

Ух ты!

А потом были периоды, когда отсутствие прогресса — или неудача из-за того, что идея просто не сработала — сильно меня угнетали.

Не вау.

За эти годы я пришел к выводу, что слишком сильное привязанность к работе, как правило, не является разумной стратегией. Работа с машинным обучением полна неожиданностей: эксперименты терпят неудачу, базовые показатели превосходят ваши самые смелые идеи, рецензенты неправильно понимают ситуацию, сроки сжимаются, данные дают сбои, приоритеты меняются. Если ваше чувство собственного достоинства то поднимается, то опускается после последнего запуска обучения, вы с таким же успехом можете отправиться в Диснейленд на американские горки.

Простая аналогия: представьте, что вы гимнаст. Вы тренируетесь годами. Вы гибкие, сильные, контролируете свои движения. А потом вы ломаете лодыжку. Внезапно вы не можете выполнить даже самые простые прыжки. Вы не можете тренироваться так же, как в предыдущие годы. Если вы всего лишь спортсмен — если это вся ваша личность — вы почувствуете, что теряете себя.

К счастью, большинство людей — это больше, чем просто представители своей профессии. Даже если иногда они об этом забывают.

То же самое относится и к машинному обучению. Вы можете быть инженером по машинному обучению, исследователем или «теоретиком» — и при этом другом, партнером, братом или сестрой, товарищем по команде, читателем, бегуном, писателем. Когда одна сторона вашей личности переживает трудности, другие поддерживают вас.

Это не «мне всё равно на мою работу». Речь идёт о том, чтобы проявлять заботу, не впадая при этом в отчаяние.

Спорт или движение в целом

Конечно, это очевидно.

Работа в сфере машинного обучения не отличается большой физической активностью. Все ваши усилия сводятся к работе за клавиатурой. В то же время остальная часть тела остается неподвижной.

Мне нет необходимости вдаваться в подробности того, что произойдет, если просто позволить этому случиться.

Хорошая новость: противодействовать этому проще, чем когда-либо. Сейчас существует множество скучных, но эффективных вариантов:

• столы с регулируемой высотой
• Встречи, проводимые на ходу (особенно когда камеры выключены).
• подстилки для ходьбы под столом
• короткие периоды физической активности (в идеале, между блоками интенсивной работы).

За эти годы движение стало неотъемлемой частью моего рабочего дня. Оно помогает мне начинать день в более спокойном состоянии — без скованности, сутулости и ощущения переутомления. И оно помогает мне снять усталость после напряженной работы. Глубокая концентрация не только утомительна умственно, но и имеет физические последствия: плечи поднимаются, шея наклоняется вперед, дыхание становится поверхностным.

Переезд обнуляет это.

Я не отношусь к этому как к «фитнесу». Я рассматриваю это как страховку, которая позволит мне выполнять свою работу в течение многих лет .

Ведение блога

Дэниел Бурк.***

Если вы давно (как минимум пять-шесть лет) читаете материалы по машинному обучению на Towards Data Science, то это имя может показаться вам знакомым. Он опубликовал множество статей по машинному обучению (когда TDS ещё размещался на Medium), и его уникальный стиль письма привлёк к машинному обучению более широкую аудиторию.

Его пример вдохновил меня тоже начать вести блог — тоже для TDS. Я начала в конце 2019 — начале 2020 года.

Поначалу написание этих статей было простым: написал статью, опубликовал её, и всё. Но со временем это превратилось в нечто большее: в тренировку. Письмо заставляет точно излагать свои мысли на бумаге. Если вы не можете объяснить что-то связно, вы, вероятно, понимаете это не так хорошо, как вам кажется.

За эти годы я освещал планы развития машинного обучения, писал учебные пособия (например, о том, как работать с TFRecords) и, да, постоянно возвращался к углубленной работе — потому что она продолжает доказывать свою важность для специалистов по машинному обучению.

Ведение блога принесло мне удовлетворение в двух отношениях.

Это принесло свои плоды в финансовом плане (до такой степени, что за эти годы помогло оплатить компьютер, который я использую для написания этого текста). Но что еще важнее, это стало полезной практикой в писательском мастерстве. Я рассматриваю ведение блога как способ тренировки моей способности к переводу: брать технические термины и излагать их словами, понятными другой аудитории.

В сфере, которая быстро меняется и любит новинки, навыки перевода удивительно стабильны. Модели меняются. Фреймворки меняются (вспомним Theano). Но способность ясно мыслить и ясно писать накапливается.

Заключительные мысли

Оглядываясь назад после восьми лет работы в сфере машинного обучения, я понимаю, что ни одна из этих тем не связана с конкретной моделью или конкретным приемом.

Речь идёт о следующем:

• Глубокая работа, которая делает возможным прогресс.
• Не стоит слишком зацикливаться на проблемах, что позволяет пережить неудачи.
• Движение предотвращает незаметное ухудшение состояния вашего организма.
• Ведение блога превращает опыт в нечто, чем можно поделиться, и развивает ясность мышления.

Самое забавное, что все эти уроки — «скучные».

Но именно они продолжают появляться.

Источник: towardsdatascience.com