Как Google купил троих людей за 44 миллиона, а один из них потом основал OpenAI

В октябре 2012 года организаторы ежегодного соревнования по распознаванию изображений получили результаты и решили, что что-то пошло не так.

Лучший показатель предыдущего года — 25,8% ошибок на контрольном наборе из тысячи категорий изображений. Новый лидер показал 15,3%. Разрыв составил больше десяти процентных пунктов. За всю историю соревнования нормальным считался прогресс в один-два пункта в год. Десять за один раз не случалось никогда.

Организаторы перепроверили данные. Ошибки не было.

За результатом стояли трое: аспирант Алекс Крижевский, аспирант Илья Суцкевер и их научный руководитель Джеффри Хинтон. Машины у них было две видеокарты суммарной стоимостью около тысячи долларов. Компания, которую они зарегистрировали после победы, состояла из них трёх и называлась «ДиэнэнИсследования». И Google купил её за 44 миллиона.

Хинтон начал заниматься нейронными сетями в начале 1970-х, когда это было примерно так же перспективно, как заниматься дирижаблями. Книга Минского и Пейперта только вышла, финансирование закрывалось, люди уходили в смежные области. Хинтон остался.

Он участвовал в написании знаменитой статьи 1986 года в журнале «Природа» об обратном распространении ошибки — той самой, которая дала нейросетям второй шанс. Казалось, это изменит всё. Не изменило — не сразу.

В конце 1980-х и 1990-х снова наступило охлаждение. Нейронные сети на практике работали, но слабее, чем обещали в теории, и хуже, чем метод опорных векторов, разработанный Владимиром Вапником в 1990-х годах. Метод опорных векторов был математически элегантнее, требовал меньше данных и давал сопоставимые результаты на задачах того времени. Нейросети снова отошли на второй план.

Хинтон перемещался между университетами. Эдинбург, Калифорнийский университет в Сан-Диего, Карнеги-Меллон. В 1987-м осел в Торонто и остался там на следующие двадцать пять лет. Публиковал статьи, брал аспирантов, продолжал работать с нейросетями тогда, когда коллеги открыто говорили, что это тупик.

Он никогда не был самым удобным собеседником на конференциях в те годы. Зал в лучшем случае относился к его докладам с вежливым скептицизмом.

В 2006 году Хинтон опубликовал серию работ о глубоких сетях доверия — архитектуре, которая позволяла обучать нейросети с несколькими слоями более надёжно, чем раньше. Это был первый явный сигнал, что что-то меняется. В 2009-м его группа выиграла несколько соревнований по распознаванию речи.

К нему начали приходить аспиранты с амбициями. Алекс Крижевский появился примерно в это время и начал работать над чем-то, что потом назовут просто по его имени.

Соревнование по распознаванию изображений, которое запустила Фэй-Фэй Ли из Стэнфорда в 2010 году, давало вполне измеримый результат на конкретном наборе данных — 14 миллионов изображений, 1000 категорий, единая метрика. Хинтон решил, что это правильный полигон.

Крижевский написал код, который запускал нейронную сеть на двух потребительских видеокартах — таких же, какие покупают для игр. Видеокарты умеют делать одно — очень быстро перемножать матрицы. Именно это нужно нейронным сетям при обучении. Никто до этого не использовал их для таких задач всерьёз, собственно, потому что ни у кого не было достаточно глубокой сети, чтобы это имело смысл.

Сеть, которую они построили, состояла из восьми слоёв и 60 миллионов параметров. Обучение заняло пять-шесть дней. По меркам того времени это была крупная сеть. По меркам 2026 года — ничто.

В октябре 2012-го они отправили результаты в Женеву. И стали ждать.

Разрыв между первым и вторым местом в 2012 году виден на любом графике истории этого соревнования — он выглядит как обрыв. Не плавное снижение, а почти вертикальный перепад.

Второе место в 2012-м — 26,2%. Победители — 15,3%. На следующий год все участники использовали глубокие нейронные сети. Разрыва такого масштаба не было никогда больше, потому что все перешли на одну технологию практически за один сезон.

Организаторы соревнования объявили о его закрытии в 2017 году. К тому времени лучшие системы показывали около 2,3% ошибок. Это лучше среднего человека, которого тестировали на той же задаче.

После победы Хинтон, Крижевский и Суцкевер зарегистрировали компанию. Она называлась «ДиэнэнИсследования» и состояла из них троих — ни офиса, ни продукта, ни выручки.

Купить их хотели Google, Microsoft, Baidu и DeepMind. Хинтон провёл нестандартный аукцион. Покупатели отправляли предложения, не зная ставок друг друга. Хинтон поднимал планку, покупатели могли продолжать или выйти. Так продолжалось несколько раундов. В конце остался Google.

Google заплатил примерно 44 миллиона долларов. Хинтон перешёл в Google Brain как старший исследователь и продолжил работу там ещё десять лет.

Алекс Крижевский проработал в Google несколько лет, потом тихо ушёл. Сейчас занимается независимыми проектами в области компьютерного зрения.

Илья Суцкевер стал сооснователем и главным учёным OpenAI. Он участвовал в создании GPT-серии, а в ноябре 2023-го оказался в центре истории с временным увольнением Сэма Альтмана — проголосовал за него, потом передумал, потом ушёл сам в 2024-м, чтобы основать собственную компанию по безопасному ИИ.

Хинтон проработал в Google до мая 2023 года. Потом написал заявление об уходе и объяснил, что хочет говорить об опасностях искусственного интеллекта свободно, не беспокоясь о том, что его слова отразятся на работодателе. Он сказал, что часть того, чему посвятил жизнь, теперь вызывает у него беспокойство. Не жалеет ли он — это другой вопрос, более сложный.

В 2024 году он получил Нобелевскую премию по физике — вместе с Джоном Хопфилдом — за основополагающий вклад в машинное обучение с использованием нейронных сетей.

Прадед Хинтона в пятом поколении — Джордж Буль. Тот самый, который в 1854 году написал «Исследование законов мышления» и создал булеву алгебру — математику, на которой работает каждый цифровой компьютер.

Хинтон знал об этом всегда. Неизвестно, думал ли он об этом, когда его нейронные сети начали выигрывать соревнования на машинах, построенных на алгебре его предка.

Скорее всего, думал.