Книга: «Строим LLM с нуля»

Привет, Хаброжители!

Говорят, что физик Ричард Фейнман однажды сказал: «Я не понимаю того, чего не могу создать». Основываясь на этом же важном принципе, автор бестселлеров Себастьян Рашка шаг за шагом ведет вас к созданию LLM в стиле GPT, которую вы сможете запустить на своем ноутбуке. Это увлекательная книга, которая охватывает каждый этап процесса — от планирования и кодирования до обучения и тонкой настройки.

«Строим LLM с нуля» — это чрезвычайно занимательное путешествие в основы генеративного ИИ. Не полагаясь на существующие библиотеки LLM, вы реализуете в коде базовую модель, превратите ее в классификатор текста и в конечном счете создадите чат-бот, который сможет следовать вашим инструкциям в диалоге. И вы действительно поймете LLM, потому что создали ее сами!

В этой книге:

• План создания с нуля LLM, сравнимой с GPT-2.
• Загрузка предварительно обученных весов.
• Создание полного конвейера обучения.
• Тонкая настройка LLM для классификации текста.
• Разработка LLM, которая следует инструкциям человека.

Читателям понадобятся базовые знания Python и понимание основ машинного обучения. Созданная вами LLM будет работать на любом современном ноутбуке и при необходимости может использовать графические процессоры.

Кому следует прочитать эту книгу

Книга предназначена для приверженцев машинного обучения, инженеров, исследователей, студентов и практиков, которые хотят получить глубокое представление о том, как работают LLM, и научиться создавать собственные модели с нуля. Как новички, так и опытные разработчики, применяя уже имеющиеся навыки и знания, смогут понять концепции и методы, используемые при создании LLM.

Отличие этой книги от других состоит в том, что в ней подробно описан весь процесс создания большой языковой модели: от работы с наборами данных до реализации архитектуры модели, предварительного обучения на неразмеченных данных и тонкой настройки для конкретных задач. На момент написания книги ни один другой ресурс не предлагает такого полного и практического подхода к созданию LLM с нуля.

Чтобы понять примеры кода в данной книге, вы должны хорошо разбираться в программировании на Python. Знакомство с машинным обучением, глубоким обучением и искусственным интеллектом (ИИ) может быть полезным, однако обширные знания в этих областях не требуются. Большие языковые модели — уникальное подмножество ИИ, поэтому, даже если вы новичок в области LLM, вы сумеете разобраться в материале этой книги.

Если у вас есть опыт работы с глубокими нейронными сетями, то некоторые концепции могут показаться вам более знакомыми, поскольку LLM основаны на этих моделях. Однако знание PyTorch не является обязательным. В приложении A представлено краткое введение в PyTorch, которое поможет вам освоить навыки, необходимые для понимания примеров кода в книге.

Понимание математики на уровне средней школы, особенно работа с векторами и матрицами, может быть полезным при изучении внутреннего устройства LLM. Тем не менее ключевые концепции и идеи, представленные в этой книге, не требуют глубоких математических знаний.

Самое важное — наличие опыта программирования на Python. Обладая им, вы будете хорошо подготовлены к изучению больших языковых моделей и сможете понять концепции и примеры кода, представленные в книге.

«По-настоящему вдохновляет и мотивирует вас применять свои новые навыки на практике».

— Бенджамин Мускалла, старший инженер, GitHub

«Самое понятное и исчерпывающее объяснение языковых моделей на данный момент!»

— Кэмерон Вульф, старший научный сотрудник Netflix

«Себастьян сочетает глубокие знания с практическими инженерными навыками и умением простым языком объяснять сложные вещи. Это именно то руководство, которое вам нужно!»

— Чип Хьюен, автор книги AI Engineering

«Определенно актуальная книга. Настоятельно рекомендую!»

— Доктор Вахид Мирджалили, старший аналитик, FM Global

Об авторе

Себастьян Рашка

PhD, более десяти лет работает в области машинного обучения и искусственного интеллекта. Известен своими бестселлерами, посвященными машинному обучению на Python, и вкладом в открытый исходный код.

Себастьян — штатный инженер-исследователь в Lightning AI, специализирующийся на обучении и внедрении больших языковых моделей. До работы в этой компании был доцентом кафедры статистики в Университете Висконсин-Мэдисон, где занимался исследованиями в области глубокого обучения. Подробнее о Себастьяне можно узнать по адресу https://sebastianraschka.com.

Ознакомиться с оглавлением

Полистать отрывок

Приобрести книгу «Строим LLM с нуля» можно на нашем сайте.

По факту оплаты бумажной версии книги на e‑mail высылается электронная книга.
Для Хаброжителей скидка 25% по купону — LLM

Источник: habr.com