Исследовательница OpenAI выложила большой конспект по устройству LLM Исследовательница OpenAI…

Исследовательница OpenAI выложила большой конспект по устройству LLM

Исследовательница OpenAI Алиса Лю открыла бесплатный конспект по устройству больших языковых моделей — тот самый материал, который помог ей попасть на работу в корпорацию.

Это не «что такое ChatGPT за 5 минут», а плотный разбор для тех, кто хочет понимать LLM глубже интерфейса чат-бота.

Внутри:
— отдельные нейроны и базовые принципы обучения
— архитектура трансформеров
— ускорение генерации
— работа моделей на нескольких видеокартах
— KV-кэш
— FlashAttention
— обучение на человеческих предпочтениях
— расчёты потребления памяти
— примеры кода на PyTorch

Материал на английском, математики много, формулы тоже на месте. То есть читать придётся не как тред в X, а как нормальный технический учебник — с паузами, заметками и периодическим «так, а почему это вообще работает».

Конспект:
https://alisawuffles.notion.site/alisa-s-book-of-llms