Итак, вы слышали эти термины об искусственном интеллекте и одобрительно кивали; давайте это исправим.

Искусственный интеллект меняет мир и одновременно изобретает совершенно новый язык для описания того, как он это делает. Потратьте пять минут на чтение об ИИ, и вы наткнетесь на LLM, RAG, RLHF и десяток других терминов, которые могут заставить даже очень умных людей в мире технологий чувствовать себя неуверенно. Этот глоссарий — наша попытка исправить это. Мы регулярно обновляем его по мере развития этой области, поэтому рассматривайте его как живой документ, подобно системам ИИ, которые он описывает.

АГИ

Искусственный общий интеллект, или ИИ, — это расплывчатый термин. Но обычно он относится к ИИ, который превосходит среднестатистического человека во многих, если не в большинстве, задачах. Генеральный директор OpenAI Сэм Альтман однажды описал ИИ как «эквивалент среднестатистического человека, которого можно нанять в качестве коллеги». Между тем, устав OpenAI определяет ИИ как «высокоавтономные системы, которые превосходят людей в большинстве экономически ценных задач». Понимание Google DeepMind несколько отличается от этих двух определений; лаборатория рассматривает ИИ как «ИИ, который как минимум не уступает человеку в большинстве когнитивных задач». Запутались? Не волнуйтесь — эксперты, находящиеся на переднем крае исследований в области ИИ, тоже запутались.

ИИ-агент

Агент ИИ — это инструмент, использующий технологии искусственного интеллекта для выполнения ряда задач от вашего имени — выходящих за рамки возможностей более простого чат-бота с ИИ, — например, оформление расходов, бронирование билетов или столика в ресторане, или даже написание и поддержка кода. Однако, как мы уже объясняли, в этой развивающейся области много переменных, поэтому термин «агент ИИ» может означать разные вещи для разных людей. Инфраструктура для реализации предполагаемых возможностей также все еще находится в стадии разработки. Но базовая концепция подразумевает автономную систему, которая может использовать несколько систем ИИ для выполнения многоэтапных задач.

API-конечные точки

Представьте себе API-интерфейсы как «кнопки» на задней панели программного обеспечения, которые другие программы могут нажимать, чтобы выполнять определенные действия. Разработчики используют эти интерфейсы для создания интеграций — например, позволяя одному приложению получать данные из другого или давая возможность агенту ИИ напрямую управлять сторонними сервисами без ручного вмешательства человека в каждый интерфейс. Большинство устройств умного дома и подключенных платформ имеют эти скрытые кнопки, даже если обычные пользователи никогда их не видят и не взаимодействуют с ними. По мере того, как агенты ИИ становятся все более совершенными, они все чаще могут находить и использовать эти конечные точки самостоятельно, открывая мощные — и порой неожиданные — возможности для автоматизации.

Цепочка мыслей

На простой вопрос человеческий мозг может ответить, даже не задумываясь, например: «Какое животное выше, жираф или кошка?». Но во многих случаях для получения правильного ответа часто требуются ручка и бумага, поскольку существуют промежуточные этапы. Например, если у фермера есть куры и коровы, и вместе у них 40 голов и 120 ног, вам может потребоваться записать простое уравнение, чтобы получить ответ (20 кур и 20 коров).

В контексте искусственного интеллекта логическое мышление на основе цепочки рассуждений для больших языковых моделей означает разбиение проблемы на более мелкие промежуточные шаги для улучшения качества конечного результата. Обычно на получение ответа требуется больше времени, но вероятность того, что ответ будет правильным, выше, особенно в контексте логики или программирования. Модели рассуждений разрабатываются на основе традиционных больших языковых моделей и оптимизируются для логического мышления на основе цепочки рассуждений благодаря обучению с подкреплением.

(См.: Большая языковая модель)

Агенты кодирования

Это более конкретное понятие, чем «агент ИИ», который подразумевает программу, способную самостоятельно, шаг за шагом, выполнять действия для достижения цели. Агент кодирования — это специализированная версия, применяемая в разработке программного обеспечения. Вместо того чтобы просто предлагать код для проверки и вставки человеком, агент кодирования может автономно писать, тестировать и отлаживать код, выполняя итеративную работу методом проб и ошибок, которая обычно занимает весь рабочий день разработчика. Эти агенты могут работать со всей кодовой базой, выявляя ошибки, запуская тесты и внося исправления с минимальным участием человека. Представьте себе, что вы нанимаете очень быстрого стажера, который никогда не спит и никогда не теряет концентрацию — хотя, как и в случае с любым стажером, человек все равно должен проверять его работу.

Вычислить

Хотя термин «вычисления» довольно многозначен, в целом он обозначает жизненно важную вычислительную мощность, которая позволяет работать моделям искусственного интеллекта. Этот тип обработки данных подпитывает индустрию ИИ, предоставляя ей возможность обучать и развертывать свои мощные модели. Этот термин часто является сокращением для обозначения типов оборудования, обеспечивающих вычислительную мощность — таких как графические процессоры (GPU), центральные процессоры (CPU), тензорные процессоры (TPU) и другие формы инфраструктуры, которые составляют основу современной индустрии ИИ.

Глубинное обучение

Подмножество самосовершенствующегося машинного обучения, в котором алгоритмы ИИ разрабатываются с использованием многослойной структуры искусственной нейронной сети (ИНС). Это позволяет им устанавливать более сложные корреляции по сравнению с более простыми системами машинного обучения, такими как линейные модели или деревья решений. Структура алгоритмов глубокого обучения черпает вдохновение из взаимосвязанных путей нейронов в человеческом мозге.

Модели глубокого обучения в области искусственного интеллекта способны самостоятельно выявлять важные характеристики в данных, вместо того чтобы требовать от инженеров-людей определения этих характеристик. Такая структура также поддерживает алгоритмы, которые могут учиться на ошибках и, посредством повторения и корректировки, улучшать свои собственные результаты. Однако для получения хороших результатов системам глубокого обучения требуется большое количество точек данных (миллионы и более). Кроме того, их обучение обычно занимает больше времени по сравнению с более простыми алгоритмами машинного обучения, поэтому затраты на разработку, как правило, выше.

(См.: Нейронная сеть)

Диффузия

Диффузия — это технология, лежащая в основе многих моделей искусственного интеллекта, генерирующих произведения искусства, музыку и текст. Вдохновленные физикой, системы диффузии медленно «разрушают» структуру данных — например, фотографий, песен и так далее — добавляя шум до тех пор, пока ничего не останется. В физике диффузия является спонтанным и необратимым процессом — сахар, растворенный в кофе, не может быть восстановлен до кубической формы. Но системы диффузии в ИИ стремятся изучить своего рода «обратный процесс диффузии» для восстановления разрушенных данных, приобретая способность восстанавливать данные из шума.

Дистилляция

Дистилляция — это метод, используемый для извлечения знаний из большой модели искусственного интеллекта с помощью модели «учитель-ученик». Разработчики отправляют запросы модели-учителю и записывают результаты. Иногда ответы сравниваются с набором данных, чтобы определить их точность. Затем эти результаты используются для обучения модели-ученика, которая обучается аппроксимировать поведение учителя.

Дистилляция может быть использована для создания меньшей и более эффективной модели на основе большей модели с минимальными потерями при дистилляции. Вероятно, именно так компания OpenAI разработала GPT-4 Turbo, более быструю версию GPT-4.

Хотя все компании, занимающиеся ИИ, используют метод дистилляции внутри себя, некоторые из них могли также применять его для того, чтобы догнать передовые модели. Дистилляция, используемая конкурентами, обычно нарушает условия предоставления услуг API ИИ и чат-помощников.

Тонкая настройка

Это относится к дальнейшему обучению модели ИИ для оптимизации производительности при выполнении более конкретной задачи или в более конкретной области, чем та, которая ранее была центральным элементом ее обучения — как правило, путем ввода новых, специализированных (т.е., ориентированных на задачу) данных.

Многие стартапы в области искусственного интеллекта берут за отправную точку большие языковые модели для создания коммерческого продукта, но стремятся повысить их полезность для целевого сектора или задачи, дополняя предыдущие циклы обучения тонкой настройкой на основе собственных знаний и опыта в конкретной предметной области.

(См.: Большая языковая модель [LLM])

ГАН

Генеративная состязательная сеть (GAN) — это тип структуры машинного обучения, лежащий в основе некоторых важных разработок в области генеративного ИИ, когда речь идет о создании реалистичных данных, включая (но не только) инструменты для создания дипфейков. GAN использует пару нейронных сетей, одна из которых, используя свои обучающие данные, генерирует выходные данные, которые передаются другой модели для оценки.

По сути, обе модели запрограммированы на то, чтобы превзойти друг друга. Генератор пытается добиться того, чтобы его выходные данные превзошли результаты дискриминатора, в то время как дискриминатор работает над выявлением искусственно сгенерированных данных. Это структурированное соревнование может оптимизировать выходные данные ИИ, делая их более реалистичными без необходимости дополнительного вмешательства человека. Хотя GAN-сети лучше всего подходят для более узких приложений (например, для создания реалистичных фотографий или видео), а не для ИИ общего назначения.

Галлюцинация

Галлюцинация — это термин, используемый в индустрии искусственного интеллекта для обозначения процесса выдумывания моделями ИИ информации, то есть генерации неверной информации. Очевидно, это огромная проблема для качества ИИ.

Галлюцинации приводят к тому, что результаты работы GenAI вводят в заблуждение и даже могут привести к реальным рискам — с потенциально опасными последствиями (например, медицинский запрос, который выдает вредные медицинские рекомендации).

Считается, что проблема фальсификации информации искусственным интеллектом возникает вследствие пробелов в обучающих данных. Галлюцинации способствуют развитию все более специализированных и/или вертикальных моделей ИИ — то есть, узкоспециализированных ИИ, требующих более узких знаний, — как способа уменьшить вероятность пробелов в знаниях и снизить риски дезинформации.

Вывод

Вывод — это процесс запуска модели искусственного интеллекта. Это предоставление модели возможности делать прогнозы или выводы на основе ранее полученных данных. Следует уточнить, что вывод невозможен без обучения; модель должна изучить закономерности в наборе данных, прежде чем она сможет эффективно экстраполировать результаты обучения на эти данные.

Для выполнения инференции может использоваться множество типов оборудования, от процессоров смартфонов до мощных графических процессоров и специально разработанных ускорителей ИИ. Но не все из них одинаково хорошо справляются с моделированием. Очень большим моделям потребуется целая вечность, чтобы сделать прогнозы, скажем, на ноутбуке, по сравнению с облачным сервером с высокопроизводительными чипами для ИИ.

[См.: Обучение]

Большая языковая модель (LLM)

Большие языковые модели (LLM) — это модели искусственного интеллекта, используемые популярными голосовыми помощниками, такими как ChatGPT, Claude, Gemini от Google, AI Llama от Meta, Microsoft Copilot или Le Chat от Mistral. При общении с голосовым помощником вы взаимодействуете с большой языковой моделью, которая обрабатывает ваш запрос напрямую или с помощью различных доступных инструментов, таких как веб-браузеры или интерпретаторы кода.

LLM — это глубокие нейронные сети, состоящие из миллиардов числовых параметров (или весов, см. ниже), которые изучают взаимосвязи между словами и фразами и создают представление языка, своего рода многомерную карту слов.

Эти модели создаются путем кодирования закономерностей, которые они находят в миллиардах книг, статей и стенограмм. Когда вы задаете задачу LLM, модель генерирует наиболее вероятную закономерность, соответствующую заданию.

(См.: Нейронная сеть)

кэш памяти

Кэширование в памяти — это важный процесс, повышающий эффективность вывода (процесса, с помощью которого ИИ генерирует ответ на запрос пользователя). По сути, кэширование — это метод оптимизации, предназначенный для повышения эффективности вывода. ИИ, очевидно, работает на основе высокопроизводительных математических вычислений, и каждое такое вычисление потребляет всё больше энергии. Кэширование призвано сократить количество вычислений, которые может выполнять модель, сохраняя определённые вычисления для будущих запросов и операций пользователя. Существуют разные виды кэширования в памяти, хотя одним из наиболее известных является кэширование ключ-значение (KV). Кэширование KV работает в моделях на основе трансформеров и повышает эффективность, обеспечивая более быстрые результаты за счёт сокращения времени (и алгоритмических затрат), необходимых для генерации ответов на вопросы пользователя.

(См.: Умозаключение)

Нейронная сеть

Нейронная сеть — это многослойная алгоритмическая структура, лежащая в основе глубокого обучения, а также, в более широком смысле, всего бума инструментов генеративного искусственного интеллекта, последовавшего за появлением больших языковых моделей.

Хотя идея заимствования знаний из плотно взаимосвязанных нейронных сетей человеческого мозга в качестве основы для алгоритмов обработки данных восходит к 1940-м годам, именно недавнее появление графических процессоров (GPU) — благодаря индустрии видеоигр — действительно раскрыло потенциал этой теории. Эти чипы оказались хорошо подходящими для обучения алгоритмов с гораздо большим количеством слоев, чем это было возможно в более ранние эпохи, что позволило системам искусственного интеллекта на основе нейронных сетей достичь гораздо лучших результатов во многих областях, включая распознавание голоса, автономную навигацию и разработку лекарств.

(См.: Большая языковая модель [LLM])

Открытый исходный код

Открытый исходный код относится к программному обеспечению — или, все чаще, к моделям ИИ — где базовый код становится общедоступным для использования, изучения или модификации любым желающим. В мире ИИ семейство моделей Llama от Meta является ярким примером; Linux — известная историческая параллель в мире операционных систем. Подходы с открытым исходным кодом позволяют исследователям, разработчикам и компаниям по всему миру использовать результаты работы друг друга, ускоряя прогресс и обеспечивая независимые проверки безопасности, которые закрытые системы не могут легко обеспечить. Закрытый исходный код означает, что код является частным — вы можете использовать продукт, но не можете видеть, как он работает, как в случае с моделями GPT от OpenAI — различие, которое стало одним из определяющих споров в индустрии ИИ.

Параллелизация

Параллелизация означает выполнение множества задач одновременно, а не последовательно — например, когда 10 сотрудников работают над разными частями проекта одновременно, а не один сотрудник выполняет все задачи последовательно. В ИИ параллелизация имеет фундаментальное значение как для обучения, так и для вывода результатов: современные графические процессоры специально разработаны для выполнения тысяч вычислений параллельно, что во многом объясняет, почему они стали аппаратной основой отрасли. По мере усложнения систем ИИ и увеличения размеров моделей, возможность параллелизации работы на множестве чипов и машин стала одним из важнейших факторов, определяющих скорость и экономичность создания и развертывания моделей. Исследования в области улучшения стратегий параллелизации теперь являются самостоятельной областью исследований.

Рамагеддон

«Рамагеддон» — это новый забавный термин для обозначения не очень приятной тенденции, охватившей технологическую индустрию: постоянно растущего дефицита оперативной памяти (RAM), которая используется практически во всех технических устройствах, применяемых нами в повседневной жизни. По мере расцвета индустрии искусственного интеллекта крупнейшие технологические компании и лаборатории ИИ — все стремящиеся создать самый мощный и эффективный ИИ — закупают так много оперативной памяти для своих центров обработки данных, что для остальных её практически не остаётся. А это узкое место в поставках означает, что оставшаяся память становится всё дороже.

Это касается таких отраслей, как игровая индустрия (где крупным компаниям пришлось повысить цены на консоли, поскольку стало сложнее найти микросхемы памяти для их устройств), потребительская электроника (где дефицит памяти может привести к самому большому падению поставок смартфонов за более чем десятилетие) и корпоративные вычисления в целом (поскольку этим компаниям не хватает оперативной памяти для собственных центров обработки данных). Ожидается, что рост цен прекратится только после окончания страшного дефицита, но, к сожалению, пока нет никаких признаков того, что это произойдет в ближайшее время.

Рекурсивное самосовершенствование

Как и искусственный общий интеллект (AGI), рекурсивное самосовершенствование является порогом того, насколько умным может стать ИИ и насколько мало он может зависеть от человека. В сценарии рекурсивного самосовершенствования модели ИИ начинают совершенствоваться сами без вмешательства человека, что приводит к огромному ускорению развития возможностей и автономности. В некоторых интерпретациях это будет катастрофический момент, подобный сингулярности, момент, когда модели ИИ становятся невосприимчивыми к внешнему вмешательству. Но рекурсивное самосовершенствование также описывает базовую возможность — может ли модель ИИ создать своего собственного преемника? — что значительно упрощает задачу инженерам по его созданию. Ряд недавних стартапов в области ИИ поставили перед собой цель создать рекурсивно самосовершенствующиеся модели, но большинство из них игнорируют апокалиптические последствия, представляя рекурсивное самосовершенствование просто как следующий рубеж исследований.

Обучение с подкреплением

Обучение с подкреплением — это способ обучения ИИ, при котором система учится, пробуя разные вещи и получая вознаграждение за правильные ответы — как дрессировка любимого питомца с помощью лакомств, только в этом случае «питомец» — это нейронная сеть, а «лакомство» — математический сигнал, указывающий на успех. В отличие от обучения с учителем, где модель обучается на фиксированном наборе данных с размеченными примерами, обучение с подкреплением позволяет модели исследовать окружающую среду, совершать действия и постоянно обновлять свое поведение на основе получаемой обратной связи. Этот подход оказался особенно эффективным для обучения ИИ играть в игры, управлять роботами и, совсем недавно, повышать способность к рассуждению у больших языковых моделей. Такие методы, как обучение с подкреплением на основе обратной связи от человека (RLHF), сейчас играют центральную роль в том, как ведущие лаборатории ИИ совершенствуют свои модели, делая их более полезными, точными и безопасными.

Токен

Когда речь заходит о взаимодействии человека и машины, возникают очевидные проблемы: люди общаются, используя человеческий язык, в то время как программы искусственного интеллекта выполняют задачи посредством сложных алгоритмических процессов, основанных на данных. Токены устраняют этот разрыв: они являются основными строительными блоками взаимодействия человека и ИИ, представляя собой дискретные сегменты данных, обработанные или созданные языковой моделью. Они создаются посредством процесса, называемого токенизацией, который разбивает необработанный текст на небольшие единицы, которые может обработать языковая модель, подобно тому, как компилятор переводит человеческий язык в двоичный код, понятный компьютеру. В корпоративной среде токены также определяют стоимость — большинство компаний, занимающихся ИИ, взимают плату за использование языковых моделей из расчета за каждый токен, то есть чем больше компания использует, тем больше она платит.

Пропускная способность токенов

Итак, еще раз, токены — это небольшие фрагменты текста — часто части слов, а не целые слова, — на которые языковые модели ИИ разбивают язык перед обработкой; они примерно аналогичны «словам» для целей понимания рабочих нагрузок ИИ. Пропускная способность относится к тому, сколько данных может быть обработано за определенный период времени, поэтому пропускная способность токенов по сути является мерой того, сколько работы ИИ система может обработать одновременно. Высокая пропускная способность токенов является ключевой целью для команд, занимающихся инфраструктурой ИИ, поскольку она определяет, сколько пользователей модель может обслуживать одновременно и как быстро каждый из них получает ответ. Исследователь ИИ Андрей Карпати описывал чувство беспокойства, когда его подписки на ИИ простаивают — это перекликается с чувством, которое он испытывал в аспирантуре, когда дорогостоящее компьютерное оборудование не использовалось в полной мере — и это чувство отражает, почему максимизация пропускной способности токенов стала своего рода навязчивой идеей в этой области.

Обучение

Разработка систем машинного обучения включает в себя процесс, известный как обучение. Проще говоря, это процесс ввода данных, чтобы модель могла учиться на закономерностях и генерировать полезные результаты. По сути, это процесс реагирования системы на характеристики данных, который позволяет ей адаптировать результаты к желаемой цели — будь то распознавание изображений кошек или создание хайку по запросу.

Обучение может быть дорогостоящим, поскольку требует большого количества входных данных, и эти объемы постоянно растут — именно поэтому гибридные подходы, такие как тонкая настройка ИИ на основе правил с использованием целевых данных, могут помочь снизить затраты, не начиная все с нуля.

[См.: Умозаключение]

Перенос обучения

Метод, при котором ранее обученная модель ИИ используется в качестве отправной точки для разработки новой модели для другой, но, как правило, связанной задачи, что позволяет повторно применять знания, полученные в предыдущих циклах обучения.

Перенос обучения может привести к экономии средств за счет сокращения сроков разработки модели. Он также может быть полезен, когда объем данных для задачи, для которой разрабатывается модель, несколько ограничен. Однако важно отметить, что у этого подхода есть ограничения. Модели, которые используют перенос обучения для получения обобщенных возможностей, скорее всего, потребуют обучения на дополнительных данных, чтобы хорошо работать в своей области применения.

(См.: Тонкая настройка)

Потеря валидации

Показатель валидационных потерь — это число, которое показывает, насколько хорошо модель ИИ обучается во время тренировки, и чем ниже значение, тем лучше. Исследователи внимательно отслеживают его, используя как своего рода отчет в реальном времени, чтобы решить, когда остановить обучение, когда скорректировать гиперпараметры или следует ли исследовать потенциальную проблему. Одна из ключевых проблем, которую он помогает выявить, — это переобучение, состояние, при котором модель запоминает свои обучающие данные, а не действительно изучает закономерности, которые она может обобщить на новые ситуации. Представьте себе разницу между студентом, который действительно понимает материал, и тем, кто просто запомнил прошлогодний экзамен — валидационные потери помогают показать, к какому типу относится ваша модель.

Веса

Весовые коэффициенты играют ключевую роль в обучении ИИ, поскольку они определяют, насколько важны (или имеют ли они вес) различные признаки (или входные переменные) в данных, используемых для обучения системы, — тем самым формируя выходные данные модели ИИ.

Иными словами, веса — это числовые параметры, определяющие наиболее важные элементы набора данных для данной задачи обучения. Они выполняют свою функцию путем умножения на входные данные. Обучение модели обычно начинается со случайных весов, но по мере развития процесса веса корректируются, поскольку модель стремится получить результат, более точно соответствующий целевому значению.

Например, модель искусственного интеллекта для прогнозирования цен на жилье, обученная на исторических данных о недвижимости в целевом районе, может включать весовые коэффициенты для таких характеристик, как количество спален и ванных комнат, тип дома (отдельно стоящий или сблокированный), наличие парковки, гаража и так далее.

В конечном итоге, весовые коэффициенты, которые модель присваивает каждому из этих входных параметров, отражают то, насколько сильно они влияют на стоимость недвижимости, исходя из предоставленного набора данных.

Данная статья регулярно обновляется новой информацией.

Источник: techcrunch.com