Система оценки эффективности в эпоху ИИ | OpenAI

• 1. Какой объем полезной работы выполняется?
• 2. Во сколько на самом деле обходится успешно выполненное задание?
• 3. Как часто ИИ выполняет работу правильно?
• 4. Приводит ли каждый потраченный доллар на ИИ к увеличению объема работы по мере роста его использования?
• Система оценок для эпохи искусственного интеллекта

• 1. Какой объем полезной работы выполняется?
• 2. Во сколько на самом деле обходится успешно выполненное задание?
• 3. Как часто ИИ выполняет работу правильно?
• 4. Приводит ли каждый потраченный доллар на ИИ к увеличению объема работы по мере роста его использования?
• Система оценок для эпохи искусственного интеллекта

Вопрос, который я слышу от финансовых директоров повсюду, прост: как извлечь больше пользы из наших инвестиций в ИИ?

В течение многих лет рынок оценивал успех программного обеспечения по уровню внедрения: количество приобретенных лицензий, число активных пользователей, количество продленных лицензий. Для понимания ценности ИИ необходим более мощный критерий: объем выполненной работы.

Основной экономический вопрос, стоящий перед финансовыми директорами и другими руководителями предприятий, заключается в том, будет ли ценность работы, выполняемой искусственным интеллектом, расти быстрее, чем затраты на ее производство.

Для ответа на этот вопрос необходимо глубже изучить ситуацию, чем просто использовать такой показатель, как стоимость токена. Более дешевая модель может использовать более дешевые токены, но для достижения отличных результатов может потребоваться больше попыток, больше времени или больше проверок со стороны человека. Более совершенная модель может использовать более дорогие токены, но выполнить ту же задачу за один проход. Важно учитывать полную стоимость достижения успешного результата, измеряемую по отношению к ценности, которую этот результат создает.

В эпоху искусственного интеллекта окончательным показателем эффективности можно считать «полезный интеллект на доллар». Этот показатель отвечает на четыре ключевых вопроса:

1. Выполняет ли ИИ важную работу?
2. Во сколько обходится каждое успешно выполненное задание?
3. Могут ли люди рассчитывать на результат?
4. Приносит ли каждый вложенный в ИИ доллар больше пользы по мере роста его использования?

1. Какой объем полезной работы выполняется?

Начнём с самой работы.

Сколько проблем клиентов удалось решить с помощью ИИ? Сколько изменений в коде было внедрено? Сколько контрактов было проверено? Сколько времени это сэкономило людям? Сколько решений стало лучше благодаря тому, что нужный контекст был доступен в нужный момент?

Токены создают ценность, когда преобразуются в работу, которую люди могут использовать. По мере того, как модели становятся более функциональными, они могут выполнять более длительные и сложные задачи: поддерживать контекст, рассуждать в несколько этапов, работать с различными инструментами и адаптироваться в процессе работы.

Лучше всего начать с одного рабочего процесса. Определите, что означает «завершено», и измерьте результат в системе, где выполняется работа.

Для службы поддержки «готово» может означать решение проблемы клиента. Для инженерной команды это может означать изменение кода, прошедшее все тесты. Для юридического отдела это может означать точную и своевременную проверку контракта.

Рассмотрим финансовую команду, готовящуюся к анализу прогноза. Большая часть работы выполняется до принятия окончательного решения: поиск последнего прогноза, перенос данных в Excel или Google Sheets, выявление изменений, сверка вкладок, перестройка слайдов и проверка того, что все идеально совпадает.

ChatGPT Work может взять на себя большую часть этого процесса, предоставляя команде больше времени для сосредоточения на важных вопросах: Что изменилось? Почему? Что нам следует сделать дальше?

На практике это означает, что на каждый вложенный доллар приходится полезная информация. Выполняется больше работы быстрее, а люди тратят больше времени на применение своих способностей, творческий подход и экспертные знания.

2. Во сколько на самом деле обходится успешно выполненное задание?

Следующий вопрос — сколько стоит качественно выполнить эту работу.

Задачи, связанные с искусственным интеллектом, весьма разнообразны. Для быстрого ответа может потребоваться совсем немного вычислительных ресурсов. В задачах, связанных с программированием, исследованиями или финансовыми операциями, может потребоваться более глубокий анализ, использование инструментов и множество действий. Эти более сложные задачи могут потребовать больших вычислительных мощностей, но они способны принести гораздо большую пользу.

На уровне модели стоимость успешно выполненной задачи зависит от цены, объема используемых вычислительных ресурсов и вероятности достижения нужного результата. Для бизнеса полная стоимость также включает в себя время работы сотрудников, проверку человеком, повторные попытки и доработки.

Расчет прост:

• Добавьте полную стоимость выполнения работы.
• Подсчитайте количество задач, соответствующих требуемому уровню качества.
• Разделите общую стоимость на количество успешно выполненных задач.

Именно поэтому самая низкая цена за токен не всегда означает самую низкую стоимость результата. Модель, определяющая эффективность, может обеспечить наилучшее соотношение цены и качества даже для обычного запроса, если она выдает правильный ответ за один проход, сокращая количество повторных попыток, задержку, проверку и общие вычислительные ресурсы.

Многоуровневая модельная линейка предоставляет клиентам больше возможностей для оптимизации этого уравнения. GPT-5.6, выпущенная нами на прошлой неделе, имеет три уровня: Sol — наш флагманский продукт; Terra обеспечивает баланс производительности и стоимости; Luna — наша самая быстрая и доступная модель.

Эти уровни предоставляют полезные отправные точки. В конечном итоге, выбор подходящей модели должен зависеть от экономической целесообразности всей задачи. Клиент может использовать Luna для быстрого и высокопроизводительного рабочего процесса, Terra — для работы, требующей большей глубины анализа, или Sol, когда более обоснованный подход дает наилучший результат с меньшим количеством попыток.

Мы обучили GPT-5.6 извлекать больше полезной информации из каждого токена. В индексе агентов искусственного анализа и кодирования GPT-5.6 Sol с максимальным уровнем рассуждений установил новый рекорд, используя на 54% меньше выходных токенов, чем другая ведущая модель. Диаграмма ниже иллюстрирует сравнение.

В семействе GPT-5.6 цель одна и та же: более успешная работа на каждый потраченный доллар. Повышение эффективности делает существующие задачи более доступными. Расширение возможностей открывает совершенно новые виды работ.

Каждое новое поколение моделей должно улучшать обе стороны этого уравнения. Клиенты должны иметь возможность выполнять более ценную работу, в то время как стоимость выполнения каждой задачи будет продолжать снижаться.

3. Как часто ИИ выполняет работу правильно?

Третий показатель — это надёжность.

Внедрение ИИ, как правило, происходит поэтапно. Сначала ИИ помогает в составлении документов. Затем он находит контекст и обоснования, используя различные инструменты и данные. Со временем он начинает предпринимать действия, обрабатывать исключения и завершать рабочие процессы, при этом люди выносят решения и осуществляют контроль там, где это необходимо.

Каждый шаг создает дополнительную ценность и предъявляет к системе более высокие требования.

Надежность имеет прямую экономическую ценность. Когда результаты точны, подтверждены достоверными источниками, последовательны и своевременно доводятся до сведения вышестоящих лиц, люди тратят меньше времени на проверку, исправление и повторение работы. Успешное выполнение задач обходится дешевле, и организации получают уверенность в использовании ИИ в более важных рабочих процессах.

Команды могут сделать это более наглядным, отслеживая три результата:

• Готов к использованию: результат соответствует заявленным стандартам качества.
• Требуется исправление: результат требует повторной попытки или редактирования человеком.
• Необходимость эскалации: Требуется специалист, который сможет завершить работу.

Эти показатели дают более полное представление о ситуации, чем просто точность модели. Они демонстрируют, действительно ли ИИ сокращает объем работы, необходимой для завершения проекта.

Надежность также требует четких границ. Прежде чем ИИ перейдет от разработки проекта к его выполнению, организациям следует определить:

• К каким данным система имеет доступ.
• Какие системы оно может использовать или изменять.
• Когда человек должен проверить или утвердить какое-либо действие.

Безопасность, защищенность, конфиденциальность и контроль создают основу для более глубокого использования. Люди должны понимать, как работает система, как обрабатываются их данные и как регулируются ее действия.

ChatGPT Work развивает концепцию безопасности, конфиденциальности, соответствия нормативным требованиям и управления рабочим пространством, заложенную в ChatGPT Enterprise. Это позволяет организациям предоставлять ИИ больше контекста и доступа к более ценным рабочим процессам, сохраняя при этом надлежащий контроль.

Возможности обеспечивают первое использование. Надежность делает ИИ неотъемлемой частью процесса выполнения работы.

4. Приводит ли каждый потраченный доллар на ИИ к увеличению объема работы по мере роста его использования?

И наконец, вопрос заключается в том, улучшатся ли экономические показатели при увеличении масштабов производства.

Компании могут измерить это, отслеживая один и тот же рабочий процесс в течение определенного времени. Необходимо отслеживать, сколько задач соответствуют стандартам качества, общую стоимость их выполнения и стоимость одной успешно выполненной задачи. Если объем выполненной работы растет быстрее, чем общая стоимость, при этом качество остается неизменным или улучшается, то каждый доллар, потраченный на ИИ, приносит все большую ценность.

В центре этого уравнения находятся вычислительные ресурсы.

Вычислительные ресурсы обеспечивают работу исследований и всех задач, выполняемых искусственным интеллектом. Они влияют на качество продукции, скорость, надежность, доступность и стоимость. Вычислительные ресурсы для обучения формируют будущие возможности. Вычислительные ресурсы для вывода результатов обеспечивают полезную работу уже сегодня. И то, и другое должно привести к улучшению результатов для клиентов.

Улучшенные модели, более эффективный вывод результатов, специализированное оборудование, более высокая степень использования ресурсов, интеллектуальная маршрутизация и более совершенный дизайн продукта — все это повышает отдачу от вычислительных ресурсов. Каждое поколение инфраструктуры способствует обучению более совершенных моделей. Более совершенные алгоритмы, оборудование и программное обеспечение, в свою очередь, помогают более эффективно обслуживать эти модели.

Клиенты ощущают эти улучшения в человеческом плане: более качественные ответы, более быстрые результаты, меньше исправлений, более надежные продукты и более низкая стоимость необходимых им работ.

Достижения накапливаются. Улучшенная инфраструктура ускоряет исследования. Исследования позволяют создавать более совершенные и эффективные модели. Более совершенные модели улучшают продукты. Более качественные продукты способствуют внедрению, обучению и росту доходов. Этот рост поддерживает дальнейшие инвестиции в исследования, вычислительные ресурсы, развертывание и безопасность следующего поколения.

OpenAI объединяет эти компоненты в единую платформу общего интеллекта. Люди используют её через ChatGPT и ChatGPT Work. Разработчики создают на её основе приложения через Codex и API. Предприятия внедряют её в системы, где происходит работа.

Когда улучшается один компонент, от этого выигрывают все продукты и все клиенты.

Система оценок для эпохи искусственного интеллекта

Взятые вместе, эти четыре показателя позволяют судить о том, улучшается ли соотношение полезной разведывательной информации к потраченным на нее средствам.

Полезная работа показывает, что производит ИИ. Стоимость успешно выполненной задачи показывает, что требуется для достижения результата. Надежность показывает, насколько люди могут уверенно использовать результаты работы. Ценность в масштабе показывает, приносит ли каждый доллар и каждая единица вычислительных ресурсов больше пользы с течением времени.

Цель состоит в создании ИИ, который поможет людям выполнять более осмысленную работу, принимать более обоснованные решения и уделять больше времени тем аспектам своей работы, которые требуют сугубо человеческого суждения и творчества.

Наша задача — улучшать это уравнение с каждым поколением: более совершенные модели, более быстрые и надежные результаты, а также более низкие затраты на выполнение необходимых клиентам работ.

Именно так искусственный интеллект со временем становится все более полезным для большего числа людей и организаций.

Источник: openai.com