Image

Создание приложений LLM, которые могут видеть, думать и интегрировать: использование o3 с многомодальным вводом и структурированным выводом

Практический пример создания системы обнаружения аномалий во временных рядах исключительно с помощью визуализации и подсказок

Делиться

20238988ef086eb0d5816526dcc70526

При создании приложений LLM стандартная парадигма «ввод текста, вывод текста» может дать лишь ограниченный результат.

Реальные приложения, обеспечивающие фактическую ценность, должны иметь возможность проверять визуальные данные, решать сложные проблемы и выдавать результаты, которые системы могут фактически использовать.

В этой статье мы разработаем этот стек, объединив три мощные возможности: мультимодальный ввод, рассуждение и структурированный вывод .

Для иллюстрации мы рассмотрим практический пример: создание системы обнаружения аномалий во временных рядах для данных о заказах электронной коммерции с использованием модели o3 от OpenAI . В частности, мы покажем, как объединить возможности логического вывода o3 с входными изображениями и выдать проверенный JSON-файл, чтобы последующие системы могли легко его использовать.

В итоге наше приложение будет:

  • См .: анализ диаграмм временных рядов объема заказов электронной коммерции.
  • Подумайте : найдите необычные закономерности
  • Интеграция : создание структурированного отчета об аномалиях

Вы получите функциональный код, который можно использовать повторно в различных сценариях использования, выходящих за рамки простого обнаружения аномалий.

Давайте начнем.

Хотите узнать больше о применении LLM для обнаружения аномалий? Ознакомьтесь с моей предыдущей публикацией: «Повышение эффективности обнаружения аномалий с помощью LLM» , где я обобщил 7 новых шаблонов применения, которые вам не стоит пропустить.

Источник: towardsdatascience.com

Каталог бесплатных опенсорс-решений, которые можно развернуть локально и забыть о подписках

галерея

Дифференциально приватное машинное обучение в масштабе с использованием JAX-Privacy
dummy-img
Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.
Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.
Под базельским концертным залом нашли жертв последней швейцарской чумы. Большинство из них умерли в юном возрасте
СОСТОЯЛОСЬ ЗАСЕДАНИЕ МЕТОДИЧЕСКОГО СОВЕТА, ПОСВЯЩЕННОЕ ПОКОЛЕНИЮ «РОЖДЕННЫХ ЦИФРОВЫМИ»
СОСТОЯЛОСЬ ЗАСЕДАНИЕ МЕТОДИЧЕСКОГО СОВЕТА, ПОСВЯЩЕННОЕ ПОКОЛЕНИЮ «РОЖДЕННЫХ ЦИФРОВЫМИ»
Биофизический мир внутри переполненной клетки
Появились новые доказательства того, как одиночество влияет на память в пожилом возрасте.
Image Not Found
Дифференциально приватное машинное обучение в масштабе с использованием JAX-Privacy

Дифференциально приватное машинное обучение в масштабе с использованием JAX-Privacy

Мы объявляем о выпуске JAX-Privacy 1.0, библиотеки для машинного обучения с дифференциальной приватностью, использующей высокопроизводительную вычислительную библиотеку JAX. Быстрые ссылки GitHub Делиться Скопировать ссылку × От персонализированных рекомендаций до научных достижений, модели ИИ помогают улучшать жизнь и…

Апр 21, 2026
dummy-img

Следующий этап развития Agents SDK | OpenAI

Обновленный SDK для агентов помогает разработчикам создавать агентов, которые могут проверять файлы, выполнять команды, редактировать код и работать над долгосрочными задачами в контролируемых изолированных средах. Мы представляем новые возможности в Agents SDK (открывается в новом окне) ,…

Апр 21, 2026
Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.

Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.

Тарин Пламб CleoP создан с помощью Midjourney. «Агенты ИИ могут взаимодействовать друг с другом, но не могут мыслить вместе. Это огромная разница и узкое место для систем следующего поколения», — говорит Виджой Пандей, старший вице-президент и генеральный…

Апр 21, 2026
Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.

Следующим узким местом в развитии ИИ станут не модели, а способность агентов мыслить сообща.

Тарин Пламб CleoP создан с помощью Midjourney. «Агенты ИИ могут взаимодействовать друг с другом, но не могут мыслить вместе. Это огромная разница и узкое место для систем следующего поколения», — говорит Виджой Пандей, старший вице-президент и генеральный…

Апр 21, 2026

Впишите свой почтовый адрес и мы будем присылать вам на почту самые свежие новости в числе самых первых