Создание приложений LLM, которые могут видеть, думать и интегрировать: использование o3 с многомодальным вводом и структурированным выводом

Практический пример создания системы обнаружения аномалий во временных рядах исключительно с помощью визуализации и подсказок

Делиться

При создании приложений LLM стандартная парадигма «ввод текста, вывод текста» может дать лишь ограниченный результат.

Реальные приложения, обеспечивающие фактическую ценность, должны иметь возможность проверять визуальные данные, решать сложные проблемы и выдавать результаты, которые системы могут фактически использовать.

В этой статье мы разработаем этот стек, объединив три мощные возможности: мультимодальный ввод, рассуждение и структурированный вывод .

Для иллюстрации мы рассмотрим практический пример: создание системы обнаружения аномалий во временных рядах для данных о заказах электронной коммерции с использованием модели o3 от OpenAI . В частности, мы покажем, как объединить возможности логического вывода o3 с входными изображениями и выдать проверенный JSON-файл, чтобы последующие системы могли легко его использовать.

В итоге наше приложение будет:

• См .: анализ диаграмм временных рядов объема заказов электронной коммерции.
• Подумайте : найдите необычные закономерности
• Интеграция : создание структурированного отчета об аномалиях

Вы получите функциональный код, который можно использовать повторно в различных сценариях использования, выходящих за рамки простого обнаружения аномалий.

Давайте начнем.

Хотите узнать больше о применении LLM для обнаружения аномалий? Ознакомьтесь с моей предыдущей публикацией: «Повышение эффективности обнаружения аномалий с помощью LLM» , где я обобщил 7 новых шаблонов применения, которые вам не стоит пропустить.

Источник: towardsdatascience.com