Галлюцинации VLM в zero-shot детекции: ложные тревоги о дыме и решение на уровне промпта

Как я попробовала решить задачу детекции огня и дыма без обучения, zero-shot детекцией на VLM. О том, как изначально всё работало на видео с настоящим дымом, а на заведомо чистых улицах модель нашла «дым» на 70 % моих данных: рисовала боксы на машинах, знаках и светофорах, иногда с confidence 0% и текстовым пояснением, что дыма нет. В статье описала, почему одношаговый bbox-формат провоцирует ложные детекции, какие стандартные приёмы промпт-инжиниринга не помогли и какое изменение промпта снизило долю ложных тревог с 70 % кадров до нуля при recall выше 80%.

Читать далее

Источник: habr.com