Окрестность синтетических данных
Делиться
Введение
В последние годы генеративно-состязательные сети (GAN) достигли замечательных результатов в автоматическом синтезе изображений. Однако объективная оценка качества генерируемых данных остается нерешенной проблемой. В отличие от дискриминативных моделей, для которых существуют устоявшиеся метрики, генеративные модели требуют критериев оценки, способных измерять как визуальное качество, так и разнообразие создаваемых образцов.
Одним из первых использованных показателей был показатель Inception Score (IS). Основанный на предсказаниях предварительно обученной сети Inception, показатель Inception Score дает количественную оценку способности генеративной модели создавать реалистичные и семантически значимые изображения.
В этой статье мы анализируем идею, лежащую в основе этого параметра, и способ понять его обоснованность, а также рассматриваем ограничения, которые привели к использованию других показателей оценки.
1. Что такое генеративно-состязательная сеть (GAN)?
Генеративная состязательная сеть может быть определена как структура глубокого обучения, которая, имея исходное распределение данных (обучающий набор), позволяет генерировать новые данные (синтетические данные) с характеристиками, аналогичными исходному распределению.
Обычно, чтобы абстрагироваться от концепции GAN, можно обратиться к метафоре «фальсификатор и искусствовед». Фальсификатор (Генератор) стремится создавать изображения (синтетические данные), максимально похожие на подлинные (обучающий набор). С другой стороны, искусствовед (Дискриминатор) стремится отличить изображения, созданные фальсификатором, от подлинных. Как вы можете себе представить, конечная цель фальсификатора — обмануть искусствоведа, или, скорее, создать изображения, которые искусствовед признает подлинными.
На начальных этапах фальсификатор не знает, как обмануть критика, поэтому последнему будет относительно легко распознать подделки. Но шаг за шагом, благодаря отзывам критика, фальсификатор сможет понять свои ошибки и улучшить свои навыки, пока не достигнет своей цели.
Если перевести эту метафору на практический уровень, то GAN состоит из двух агентов:
- Генератор (G) : отвечает за воспроизведение синтетических данных. На вход он получает вектор шума z, обычно взятый из нормального распределения N(0,1) со средним значением 0 и дисперсией 1. Этот вектор проходит через генератор, который возвращает «Сгенерированное изображение». Воронкообразная форма генератора не случайна. Фактически, G выполняет процесс увеличения разрешения: предположим, что z имеет размер [1300]; по мере прохождения через различные слои генератора его размер увеличивается, пока он не станет изображением с размерами [64,64,3].
- Дискриминатор (D): различает, или, скорее, классифицирует, какие данные относятся к реальному распределению, а какие являются синтетическими. В отличие от генератора, дискриминатор выполняет процесс уменьшения разрешения: предположим, что входное изображение имеет размеры [64,64,3]; дискриминатор будет извлекать такие признаки, как края, цвета и т. д., пока не вернет значение 0 (поддельное изображение) или 1 (реальное изображение).
Вектор z играет важную роль. В самом деле, одним из свойств генератора является то, что он создает изображения с различными характеристиками. Другими словами, мы не хотим, чтобы G всегда создавал одну и ту же картину или похожие на нее (коллапс режимов).
Для этого мне нужно, чтобы мой вектор z имел разные значения. Это позволит по-разному активировать веса генератора, что приведет к появлению различных выходных характеристик.
2. Начальный балл (IS)
Одним из лучших «критериев» оценки сети GAN, несомненно, является человеческий глаз. Но… какие параметры мы используем для оценки генеративной сети? Важными параметрами, безусловно, являются качество и разнообразие генерируемых изображений: (i) Качество относится к тому, насколько хороша картинка. Например, если мы обучили наш генератор создавать изображения собак, человеческий глаз должен действительно распознать присутствие собаки на полученном изображении. (ii) Разнообразие относится к способности сети создавать различные изображения. Продолжая наш пример, собаки должны быть представлены в разных средах, с разными породами и позами.
Очевидно, что оценка всех возможных изображений, созданных генератором «вручную», становится сложной задачей. На помощь приходит показатель Inception Score (IS). IS — это метрика, используемая для определения качества сети GAN при генерации изображений. Ее название происходит от использования классификационной сети Inception, разработанной Google и предварительно обученной на наборе данных ImageNet (1000 классов). В частности, IS учитывает как качество, так и разнообразие, упомянутые выше, посредством двух типов вероятностей. Два распределения вероятностей получаются путем рассмотрения пакета из примерно 50 000 сгенерированных изображений и результатов последнего слоя классификации сети.
- Условная вероятность (Pc): Условная вероятность относится к способности графического процессора генерировать изображения с четко определенными объектами, то есть к качеству изображения. Изображения классифицируются как строго принадлежащие к определенному классу. Здесь энтропия низкая (низкий эффект неожиданности), или, скорее, распределение классификации сосредоточено на одном классе. Размерность Pc: [пакет, 1000].
- Маргинальная вероятность (Pm): Маргинальная вероятность позволяет понять, способен ли генератор создавать изображения с различными характеристиками. Если бы это было не так, мы могли бы столкнуться с эффектом коллапса моды, то есть генератор всегда создавал бы изображения, идентичные друг другу. Маргинальная вероятность получается путем рассмотрения Pc и вычисления среднего значения по оси 0 (для которой мы вычисляем среднее значение по пакету). В этом случае распределение классификации должно быть равномерным. Размерность Pm составляет [11000].
Пример того, что было объяснено, показан на изображении.
Последний шаг — объединение двух вероятностей. Этот этап выполняется путем вычисления расстояния Кульбака-Лейблера (KL) между Pc и Pm и усреднения его по количеству использованных примеров. Другими словами, рассматривая i-й вектор Pc, мы видим, насколько условная вероятность i-го изображения отклоняется от среднего значения.
Желаемый результат — это большое расстояние. В действительности:
- Если предположить, что генератор создает согласованные изображения, то для каждого изображения условная вероятность сосредоточена на одном классе.
- Если генератор не демонстрирует коллапса мод, то изображения классифицируются по различным классам.
И здесь возникает вопрос: Высокий по сравнению с чем?
3. Окрестность синтетических данных
Пусть ISᵣₑₐₗ — это показатель Inception Score, рассчитанный на тестовом наборе данных, а ISₛ — показатель, рассчитанный на сгенерированных данных. Генеративная модель считается удовлетворительной, если:
или, что еще лучше, когда показатель Inception Score для синтетических данных близок к показателю для реальных данных, что свидетельствует о том, что модель правильно воспроизводит распределение меток и визуальную сложность исходного набора данных.
3.1. Ограничения
Введение окрестности синтетических данных призвано обеспечить эталон для интерпретации полученного значения. Это может быть особенно важно в случаях, когда генератор G обучается создавать изображения, принадлежащие к 1000 классам, на которых обучалась сеть Inception.
Фактически, поскольку нейронная сеть Inception, используемая для вычисления показателя Inception Score, была обучена на наборе данных ImageNet , состоящем из 1000 общих классов , возможно, что распределение классов, изученных генератором G, не представлено непосредственно в этом семантическом пространстве. Этот аспект может ограничивать интерпретируемость показателя Inception Score в конкретном контексте рассматриваемой задачи. В частности, нейронная сеть Inception может классифицировать как изображения в обучающем наборе данных, так и изображения, сгенерированные моделью, как принадлежащие к одним и тем же классам ImageNet, что приводит к несогласованным значениям (коллапсу режимов).
В других сценариях показатель Inception Score может по-прежнему давать предварительное представление о качестве сгенерированных данных, но все же необходимо сочетать его с другими количественными метриками для получения более полной и надежной оценки производительности генеративной модели.
Источник: towardsdatascience.com
