Когда поют трансформеры: адаптация SpectralKD для извлечения текстовых знаний
Изучение частотных характеристик трансформеров для более разумного извлечения знаний
Делиться
Введение
Работая над задачей по извлечению знаний для классификации намерений, я столкнулся с запутанным препятствием. Моя система включала модель учителя, которая была RoBERTa-large (тонко настроена на мою классификацию намерений), и модель ученика, которую я пытался обучить, не слишком теряя точности по сравнению с учителем.
Я экспериментировал с различными методами сопоставления, соединяя каждый второй слой со слоем ученика, усредняя два слоя учителя в один и даже назначая собственные веса, например, «дающий» (0,3 для l1 и 0,7 для l2). Но какие бы комбинации я ни пробовал, точность модели учителя так и не достигла точности модели ученика.
Именно тогда я начал изучать , как сопоставить наиболее информативные слои с моей моделью ученика, чтобы ученик мог максимально повысить свою эффективность . Мне нужен был способ количественно определить, какой слой модели учителя действительно важен для дистилляции.
В ходе этих поисков я наткнулся на интересную статью « SpectralKD: унифицированная структура для интерпретации и выделения преобразователей зрения посредством спектрального анализа », в которой рассматривалась похожая проблема, но в области изображений. Авторы использовали подход спектрального анализа (Spectral KD) для более разумного согласования моделей учителя и ученика .
Из любопытства я решил адаптировать эту идею к текстовым данным — и БАБАХ!!! — это действительно сработало! Впервые моя модель ученика начала думать почти как её учитель.
Вот график интенсивности слоёв моей доработанной модели RoBERTa-large . Основываясь на спектральных данных, я выбрал для своей студенческой модели слои 1–9 и 21–23 в процессе обработки знаний, поскольку они несут в себе самую ценную информацию.
Я не могу поделиться своим набором данных или кодом по соображениям конфиденциальности, но я расскажу вам, как подход статьи, основанный на изображениях, вдохновил меня на текстовую адаптацию , и как вы можете сделать то же самое.
Источник: towardsdatascience.com