В публикации в журнале Nature Astronomy мы показываем, как модель Gemini от Google может быть преобразована в экспертного помощника в области астрономии, который с высокой точностью классифицирует космические события и объясняет свои рассуждения простым языком, достигая 93% точности на трех наборах данных, обучаясь всего на 15 аннотированных примерах для каждого исследования.
Быстрые ссылки
- Бумага
- Делиться
Современная астрономия — это охота за сокровищами в космическом масштабе. Каждую ночь телескопы по всему миру сканируют небо, выискивая мимолетные события, такие как взрывы звезд (сверхновые), которые дают нам важнейшие сведения о работе Вселенной. Эти исследования генерируют миллионы сообщений о потенциальных открытиях, но есть один нюанс: подавляющее большинство из них — это не настоящие космические события, а «ложные» сигналы от следов спутников, попаданий космических лучей или других инструментальных артефактов.
В течение многих лет астрономы использовали специализированные модели машинного обучения, такие как сверточные нейронные сети (CNN), для анализа этих данных. Хотя эти модели эффективны, они часто действуют как «черные ящики», присваивая простой ярлык «реальный» или «ложный» без объяснения. Это вынуждает ученых либо слепо доверять результатам, либо тратить бесчисленные часы на ручную проверку кандидатов — узкое место, которое вскоре станет непреодолимым с появлением телескопов следующего поколения, таких как обсерватория Веры К. Рубин, которая, как ожидается, будет генерировать 10 миллионов сигналов тревоги за ночь.
Эта задача заставила нас задать фундаментальный вопрос: может ли универсальная мультимодальная модель, предназначенная для одновременного понимания текста и изображений, не только соответствовать точности этих специализированных моделей, но и объяснять то, что она видит? В нашей статье «Текстовая интерпретация классификации переходных изображений на основе больших языковых моделей», опубликованной в журнале Nature Astronomy , мы демонстрируем, что ответ — однозначное «да». Мы показываем, как модель Gemini от Google может быть преобразована в экспертного помощника в области астрономии, способного классифицировать космические события с высокой точностью и, что особенно важно, объяснять свои рассуждения простым языком. Мы достигли этого, используя обучение с малым количеством примеров с помощью Gemini, предоставляя ей всего 15 аннотированных примеров на каждый обзор и краткие инструкции для точной классификации и объяснения космических событий.
Новый подход: учимся на нескольких примерах.
Вместо обучения специализированной модели на миллионах размеченных изображений мы использовали метод обучения с малым количеством примеров на универсальной модели. Мы предоставили Gemini всего 15 аннотированных примеров для каждого из трех основных астрономических обзоров: Pan-STARRS, MeerLICHT и ATLAS. Каждый пример состоял из трех небольших изображений: нового изображения сигнала о транзиенте, эталонного изображения того же участка неба из предыдущего наблюдения и изображения разницы , которое подчеркивает изменение между ними. Наряду с этими изображениями мы предоставили краткий набор инструкций, короткую заметку, написанную экспертом, с объяснением классификации, и оценку интереса (например, «высокий интерес» для вероятной сверхновой, «низкий интерес» для переменной звезды или «отсутствие интереса» для ложного сигнала) с объяснением этой оценки.
Модель должна была научиться классифицировать транзиентные явления, наблюдаемые с помощью различных телескопов, каждый из которых имел разное разрешение, масштаб пикселей и характеристики камеры. Как показано ниже, один и тот же небесный объект может выглядеть совершенно по-разному в разных обзорах, но Gemini смогла обобщить результаты на основе нескольких предоставленных примеров.
Телескоп Gemini работает с обзорами , имеющими различные масштабы пикселей и разрешения. Один и тот же транзиент наблюдается в трех разных обзорах, причем строки соответствуют Pan-STARRS ( сверху ), MeerLICHT ( посередине ) и ATLAS ( снизу ). Каждая строка включает, слева направо , новое изображение, эталонное изображение и изображение разницы. Все изображения имеют одинаковый размер в пикселях (100 × 100), но различаются по угловому охвату неба из-за специфических для каждого обзора масштабов пикселей: Pan-STARRS (0,25 дюйма на пиксель), MeerLICHT (0,56 дюйма на пиксель) и ATLAS (1,8 дюйма на пиксель).
Руководствуясь лишь минимальными входными данными, мы попросили Gemini классифицировать тысячи новых оповещений. Модель достигла средней точности 93% по трем наборам данных, что сопоставимо со специализированными сверточными нейронными сетями, требующими огромных, тщательно подобранных обучающих наборов данных.
Но в отличие от традиционного классификатора, мы заставили Gemini не просто выдавать метку, но и генерировать ее для каждого кандидата:
- Текстовое пояснение, описывающее наблюдаемые особенности и логику, лежащую в основе принятого решения.
- Показатель заинтересованности , помогающий астрономам расставлять приоритеты при проведении последующих наблюдений.
Это превращает модель из «черного ящика» в прозрачного, интерактивного партнера. Ученые могут ознакомиться с объяснением, чтобы понять ход рассуждений модели, что укрепляет доверие и позволяет принимать более взвешенные решения.
Gemini предоставляет удобочитаемые классификации переходных процессов и приоритеты для дальнейших исследований. Каждый пример состоит из нового, эталонного и разностного изображений для потенциального переходного процесса, за которыми следует классификация Gemini, текстовое описание и оценка интереса к дальнейшим исследованиям. Примеры, показанные на рисунке, взяты из набора данных MeerLICHT.
Умение вовремя обратиться за помощью
Критически важным шагом в создании надежной системы является обеспечение качества ее результатов. Мы собрали группу из 12 профессиональных астрономов, которые проанализировали 200 классификаций и объяснений, предоставленных созвездием Близнецов. Используя единую, основанную на шкале согласованности от 0 до 5 (0 = галлюцинация, 5 = идеальная согласованность), привязанную к тому, насколько хорошо текст соответствовал новым/эталонным/разностным изображениям, а также простую проверку «Да/Возможно/Нет», подтверждающую соответствие оценки последующего интереса объяснению, они оценили описания модели как очень согласованные и полезные, подтвердив их соответствие рассуждениям экспертов.
Но, пожалуй, самым важным нашим открытием стало то, что Gemini умеет эффективно оценивать собственную неопределенность. Мы предложили модели присвоить своим собственным объяснениям «показатель согласованности». Мы обнаружили, что низкие показатели согласованности являются мощным индикатором неверной классификации. Другими словами, модель хорошо подсказывает нам, когда она, вероятно, ошибается. Подробности:
Слева: Средние оценки согласованности от 12 астрономов для 200 транзиентов MeerLICHT, отсортированные по средней оценке ( синий ). Большинство примеров получили высокие значения (4–5), что указывает на тесное соответствие ожиданиям пользователей. Вставка: Согласованность между оценкой интереса, присвоенной моделью, и ее собственным объяснением, причем почти все случаи отмечены как самосогласованные (т.е. «Да»). Справа : Средние оценки согласованности пользователей, разделенные по правильности классификации, выполненной Gemini. Правильно классифицированные примеры (TP и TN, зеленый ) имеют, как правило, более высокие оценки согласованности, чем неправильные (FP и FN, красный ).
Эта возможность кардинально меняет подход к созданию надежных рабочих процессов с участием человека. Автоматически отмечая наиболее неопределенные случаи, система может сосредоточить внимание астрономов там, где это наиболее необходимо. Это создает мощную обратную связь. Просматривая отмеченные случаи и добавляя несколько таких сложных примеров обратно в запрос, мы можем быстро улучшить производительность модели. Используя этот итеративный процесс, мы повысили точность модели на наборе данных MeerLICHT с ~93,4% до ~96,7%, демонстрируя, как система может учиться и совершенствоваться в сотрудничестве с экспертами.
Будущее научных открытий
Мы считаем, что такой подход знаменует собой шаг к новой эре научных открытий — эре, ускоренной моделями, способными как рассуждать над сложными научными наборами данных, так и объяснять свои результаты на естественном языке, а также моделями, способными рассуждать, объяснять свои результаты и сотрудничать с исследователями.
Поскольку этот метод требует лишь небольшого набора примеров и простых инструкций, его потенциально можно быстро адаптировать для новых научных приборов, исследований и исследовательских целей в самых разных областях. Мы рассматриваем эту технологию как основу для «агентных помощников» в науке. Такие системы могли бы интегрировать множество источников данных, проверять собственную достоверность, запрашивать дополнительные наблюдения и передавать ученым только самые перспективные открытия.
Эта работа указывает путь к созданию систем, которые учатся вместе с нами, объясняют свои рассуждения и позволяют исследователям в любой области сосредоточиться на самом важном: на постановке следующего великого вопроса.
Благодарности
Данное исследование стало результатом совместной работы. Мы выражаем искреннюю благодарность нашим соавторам Стивену Блумену, Стивену Дж. Смарту, Полу Дж. Грооту, Полу Врисвейку и Кену У. Смиту.
Источник: research.google
