Google называет это «новым направлением», но сможет ли ИИ найти высококачественную науку?
Элисса Велле
ИИ-репортер
Публикации этого автора будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все Элиссы Уэлле
Фото: Кэт Вирджиния / The Verge
Элисса Велле
Публикации этого автора будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все Элиссы Уэлле
— репортёр, специализирующийся на искусственном интеллекте, из Нью-Йорка, в настоящее время поддерживаемая Центром журналистики искусственного интеллекта Тарбелла. Она освещает компании, политику и продукты в области искусственного интеллекта.
Компания Google объявила о тестировании нового поискового инструмента на базе искусственного интеллекта Scholar Labs, предназначенного для поиска ответов на подробные исследовательские вопросы. Но его демонстрация выявила более важный вопрос о поиске «хороших» научных исследований. Насколько учёные будут доверять инструменту, который отказывается от традиционных способов оценки популярности исследования в научном сообществе в пользу анализа взаимосвязей между словами для выявления качественных исследований?
Новый поисковый инструмент использует ИИ для определения основных тем и взаимосвязей в запросе пользователя и в настоящее время доступен ограниченному кругу зарегистрированных пользователей. В демо-видео от Scholar Labs был задан вопрос об интерфейсах «мозг-компьютер» (ИМК). У меня докторская степень по МКИ, поэтому мне было интересно узнать, что Scholar Labs нашла.
Первым результатом стал обзор исследований BCI, опубликованный в 2024 году в журнале Applied Sciences. Scholar Labs объясняет, почему результаты соответствуют запросу, указывая, что в статье обсуждается исследование неинвазивного сигнала, называемого электроэнцефалограммой, и дается обзор некоторых ведущих алгоритмов в этой области.
Но я заметил, что в Scholar Labs отсутствуют фильтры для общих метрик, используемых для отделения «хороших» исследований от «не очень хороших». Одна из метрик — это количество цитирований исследования в других исследованиях с момента его публикации, что приблизительно можно перевести как популярность статьи. Она также связана со временем: недавно опубликованное исследование может не иметь ни одного цитирования или набрать сотни за несколько месяцев; исследование из 90-х может насчитывать тысячи. Другая метрика — «импакт-фактор» научного журнала. Журналы, публикующие широко цитируемые исследования, имеют более высокий импакт-фактор и, следовательно, имеют репутацию более строгих или значимых для научного сообщества. Applied Sciences самостоятельно сообщает об импакт-факторе 2,5. Для сравнения, Nature утверждает, что его импакт-фактор составляет 48,5.
В оригинальной версии Google Scholar есть функция ранжирования исследований по «релевантности» и отображается количество цитирований для каждого результата. Цель новой Scholar Labs — найти «наиболее полезные статьи для исследовательского поиска пользователя», — рассказала The Verge представитель Google Лиза Огуике. Google утверждает, что для этого статьи ранжируются так же, как и сами исследователи: «учитывая полный текст каждого документа, место публикации, автора, а также частоту и давность цитирования в другой научной литературе».
Однако новая система Scholar Labs не будет сортировать или ограничивать результаты на основе количества цитирований статьи или импакт-фактора журнала, сообщил Огике изданию The Verge.
Изображение: Google Академия
«Импакт-факторы и количество цитирований зависят от области исследования статей, и большинству пользователей может быть сложно угадать подходящие значения в контексте конкретных исследовательских вопросов», — написал Огуике. «Ограничение по импакт-фактору или количеству цитирований часто приводит к пропуску ключевых статей, в частности, статей в междисциплинарных/смежных областях/журналах или недавно опубликованных статей», — добавил Огуике.
Такие показатели, как количество цитирований и импакт-фактор, — «довольно грубые оценки качества статьи», — заявил в интервью The Verge доцент кафедры неврологии Медицинского центра Университета Вандербильта Мэтью Шрэг, согласившись с заявлением Google. Они «скорее говорят о социальном контексте статьи», чем о её качестве, хотя, по его словам, «эти два фактора, как мы надеемся, взаимосвязаны».
Шрэг, исследующий болезнь Альцгеймера, — один из многих учёных-детективов, которые выявляли сомнительные данные в опубликованных научных работах. Усилия таких специалистов, как Шрэг, и более пристальное внимание со стороны научного сообщества в целом привели к тому, что исследования были изъяты из авторитетных журналов из-за поддельных изображений, поправок, внесённых лауреатами Нобелевской премии, и федеральных расследований по факту фальсификации данных.
Тем не менее, сложно не использовать количество цитирований или репутацию журнала для небрежной проверки исследования, особенно при выходе на новый уровень. Профессор реабилитационных наук в Университете Тафтса Джеймс Смолига, частый пользователь оригинальной Google Scholar, считает, что статьи с высоким цитированием заслуживают большего доверия. «Я грешен в этом, как и все остальные», — сказал он изданию The Verge. Он делает это, несмотря на то, что разоблачил методы, использованные в исследовании с тысячами цитирований. «И я сам знаю, что это не так, но всё равно попадаюсь в эту ловушку, потому что что мне ещё остаётся делать?»
Я повторил демо-запрос Scholar Labs об исследованиях BCI у пациентов с инсультом в PubMed, ведущем репозитории биомедицинских и медицинских исследований, управляемом Национальной медицинской библиотекой Национальных институтов здравоохранения США. В отличие от Scholar Labs, PubMed активно использует фильтры и термины, связанные с союзами «или» и «и». Я сузил результаты, оставив только статьи о клинических исследованиях, проведенных на людях, за последние пять лет. Я исключил препринты, то есть исследования, опубликованные непосредственно в репозиториях, таких как arXiv или bioRxiv, без рецензирования другими учеными. Два из шести результатов были посвящены исключительно электроэнцефалографии как основному типу неинвазивного BCI, используемого для помощи пациентам с инсультом.
Огуике добавил, что пользователи смогут запрашивать «недавние» статьи в своем запросе и указывать период времени в своем запросе, а Scholar Labs использует «полный текст научных статей» для поиска результатов, соответствующих запросу пользователя.
Google называет Scholar Labs «новым направлением для нас» и заявляет, что планирует в будущем учитывать отзывы пользователей. Для доступа к ним существует лист ожидания.
Шрэг считает, что поиск на основе ИИ, подобный поиску в новой Scholar Labs, имеет своё место в научной экосистеме. Он добавил, что теоретически он мог бы расширить сеть, чтобы обнаружить статьи, которые иначе остались бы незамеченными, или предоставить дополнительную информацию о популярности статьи в социальных сетях. По его словам, исследованиям необходима комплексная оценка, которую ИИ может обеспечить. «Необходимо понимать, каковы стандарты строгости в данной области и соответствует ли им исследование», — добавил он.
В конечном счёте, учёные несут ответственность за определение того, какая наука действительно важна, сказал Шрэг. Для этого необходимо читать и изучать научную литературу, «чтобы быть окончательным арбитром, а не позволять алгоритмам быть окончательным арбитром того, что мы считаем высоким качеством».
Подпишитесь на темы и авторов этой истории, чтобы видеть больше похожих материалов в ленте новостей на вашей персональной главной странице и получать обновления по электронной почте.
- Элисса Велле
Элисса Велле
ИИ-репортер
Публикации этого автора будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все Элиссы Уэлле
ИИ
Публикации по этой теме будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все ИИ
Google
Публикации по этой теме будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все Google
Отчет
Публикации по этой теме будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Посмотреть все отчеты
Наука
Публикации по этой теме будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть всю науку
Технологический
Публикации по этой теме будут добавляться в вашу ежедневную рассылку по электронной почте и на вашу домашнюю страницу.
Смотреть все технологии
Самый популярный
Самый популярный
- К черту, я устанавливаю Linux.
- Контроллер Echo Aviation Controller — это симулятор полета в ваших руках
- Паровая машина и паровая рама: ответы на ваши вопросы
- Цена на Apple Watch Series 11 упала до рекордно низкой отметки
- Google запускает Gemini 3, свою «самую интеллектуальную» модель ИИ на сегодняшний день
The Verge Daily
Бесплатный ежедневный дайджест самых важных новостей.
Адрес электронной почты (обязательно)Указывая свой адрес электронной почты, вы соглашаетесь с нашими Условиями и Уведомлением о конфиденциальности. Этот сайт защищен reCAPTCHA, и применяются Политика конфиденциальности и Условия обслуживания Google. Материалы рекламодателя 
Это заголовок для нативной рекламы.
Источник: www.theverge.com
