Выступление Сэма Альтмана в Совете Безопасности ООН | OpenAI

Сегодня генеральный директор OpenAI Сэм Альтман выступил перед Советом Безопасности ООН по вопросам искусственного интеллекта. Он обсудил потенциал ИИ для расширения возможностей, важность сохранения мощных систем под контролем человека, а также необходимость международного сотрудничества в области безопасности ИИ.

Высказанные замечания

Спасибо, господин Президент и Ваши Превосходительства. Для меня большая честь быть здесь и иметь возможность обратиться ко всем вам в это важное время.

Мы говорим об искусственном интеллекте уже много лет, но в последние недели и месяцы ситуация изменилась. Быстрый прогресс в разработке моделей сжал временные рамки, сделал потенциальные выгоды более ощутимыми, но также и ставки, и риски — более непосредственными.

Перед нами стоит выбор. Искусственный интеллект может стать либо новым Ренессансом творчества и открытий, либо новой промышленной революцией, полной потрясений и хаоса.

Эпоха Возрождения была временем, когда новые инструменты, новые идеи и новые институты расширили представления людей о своих возможностях. Искусственный интеллект может сыграть эту роль в наше время. Я считаю, что люди гораздо способнее, чем они сами себя представляют, но их сдерживают ограниченные технологии, которые должны были расширять возможности, но вместо этого отвлекают и часто отнимают внимание.

Лучшая версия ИИ — это не превращение людей в винтики гигантской машины или оптимизация каждой сферы жизни до тех пор, пока человеческий фактор не исчезнет. Это предоставление людям большей свободы действий во всё более сложном мире: больше возможностей учиться, творить, открывать новое, строить, участвовать. Есть много вещей, которые ИИ не может — и не должен — автоматизировать.

Искусственный интеллект следует создавать для людей, а не просто для того, чтобы ускорять работу машин ради их же блага. Некоторые заявления разработчиков ИИ настолько антиутопичны, что звучат как сюжеты плохих научно-фантастических фильмов.

Всё настолько мощное также внушает страх. Этот момент сложен, поскольку мы одновременно ощущаем огромный потенциал и вполне понятную тревогу.

Эти модели могут помочь людям открывать новые знания: новые лекарства, улучшать здравоохранение, повышать уровень образования и строить более продуктивную экономику. Они могут стать новыми инструментами для людей, позволяющими преследовать мечты и амбиции, которые сегодня кажутся недостижимыми. Сложность жизни для среднестатистического человека резко возросла. Искусственный интеллект может быть как защитным инструментом против этой сложности, так и инструментом беспрецедентных открытий и инноваций.

С другой стороны, по мере того как системы искусственного интеллекта становятся все более совершенными и автономными, они могут развиваться быстрее, чем наши институты, концентрировать власть в руках слишком немногих или принимать решения, которые люди больше не понимают или не контролируют.

Эта проблема становится особенно актуальной по мере того, как мы приближаемся к системам, способным к самосовершенствованию и созданию будущих версий самих себя, что часто называют рекурсивным самосовершенствованием. По мере автоматизации процесса создания ИИ темпы его развития могут резко ускориться. В данный момент требуется крайняя осторожность.

В целом я согласен с профессором Бенджио. Хотя я бы сказал, что их два, а не три — я считаю, что есть два пути, по которым прогресс в области ИИ может пойти очень плохо, и мы должны этого избежать.

Во-первых, мы можем потерять контроль над будущим в руках ИИ. Риск заключается в том, что он развивается настолько быстро, что люди больше не смогут следить за происходящим или вмешиваться, когда это необходимо. Это, очевидно, было бы ужасно.

Отрасль не должна мириться с чрезмерным технологическим риском только потому, что выгоды слишком велики и кажутся слишком важными, чтобы замедлять темпы. Опережение компаний в конкурентной борьбе не является поводом для поспешных решений. Мы также не считаем, что застряли в гонке, где мы не можем этого сделать. В прошлом мы в одностороннем порядке замедляли темпы. Мы будем делать это и в будущем. Мы не хотим создавать системы — мы считаем важным, чтобы все избегали создания систем — в которых мы не сможем обеспечить необходимую согласованность, мониторинг и безопасность.

Нам необходимо понимать, что делают эти системы, и иметь убедительные доказательства того, что они будут выполнять задуманные людьми действия, даже когда станут очень и очень умными. На самом деле, особенно когда они станут очень и очень умными. Неважно, оценивают ли люди риск катастрофы в 10%, 1%, 12% или 0,1%. Ни один из этих уровней не является приемлемым. И мы не должны обучать модели, в отношении которых мы не можем убедительно доказать, что сможем держать их под контролем человека.

Это один из способов, как всё может пойти не так. С другой стороны, эти системы могут сконцентрировать слишком много власти в руках слишком немногих. Ни один человек, компания или страна не должны иметь возможность использовать самые мощные модели ИИ для навязывания своего мировоззрения всем остальным. Компания или страна, которая считает, что только ей можно доверить эту технологию, может использовать это убеждение для оправдания практически чего угодно. Мы должны отвергнуть эту логику, даже когда она удобна для любого отдельного участника.

Я считаю, что существует прагматичный путь решения обеих этих задач. В OpenAI мы подходим к этим вопросам с четкой целью: ИИ должен дать людям больше власти над собственной жизнью. Больше свободы жить так, как они хотят. Больше возможностей решать проблемы, большие или маленькие, и улучшать свои сообщества. Мы не хотим попасть в ловушку слепого оптимизма. Мы также не хотим попасть в ловушку пессимизма. Втягивание в любую из этих крайностей не поможет нам успешно справиться с стоящими перед нами задачами, особенно в то время, когда мир и его люди сталкиваются с такими огромными проблемами, в решении которых может помочь эта технология. Поэтому мы стараемся идти по срединному пути между этими двумя полюсами.

Для нас это означает три принципа.

Во-первых, по мере развития ИИ люди должны оставаться в центре процесса принятия решений в этой области. Согласование — это не абстрактный исследовательский вопрос. Это работа по обеспечению того, чтобы эти системы надежно оставались под контролем человека, отражали человеческие ценности и помогали людям направлять следующие этапы развития. Мы не пытаемся и не должны автоматизировать человеческие суждения или человеческие ценности.

Во-вторых, преимущества научного прогресса и экономического роста должны приноситься людям и служить людям. Искусственный интеллект должен помогать исследователям делать открытия, врачам лечить пациентов, учителям обучать студентов, предпринимателям создавать компании, сообществам решать проблемы, которые казались недостижимыми, и многое другое. Непрерывная история человеческого прогресса заключается не в том, что инструменты заменяют человеческую активность. Она заключается в том, что правильные инструменты делают людей более способными, и я верю, что это зайдет гораздо дальше, чем мы считаем возможным.

В-третьих, эта технология должна расширять возможности людей в индивидуальном плане. Великое будущее возникнет, когда люди реализуют свой потенциал и создают ценность для себя, своих сообществ, своих стран и всего мира. Мы можем быть одними из создателей этой технологии, но мы не герои этой истории. Наша роль заключается в том, чтобы дать людям во всем мире возможность реализовать себя и поверить в волшебство человеческих способностей и навыков.

Теперь у нас есть модели, способные открывать знания, которых у нас раньше никогда не было. Взгляните на прогресс, которого мы достигли в математике. Три года назад наши модели неплохо справлялись с математикой на уровне начальной школы. Два года назад они показывали неплохие результаты на школьных математических конкурсах. Прошлым летом мы достигли уровня золотой медали на самом престижном международном математическом конкурсе. А всего несколько недель назад одна из наших моделей решила одну из задач тысячелетия — уравнения Навье-Стокса.

Эти уравнения используются в проектировании самолетов, прогнозировании погоды и изучении кровообращения. Мы решаем математические задачи не ради самих задач, а для того, чтобы дать людям возможность открывать новые знания и использовать их для улучшения здравоохранения, повышения уровня жизни и расширения потенциала каждого человека во всем мире. Предстоит еще многое открыть.

Но очень важно, чтобы компании не подменяли демократический процесс.

Для того чтобы ИИ стал демократическим инструментом, самые важные решения не могут приниматься исключительно лабораториями в Сан-Франциско. Они должны формироваться в рамках демократических процессов и правительствами, подотчетными народу, которому они служат.

На международном уровне это потребует сотрудничества. В нашей истории были времена, когда страны, конкурирующие друг с другом и не всегда испытывающие друг к другу симпатию, всё же объединялись ради общих интересов и общего блага перед лицом мощных новых технологий. Мы считаем, что сейчас должно быть именно такое время.

Нам необходим механизм для разработки взаимодополняющих национальных и международных стандартов в области искусственного интеллекта: стандартов для измерения возможностей, оценки рисков, определения достаточности мер защиты и сохранения эффективного человеческого контроля по мере того, как системы становятся все более автономными.

Нам нужны общие стандарты, чтобы страны могли сравнивать имеющиеся данные, проверять соблюдение требований и иметь общий язык и понимание происходящего.

Нам необходимы точные и оперативные протоколы отчетности, классификации и информирования об инцидентах, чтобы мир мог извлекать уроки из ошибок до того, как они перерастут в катастрофы.

Нам необходимы надежные каналы связи между правительствами, операторами критической инфраструктуры и техническими экспертами для обмена информацией о возникающих уязвимостях и новых угрозах.

Очевидно, что эти стандарты не должны закреплять за собой существующих игроков или отдавать предпочтение одной бизнес-модели перед другой. Они должны поддерживать разработчиков открытых и закрытых моделей, новых участников рынка и уже существующие лаборатории, национальные органы власти и международное сотрудничество. Каждое правительство должно самостоятельно решать, как интегрировать стандарты в свою правовую систему. Но всем нам будет лучше, если мы сможем договориться о том, как должны выглядеть надежные доказательства, надежные гарантии и надзор на глобальном уровне.

У нас нет ответов на все вопросы, и мы открыты для любых более удачных идей. Мы готовы сотрудничать с вами и приложить все усилия, чтобы найти дальнейший путь.

Мы стоим на перепутье. Один путь ведет к миру, где власть сосредоточена в руках большинства, решения непрозрачны, а люди чувствуют, что самая важная технология в их жизни — это нечто, что делается с ними. Другой путь ведет к миру, где ИИ работает на благо людей, потому что люди, через демократические институты, помогают определять, как он должен развиваться и направлять его; где научный прогресс улучшает реальную жизнь; где больше людей могут участвовать в будущем; и где эта технология продолжает давать отдельным людям и сообществам больше возможностей жить так, как они хотят. Это будущее реализованного потенциала, восторга и удивления.

И именно это будущее, как мы считаем, стоит строить. Большое спасибо.

Источник: openai.com