Что ждет нас в будущем с AI? Полный перевод манифеста Марка Цукерберга

Привет! Меня зовут Саша Журавлев. Я венчурный инвестор и основатель фонда Mento VC. Мы инвестируем в технологические компании на стадиях Seed / Series A в США, а в своем телеграм-канале рассказываю, как вижу рынок и принимаю инвестиционные решения.

Вчера Марк Цукерберг опубликовал огромный манифест о том, каким он видит будущее с AI и сверхинтеллектом. Мне он показался интересным, поэтому мы с командой его изучили и перевели для вас. Приятного прочтения!

Будущее — для всех

Путь к благополучному будущему с AI

Нам повезло жить в невероятный момент истории: в ближайшие несколько лет люди получат доступ к сверхинтеллекту, превосходящему человеческие возможности. Мы сможем создавать и открывать совершенно новые вещи, строить новые бизнесы, воплощать новые идеи, осваивать новые знания, улучшать здоровье и качество жизни. По мере того как мы приближаемся к этому моменту, становится все важнее сформулировать принципы, по которым мы будем использовать сверхинтеллект — так, чтобы он улучшал нашу жизнь, работу, сообщества, укреплял свободу и безопасность.

Главные вопросы в наше время:

• Кто получит доступ к сверхинтеллекту?

• На что мы будем его направлять?

• Будет ли AI сосредоточен в руках нескольких организаций, а доступ к нему — ограничен? Или он станет инструментом, расширяющим возможности каждого?

Марк предлагает строить будущее с AI на трех принципах: 1) процветание возникает, когда больше возможностей получает каждый отдельный человек; 2) сверхинтеллект должен прежде всего помогать людям создавать новое; 3) безопасность обеспечивается тем, что власть и возможности не сосредоточены в одних руках.

Любая новая технология несет в себе и новые возможности, и новые вызовы. Сверхинтеллект станет одной из важнейших технологий в истории, поэтому и масштаб возможностей, и масштаб рисков, скорее всего, окажутся больше всего, с чем нам приходилось сталкиваться за свою жизнь. К этому нужно относиться очень серьезно.

При этом удивительно, насколько мрачно о будущем говорят многие из тех, кто сам разрабатывает AI. Марк не понимает, почему люди, которые верят, что AI уничтожит большинство рабочих мест и во многом сделает человечество ненужным, так торопятся своей работой приблизить это будущее. Не менее странной ему кажется идея, что AI настолько опасен, что единственный способ сделать его безопасным — сосредоточить контроль над ним в руках немногих. История показывает, что надежда на абсолютную власть с благими намерениями редко приводила к безопасным и благополучным результатам.

Человечество уже пережило немало изменений, которые полностью переписывали привычный уклад жизни. И каждый раз люди боялись, что кто-то останется за бортом. Но в итоге все больше людей стали жить дольше, богаче и свободнее. Марк считает, что с AI будет так же, и что благами будущего смогут пользоваться все, а свобода, открытый поиск знаний, предпринимательство и равенство возможностей помогут нам построить благополучное будущее.

Люди добивались наибольшего прогресса тогда, когда могли самостоятельно идти к своим целям. Новые идеи и большие прорывы редко рождаются только внутри устоявшихся институтов: они появлялись благодаря братьям из велосипедной мастерской, которые поверили, что человек может летать; ученику переплетчика без образования, который понял, как получать электричество; и парню из гаража, решившему, что персональные компьютеры должны быть доступны каждому. Марк считает, что так будет и дальше. Чем более мощные инструменты получают люди, тем больше возможностей у каждого из нас влиять на будущее.

Главным вкладом сверхинтеллекта станет не автоматизация, а способность создавать новое. Первые системы AI могли отвечать на вопросы и выполнять рутинные задачи. В ближайшем будущем AI все чаще будет помогать нам получать новые знания — от разработки лекарств, способных вылечить близкого человека, до поиска новых способов развивать бизнес. Количество вопросов, которые человек может задать за день, ограничено. А количество полезных вещей, которые сверхинтеллект способен придумать и создать, помогая нам достигать своих целей — нет.

Когда доступ к мощному интеллекту станет практически неограниченным, главным вопросом будет то, на что мы его направим. Некоторые считают, что сверхинтеллект или те, кто его контролирует, должны решать, что лучше для человечества. Марк с этим не согласен. История демократии и экономики показывает, что единого объективного ответа на вопрос, как людям лучше жить, не существует, и поэтому лучше позволить людям самим решать, что для них важно.

Марк считает, что лучше всего будет сделать сверхинтеллект доступным каждому. В каком-то смысле это продолжение того же пути, благодаря которому мощь суперкомпьютеров и интернета оказалась у нас на столах и в карманах. Вместо того, чтобы сосредотачивать сверхинтеллект в одних руках, его нужно сделать доступным как можно большему числу людей и дать каждому возможность самому решать, на что его использовать. Это может открыть новую эпоху, в которой у людей появится гораздо больше возможностей раскрывать свой потенциал, заниматься тем, что им действительно интересно, и сильнее, чем когда-либо прежде, менять к лучшему свою жизнь и мир вокруг.

—

Чтобы звучало не так абстрактно, вот несколько конкретных примеров, как Марк видит будущее сверхинтеллекта:

• У каждого появится очень мощный личный AI-агент, который будет понимать вас, ваши цели и все, что для вас важно. Он будет круглосуточно работать в ваших интересах: помогать с отношениями, здоровьем, карьерой, финансами, домашними делами, хобби и многим другим. Он освободит вам время на то, что вам действительно нравится, и поможет добиваться большего, чем вы смогли бы без него. У него будут надежные настройки конфиденциальности и безопасности, поэтому ему можно будет доверить личную информацию, зная, что никто другой не получит к ней доступ. Общаться с агентом можно будет через любое устройство, в том числе через очки, чтобы пользоваться его помощью и при этом оставаться включенным в происходящее и не выпадать из общения с близкими.

Например, агент Марка обращает его внимание на интересную информацию и помогает быстро проверять идеи на практике. Он следит за его сном, наблюдает за тренировками и дает рекомендации, помогая ему заботиться о здоровье. Его дочь любит печь, поэтому агент каждую неделю подбирает для них рецепты, которые они могут приготовить вместе на выходных, заказывает нужные ингредиенты, а во время готовки подсказывает, что можно сделать лучше.

• У каждого появятся мощные инструменты для творчества и воплощения своих идей. Восьмилетняя дочь Марка уже сейчас может за один вечер завайбкодить свою идею и собрать видео, на которое раньше ушли бы месяцы. Марк с дочкой вместе проектируют робота, пока исследователи создают новые кристаллические структуры для очков дополненной реальности. Он считает, что скоро у каждого появятся беспрецедентные возможности для создания нового.

• У каждого появятся мощные инструменты для создания новых бизнесов, и сама экономика станет более предпринимательской. Люди уже начинают получать возможность самостоятельно воплощать свои идеи, без необходимости привлекать инвестиции или собирать большие команды. Многие идеи, которые раньше было слишком сложно или дорого реализовать, теперь станут осуществимыми. А значит, появится гораздо больше новых проектов и компаний. Марк считает, что со временем это приведет не только к значительно более быстрому экономическому росту, но и к увеличению числа рабочих мест (а не к их сокращению).

• У каждого появится персональный преподаватель и наставник уровня PhD в любой области. Этот учитель будет обладать бесконечным терпением и готовностью помочь освоить все, что интересно. Ученики и студенты получат дополнительную помощь именно там, где она нужна — сегодня такая возможность часто есть только у тех, чьи родители могут за нее платить. У взрослых появится сверхинтеллектуальный помощник в обучении, который будет понимать, как именно научить конкретного человека новым профессиональным навыкам, языкам, новым увлечениям или чему угодно еще, что его интересует.

• Каждый сможет пользоваться результатами научного прогресса и сам вносить в него вклад. Например, Biohub — исследовательская организация Марка Цукерберга и Присциллы Чан, занимающаяся биомедициной и AI, — уже выпустила open source биологические модели, связанные с виртуальными клетками и белками. Они помогают ученым делать новые открытия и разрабатывать новые лекарства. Когда Марк и Присцилла начинали эту работу, их целью было помочь ученым научиться лечить или предотвращать все болезни в течение этого столетия. Теперь, благодаря развитию AI, они рассчитывают, что это произойдет гораздо раньше.

Поскольку существует множество редких заболеваний, а организм каждого человека устроен по-своему, лечение все чаще нужно подбирать индивидуально. Участие самих пациентов поможет быстрее развивать такие методы лечения и проводить испытания. Это также поможет уделять больше внимания редким заболеваниям, а не только самым распространенным.

За пределами биологии AI поможет развивать исследования во всех областях науки: неделями и месяцами выдвигать, проверять и уточнять гипотезы. Научные открытия, вероятно, станут одним из самых ценных для общества способов создавать новое.

• У каждого будет бесплатный или дешевый доступ к AI-инструментам. Чтобы каждый мог быть частью будущего, у всех должна быть возможность использовать сверхинтеллект, чтобы улучшать свою жизнь и влиять на мир вокруг. Марк планирует предлагать бесплатные версии моделей, которыми смогут пользоваться миллиарды людей. Для тех, кому потребуется больше вычислительных мощностей, будет работать динамический аукцион: он должен обеспечивать максимально низкую цену за используемые ресурсы и одновременно направлять мощности туда, где они приносят наибольшую ценность для людей. Так преимущества сверхинтеллекта смогут быть доступны как можно более широкому кругу людей.

Все эти направления исходят из идеи, что у человека должно быть больше возможностей самостоятельно влиять на свою жизнь и на мир вокруг. Если эти усилия окажутся успешными, у людей станет больше свободы действий, возможностей воплощать свои идеи, строить более глубокие отношения, улучшать свое здоровье и благосостояние, а также создавать вещи, которые сегодня мы даже не можем представить.

Но самое главное — будущее будут создавать сами люди, и оно будет отражать их различные ценности и взгляды.

—

Одновременно с этим, новые технологии приносят и новые риски. Марк сосредоточен на нескольких важных вопросах: как справиться с возможным сокращением рабочих мест и сделать так, чтобы строительство дата-центров приносило пользу местным сообществам; как снизить риски злоупотребления AI в кибербезопасности и биологии; как избежать государственного произвола и тотальной слежки; как сохранить лидерство США и других демократических стран; и, наконец, как сделать так, чтобы человечество сохранило контроль над сверхинтеллектом и он служил людям, а не создавал для них угрозу.

Распространенная точка зрения состоит в том, что все эти риски — прежде всего проблема технологии. То есть, если дать себе достаточно времени, технологию можно довести до нужного уровня и правильно настроить — добиться так называемого alignment, при котором поведение AI соответствует человеческим целям и ценностям. В итоге, согласно этой логике, можно получить единый сверхинтеллект, который действует во благо человечества. Марк считает сам такой подход в корне ошибочным.

Человечество неоднородно. У людей разные ценности, а значит, в важных вопросах они готовы идти на разные компромиссы. Не существует технологии, которую можно одновременно настроить в соответствии со всеми противоречащими друг другу интересами и ценностями. Любому единому сверхинтеллекту пришлось бы ставить одни ценности выше других. А значит, он в принципе не смог бы одинаково действовать во благо всех.

Вместо этого Марк предлагает смотреть на такие риски через вопрос баланса сил — примерно так же, как устроены демократические институты на Западе. Люди и организации с разными интересами естественным образом ограничивают и уравновешивают друг друга. По его мнению, именно такой подход чаще приводит к более благоприятным результатам. Поэтому лучший и наиболее реалистичный путь к благополучному будущему с AI — сделать сверхинтеллект доступным каждому.

Марк предлагает представить простой мысленный эксперимент. Допустим, AI-юрист есть только у одного человека. В суде это дало бы ему огромное и несправедливое преимущество — даже если по существу дела он неправ. А теперь представим, что такой юрист есть у каждого. Тогда судебные процессы могли бы стать гораздо справедливее и эффективнее, чем сегодня, ведь у сторон часто сильно отличаются уровень подготовки и доступные ресурсы.

По той же логике, если сверхинтеллект в сфере кибербезопасности будет только у одного человека, он, скорее всего, сможет взломать почти любую техническую систему — и мир станет намного менее безопасным. Но если такой AI будет доступен всем, он, наоборот, поможет постоянно находить уязвимости, усиливать защиту и обновлять системы, делая их безопаснее.

То же самое с бизнесом. Если сверхинтеллект будет только у одной компании, она сможет обойти всех конкурентов, а рынок станет менее динамичным и будет приносить пользу гораздо более узкому кругу людей. Но если доступ к сверхинтеллекту будет у всех, у каждого появятся инструменты для создания того, что сегодня еще невозможно. В результате экономика станет более динамичной, а ее рост будет приносить пользу гораздо большему числу людей.

Когда у людей есть достаточно возможностей и ресурсов, они естественным образом конкурируют и уравновешивают влияние друг друга — в экономике, обществе, политике и других сферах. Так же люди уравновешивают власть крупных институтов, включая компании и государства.

Но если возможности сверхинтеллекта окажутся сосредоточены в руках небольшой группы людей, компаний, правительств или самого AI, для всех остальных последствия будут хуже. Марк подчеркивает: дело здесь не в самой технологии, а в том, у кого сосредоточена власть. По его мнению, единого сверхинтеллекта, который мог бы одинаково действовать во благо всех, просто не существует.

Поэтому, как считает Марк, главное условие благополучного будущего — такой баланс сил, при котором больше возможностей остается у самих людей. Для этого сверхинтеллект должен быть доступен как можно более широкому кругу людей и усиливать их возможности.

Марк в первую очередь сосредоточен именно на создании сверхинтеллекта для каждого. Большинство других лабораторий разрабатывают AI прежде всего для компаний, государств и других крупных институтов. Поэтому, если именно они окажутся впереди, баланс сил сместится в пользу крупных организаций, а не отдельных людей. Марк подчеркивает, что миссия его компании с самого начала заключалась в том, чтобы давать людям больше возможностей и влияния. По его мнению, если именно этот подход станет определяющим, баланс сил будет складываться в пользу людей — а значит, и в пользу более благополучного будущего для всех.

—

Давайте подробнее разберем каждый из рисков:

Рост занятости и экономика

Людям всегда хочется новых впечатлений, и они постоянно находят новые задачи, которые нужно решать. В экономике существует естественный баланс: компании используют автоматизацию, чтобы эффективнее удовлетворять потребности людей, а сами люди осваивают новые навыки и начинают решать более сложные задачи. Когда этот баланс сохраняется, растут и производительность, и инновации, и количество рабочих мест. Многие боятся, что AI будет автоматизировать работу быстрее, чем мы будем успевать осваивать новые навыки и адаптироваться: тогда часть профессий исчезнет, а людям придется проходить сложный период переобучения и искать себе новое применение.

Но совсем не обязательно, что AI будет автоматизировать работу быстрее, чем помогать людям осваивать новые навыки и расширять свои возможности. Последние данные скорее указывают на то, что способности людей могут расти с той же скоростью, что и автоматизация, или даже быстрее. Тогда люди научатся делать много нового еще до того, как изменятся их нынешние профессии. Это позволит сохранить здоровый баланс.

Какой из этих сценариев реализуется, зависит от того, что будет развиваться быстрее: автоматизация или возможности людей создавать новое с помощью AI. Если впереди окажутся AI-лаборатории, которые в первую очередь автоматизируют интеллектуальный труд, Марк ожидает более болезненный переход и для людей, и для экономики. Но если у каждого будет доступ к сверхинтеллекту, который расширяет возможности человека, баланс сместится в другую сторону — в пользу людей и более благополучного будущего.

Есть несколько причин думать, что дефицита рабочих мест в будущем не будет. Каким бы умным ни стал AI, вычислительные мощности всегда будут ограничены, а значит, придется выбирать, на что их направлять. Если с помощью AI люди смогут создавать действительно ценные новые вещи, логичнее будет тратить вычислительные мощности на это, а не на автоматизацию уже существующих профессий. Чем больше сверхинтеллект будет использоваться как инструмент для создания нового, тем выше вероятность, что возможности людей будут расти быстрее автоматизации — и тем лучше окажется будущее для самих людей.

Люди постоянно придумывают новые способы сделать жизнь лучше, и вместе с этим — новые профессии, которые помогают воплощать эти идеи. Еще поколение назад не существовало разработчиков, создателей контента для соцсетей, специалистов по электромобилям или операторов дата-центров. В ближайшем будущем появятся профессии, которые сегодня еще почти не встречаются: например, люди, которые в одиночку смогут разрабатывать и выпускать игрушки, мебель или одежду на заказ; дизайнеры миров и впечатлений, создающие игры, истории и приключения; персональные биологи, использующие сверхинтеллект для разработки индивидуального лечения; и многое другое, чего мы пока даже не можем представить.

Во многом это продолжение уже знакомой исторической тенденции: до промышленной революции около 90% людей занимались сельским хозяйством, потому что им нужно было производить еду, чтобы выжить. Технологический прогресс постепенно освободил значительную часть человечества от необходимости тратить почти все время на базовое выживание и дал людям возможность больше заниматься тем, что они выбирают сами. На каждом этапе рост производительности позволял людям делать то, что раньше было невозможным, и одновременно уделять больше времени творчеству, культуре, отношениям и просто жизни.

Конечно, то, как мы работаем, будет меняться, как это уже происходило с появлением компьютеров, интернета и других новых технологий. Людям придется адаптироваться, и это будет непросто. Но если у каждого будет личный AI-агент, который помогает осваивать новые навыки и приспосабливаться к изменениям, этот переход пройдет гораздо легче.

Компании при этом могут стать меньше — как когда-то произошло при переходе от огромных корпораций к стартапам. Но это не значит, что количество рабочих мест уменьшится. Скорее, компаний станет больше, а людей в каждой из них — меньше. Марк ожидает, что с помощью личных AI-агентов небольшие команды смогут запускать и развивать компании такого масштаба, для которого сегодня нужны сотни или тысячи сотрудников. Малый бизнес, по его мнению, и дальше будет оставаться основой экономики — просто каждый такой бизнес сможет делать гораздо больше, чем сегодня.

Развитие AI-инфраструктуры совместно с интересами местных сообществ

Марк считает, что строительство новой AI-инфраструктуры должно приносить пользу тем регионам, где она появляется. Например, хорошо оплачиваемые рабочие места, инвестиции в школы и государственные службы, меры против роста цен на электричество и забота об окружающей среде. Рост налоговых поступлений тоже должен работать на местных жителей: давать больше ресурсов школам, полиции, пожарным и другим общественным службам.

В отличие от опасений по поводу сокращения интеллектуальных профессий, с рабочими специальностями ситуация обратная: сейчас не хватает плотников, электриков, строителей и других специалистов, которые нужны для масштабного строительства этой инфраструктуры. Поэтому Марк создал America’s Workforce Academy — программу бесплатного обучения рабочим специальностям. В компании считают такой подход важным принципом устойчивого развития.

Марк утверждает, что его дата-центры проектируют так, чтобы они расходовали как можно меньше воды. К 2030 году компания планирует возвращать в местные водные системы больше воды, чем потребляет. А в регионах с особенно острым дефицитом воды — восстанавливать объем, вдвое превышающий собственное потребление.

Исторически города, в которые приходили железные дороги, автомагистрали, электричество и интернет, часто становились центрами бизнеса, исследований и промышленности. За этим следовали рост населения и экономики. Марк считает, что AI-инфраструктура может сыграть такую же роль — если строить ее вместе с реальными долгосрочными инвестициями в местные сообщества, чтобы у следующего поколения были причины оставаться там, строить карьеру и жизнь.

У развития такой инфраструктуры есть и более широкий аспект — национальные интересы и безопасность. По мнению Марка, американские регионы будут богаче и безопаснее, если США и их союзники сохранят лидерство в AI. При этом у США есть заметный недостаток по сравнению с тем же Китаем: строить новую инфраструктуру здесь сложнее и дольше. Поэтому Марк считает важным выработать такие условия сотрудничества с местными сообществами, которые позволят развивать инфраструктуру по всей стране и при этом приносить пользу самим регионам.

Защита от злоупотреблений AI: кибератаки, биотерроризм и другие угрозы

В свободном обществе у людей всегда будут инструменты, которые можно использовать и во благо, и во вред. Но у государства, а именно у правоохранительных органов и армии, обычно больше ресурсов, оружия и возможностей для сбора информации. С AI, считает Марк, должно работать так же: у тех, кто защищает общество, должно быть больше вычислительных ресурсов, чтобы получать от тех же моделей больше полезной информации, а в некоторых случаях — и доступ к более продвинутым моделям.

Конкретные способы защиты от кибератак, биотерроризма и других угроз могут отличаться, но общий принцип один: у тех, кто сдерживает злоумышленников, должно быть преимущество в ресурсах и возможностях.

Есть мнение, что лучший способ снизить риски — ограничить доступ обычных людей к наиболее мощным возможностям AI. Марк с этим не согласен. По его мнению, если дать людям сильные инструменты кибербезопасности, это поможет защищать огромное количество самых разных систем. А доступ к мощным научным инструментам позволит быстрее развивать науку и в долгосрочной перспективе снижать риски. Если ограничивать доступ людей к таким возможностям, AI будет все сильнее сосредотачиваться в руках элиты. Поэтому нужно быть особенно осторожными, особенно если другие страны выберут менее жесткий подход.

В кибербезопасности широко распространенные open source-системы часто оказываются более защищенными: чем больше людей ими пользуются и изучают их, тем быстрее находятся уязвимости, усиливается защита и выходят обновления. Даже в последние недели были случаи, когда компании вроде Hugging Face использовали общедоступные открытые модели, чтобы устранять уязвимости после инцидентов с безопасностью. Марк ожидает, что со временем широкое распространение AI-моделей с сильными возможностями в кибербезопасности сделает системы безопаснее, а не наоборот. Особенно когда сверхинтеллект позволит проверять большую часть мирового кода на безопасность.

Поэтому в долгосрочной перспективе, по его мнению, решение состоит в том, чтобы сделать инструменты безопасности широко доступными и не допустить концентрации всей силы в одних руках. В ближайшее время важно быстрее усиливать защиту критически важных систем. Он предлагает, чтобы компании, разрабатывающие самые передовые AI-модели, выделяли значительные технические ресурсы на помощь государству в защите критической инфраструктуры. Кроме того, такие компании могли бы передавать государству промежуточные версии моделей еще в процессе обучения, не дожидаясь их полной готовности. Так государство получало бы ранний доступ к самым мощным моделям и могло бы заранее привлекать сильных инженеров для поиска и устранения проблем безопасности.

AI-лаборатории также, по мнению Марка, должны сотрудничать с правоохранительными органами и помогать выявлять тех, кто пытается использовать их системы во вред. Он считает, что такой подход позволит быстрее и безопаснее внедрять новые модели, не замедляя их развитие и не откладывая надолго доступ обычных людей к технологии.

Есть и другой риск: AI, который помогает создавать новые лекарства, теоретически можно использовать и для создания опасных веществ. Получается сложный выбор: с одной стороны, AI может сильно ускорить развитие науки и приблизить лечение рака и других заболеваний; с другой — те же технологии могут создать новые риски. В идеале, считает Марк, нужно ускорять научный прогресс и одновременно снижать эти риски.

При этом он предлагает оценивать угрозу осторожно: чтобы уверенно понимать, насколько опасность велика, мы пока знаем слишком мало исторических примеров. Возможность создавать опасные вещества существует уже десятилетиями, но серьезной проблемой это становилось редко — возможно, в том числе потому, что здесь нет такой сильной финансовой мотивации, как в кибератаках. Но если начнут появляться реальные случаи причинения вреда, подход нужно будет пересматривать и усиливать меры защиты.

AI-лаборатории должны продолжать снижать биологические и химические риски своих моделей. Но Марк считает, что и государству нужно менять правила. Во-первых, стоит жестче контролировать производство и распространение опасных веществ, особенно учитывая что физические материалы контролировать проще, чем знания и информацию. Во-вторых, нужно ускорять разработку новых методов лечения и способов защиты от новых угроз. В том числе — упрощать и ускорять процедуры, по которым регуляторы проверяют и одобряют новые лекарства и методы лечения. Поскольку AI уже ускоряет разработку лекарств, эти процессы в любом случае придется менять, чтобы они успевали за темпом новых открытий.

В долгосрочной перспективе Марк предлагает не замедлять научный прогресс из-за возможных рисков, а развивать науку быстрее — в том числе чтобы быстрее находить способы защиты от новых угроз.

Как сохранить свободу и не допустить чрезмерной власти государства

Есть риск, что если государство получит слишком большое преимущество над отдельными людьми, это приведет к ограничению свобод и в крайнем случае — к тоталитаризму. Это одно из постоянных противоречий демократии: мы хотим сохранять личную свободу, но при этом государство должно иметь достаточно возможностей, чтобы обеспечивать безопасность.

Поэтому, считает Марк, сверхинтеллект должен прежде всего усиливать возможности самих людей. В либеральной демократии исходная логика такая: права принадлежат человеку, а ограничивать отдельные свободы допустимо только тогда, когда это действительно небходимо, ради общего блага. По той же логике у людей должен быть доступ к собственному AI сверхчеловеческого уровня, а ограничения на его использование должны вводиться только там, где без них действительно нельзя.

Конфиденциальность — важная основа свободы и самостоятельности человека. Марк считает, что у личных AI-агентов должен быть полностью приватный режим, в котором даже разработчик сервиса не сможет видеть данные пользователя или давать к ним доступ. При этом государству все равно нужны инструменты и ресурсы, чтобы обеспечивать безопасность и следить за соблюдением законов. Вместо ограничений для обычных пользователей Марк предлагает, чтобы AI-компании напрямую работали с государством над вопросами безопасности.

В частности, Марк предлагает давать государству доступ к новым AI-моделям еще до того, как их обучение полностью закончено, и подключать инженеров компаний к работе над безопасностью. Так государство сможет заранее находить новые угрозы и защищать критически важные системы. При этом обычным людям не придется дольше ждать доступа к новым AI-моделям, а у государства не окажется слишком большого преимущества в доступе к технологии.

Лидерство США в AI

Марк считает, что от того, какие страны будут лидировать в разработке и внедрении передового AI, во многом будет зависеть будущий баланс сил в мире — в том числе распространение демократических ценностей, уровень благосостояния и безопасности. По его мнению, важно, чтобы лидирующие AI-системы отражали демократические ценности, помогали экономике расти и укрепляли национальную безопасность. Лучший способ этого добиться — сделать такие системы широко доступными. Марк планирует вносить свой вклад, создавая передовых AI-агентов и модели, в том числе open source, и распространяя их среди миллиардов людей по всему миру.

При этом AI, вероятно, станет одной из самых конкурентных индустрий в истории. Новые разработки здесь очень быстро копируются и становятся стандартом — иногда всего за несколько месяцев. Но пользователи все равно стремятся работать с самыми сильными моделями. Поэтому даже преимущество в два месяца может иметь огромное значение. Из этого Марк делает вывод: отрыв лидера в AI может быть очень коротким, поэтому США важно одновременно ускорять собственные разработки и замедлять геополитических конкурентов.

На это, по его мнению, больше всего влияют три вещи: насколько быстро США могут строить физическую инфраструктуру, не создают ли внутренние правила лишние задержки для американских AI-компаний и насколько эффективно работают экспортные ограничения для иностранных разработчиков.

С инфраструктурой у США и их союзников есть сильная сторона — проектирование чипов. Но есть и слабая: энергетические мощности и физическую инфраструктуру здесь строят медленнее. Например, Китай вводит в эксплуатацию более 1 ГВт атомной мощности примерно раз в две недели. Поэтому, чтобы сохранять конкурентоспособность, США придется быстрее наращивать энергетические мощности и строить дата-центры. Экспортные ограничения на передовые чипы, по мнению Марка, уже помогли замедлить развитие иностранных AI-лабораторий, поэтому он считает правильным продолжать такую политику.

При этом любые правила, которые задерживают выпуск американских моделей даже на месяц, могут ослабить позиции США и дать иностранным разработчикам шанс вырваться вперед. Одновременно важно, чтобы правительство США заранее знало о появлении новых возможностей AI и имело достаточно ресурсов для защиты критически важных систем. В некоторых случаях государству также может быть полезно получить временное преимущество в доступе к самым новым технологиям.

Марк предлагает государству и ведущим AI-компаниям постоянно работать вместе.

Иногда у американских разработчиков может быть запас лидерства в несколько месяцев, и тогда есть смысл потратить больше времени на снижение рисков. В других случаях задержка всего на месяц может стоить США лидерства. Поэтому ранний доступ государства к новым моделям должен помогать укреплять безопасность, не задерживая публичный выпуск технологий без необходимости.

Также Марк считает важным, чтобы США и их союзники лидировали в open source AI, поскольку в будущем открытые модели могут составлять значительную часть всего мирового использования AI.

Сейчас у иностранных разработчиков здесь есть определенные преимущества: американские компании сталкиваются с большим количеством ограничений на использование данных для обучения моделей. Если США хотят, чтобы их open source-модели со временем стали лучшими в мире, эти барьеры, по мнению Марка, нужно ломать. При этом он не считает эффективным ограничивать доступ к иностранным open source-моделям. Цель должна быть другой: сделать американские открытые модели настолько сильными, чтобы они сами выигрывали конкуренцию. Если запрещать людям и компаниям пользоваться лучшими open source-моделями только потому, что они созданы за пределами США, качество доступного AI снизится. Кроме того, AI будет сильнее сосредотачиваться в руках ограниченного числа компаний, а не становиться доступнее людям.

Чтобы США могли лидировать в open source, Марк предлагает пересмотреть правила в нескольких областях, в том числе использование данных для обучения и дистилляцию моделей. Дистилляция — это подход, при котором одна AI-модель учится на результатах работы другой. Марк считает, что возможность моделей учиться друг у друга — важная часть open source-экосистемы. Все AI-модели в конечном счете основаны на человеческих знаниях, поэтому нужно разрешать учиться на доступной им информации, в том числе на результатах работы других моделей. Если США слишком сильно ограничат себя в этом вопросе, сохранить лидерство будет сложно.

Если смотреть шире, Марк считает, что общее отставание США в AI почти наверняка станет более серьезной и долгосрочной угрозой национальной безопасности, чем любая отдельная проблема, которая может возникнуть по мере развития технологии.

При правильном сотрудничестве государства и частных компаний, по его мнению, США смогут одновременно сохранять лидерство в AI, распространять по миру технологии, основанные на индивидуальной свободе и демократических принципах, и укреплять национальную безопасность.

Как сохранить контроль над AI

Главный вопрос — как людям сохранить контроль над самим AI? Риск в том, что со временем AI может получить слишком много возможностей и влияния: в лучшем случае он перестанет действовать в интересах людей, а в худшем — станет для человечества угрозой.

Марк считает, что для этого не должно существовать одного единственного сверхинтеллекта, сосредоточенного в одних руках. Вместо этого у как можно большего числа людей и компаний должны быть свои AI-агенты, настроенные под их цели. Такие агенты будут конкурировать друг с другом и уравновешивать влияние друг друга — примерно так же, как сегодня конкурируют люди и компании в экономике. Дополнительную защиту, по мнению Марка, даст и то, что самые сильные AI-модели будут разрабатывать несколько независимых лабораторий с разными подходами и ценностями. Тогда ни одна из них не получит слишком большого влияния, а их системы смогут уравновешивать друг друга.

Да, выпуск мощных AI-моделей несет риски. Но еще опаснее ситуация, когда ведущие AI-лаборатории создают самые сильные модели и оставляют их только себе. Даже если компании объясняют это безопасностью и ответственностью, результат может быть опасным: один сверхмощный AI окажется сосредоточен в одних руках, а у других систем не будет возможности его уравновесить.

Создание личных AI-агентов требует и другого подхода к alignment — то есть к тому, как настраивать AI, чтобы его поведение соответствовало нужным целям и ценностям. Сегодня многие AI-лаборатории понимают alignment как способ заставить модель следовать единому набору правил и ценностей. Марк приводит пример одной из ведущих моделей, которая отказалась помогать написать письмо родителям будущих учеников школы, потому что сама посчитала стандартизированные тесты неэтичными.

Марк предлагает другой подход. AI-агент должен следовать прежде всего целям и ценностям самого человека, а не ценностям компании, которая его создала. Конечно, должны оставаться ограничения, связанные с законом и безопасностью. Но в остальном задача звучит как помогать людям следовать своим разным целям и взглядам, а не навязывать всем единый набор ценностей.

На практике люди не будут пользоваться AI-агентами, если не смогут доверять им личную информацию и важные задачи. А доверия в свою очередь не будет, если агент действует не в интересах самого человека, а следует ценностям компании, которая его создала.

Чтобы миллиарды людей начали пользоваться личными AI-агентами, нужно решить проблему alignment — научиться настраивать их под цели и интересы конкретного человека. Но если миллиарды людей действительно начнут постоянно пользоваться такими агентами и внимательно следить за их работой, это будет означать, что задачу уже удалось решить. По мнению Марка, этого будет достаточно, чтобы разные AI-системы уравновешивали друг друга и не позволяли слишком большой силе сосредоточиться в одних руках.

Нужно найти способ сделать личных AI-агентов полезными и заслуживающими доверия, чтобы ими пользовалось много людей, а возможности AI были распределены между ними. Именно такой баланс, по мнению Марка, и должен сделать будущее безопаснее.

Как сохранить контроль над сверхинтеллектом

Здесь возникает сложная проблема: когда AI научится самостоятельно улучшать самого себя, лабораториям придётся направлять значительные вычислительные мощности на этот процесс, иначе они начнут отставать. Такое самоулучшение может, например, сделать AI гораздо эффективнее: теоретически он сможет получать в 100 раз больше возможностей при тех же энергозатратах.

Есть несколько способов сохранить баланс сил, даже если AI научится самостоятельно улучшать самого себя. Самый простой — если сразу несколько лабораторий достигнут такого уровня примерно одновременно. Если хотя бы часть этих сверхинтеллектов будет действовать во благо людей, они смогут сдерживать и уравновешивать друг друга. Но Марк признает, что рассчитывать на это нельзя: нет гарантии, что сверхинтеллект, которым напрямую не управляют люди, действительно будет действовать в наших интересах.

Чтобы люди сохраняли контроль, большая часть возможностей AI должна оставаться направлена на достижение человеческих целей. Это значит, что ведущие AI-лаборатории и облачные компании должны вместе создать достаточно вычислительных мощностей. Тогда часть ресурсов можно будет направлять на самоулучшение AI, чтобы не отставать в гонке, а большую часть — по-прежнему использовать для задач и целей самих людей.

Как уже говорилось выше, чтобы миллиарды людей начали пользоваться личными AI-агентами и доверять им, нужно научиться настраивать их под интересы конкретного человека и создать систему, в которой разные AI уравновешивают друг друга. Но AI, который самостоятельно улучшает самого себя, по определению уже начинает двигаться к собственным целям. Поэтому все лаборатории должны внимательно следить за тем, чего такие системы пытаются добиться и насколько люди все еще способны ими управлять. Если появятся признаки опасного поведения, лаборатории должны координироваться и менять подход. При этом сам по себе факт, что AI или кто-то другой следует собственным целям, еще не означает угрозу — даже если эти цели не полностью совпадают с интересами многих людей. Главное, чтобы общий баланс сил все равно оставался в пользу людей. Основная идея Марка здесь в том, что разные интересы и конфликты между ними — это нормально, а лучший способ сохранить человеческие ценности — дать самим людям больше возможностей и контроля.

—

Из этого подхода — давать людям больше возможностей, использовать AI для создания нового и не допускать концентрации силы в одних руках — следуют несколько важных выводов для государственной политики:

• Марк сосредоточится на том, чтобы сделать личный сверхинтеллект доступным миллиардам людей и малому бизнесу — чтобы каждый мог достигать своих целей и создавать то, что хочет видеть в мире. Для этого будут обучать передовые модели и делать их максимально доступными: простыми в использовании, бесплатными или как можно более дешевыми, обеспеченными достаточными вычислительными мощностями и широко распространенными. Также появится полностью приватный режим, в котором даже компания не сможет видеть данные пользователя или давать к ним доступ. И отдельное внимание уделят alignment — то есть настройке AI под цели самого человека.

• Open source помогает делать технологии доступнее людям и не дает им сосредоточиться в руках небольшого числа компаний — а это важно и для безопасности, и для экономики. Марк по-прежнему активно поддерживает open source, в том числе открытые AI-модели. Сейчас эта экосистема хорошо развивается, и Марк считает, что ограничивать ее было бы ошибкой.

• Поскольку решения о выпуске сверхинтеллекта могут иметь очень серьезные последствия, Марк считает важным, чтобы их контролировал не один человек. По его мнению, ни он сам, ни кто-либо другой не должны единолично решать, как и когда такие системы выпускать. Поэтому компания вводит систему, при которой независимый совет директоров будет утверждать критерии безопасности для новых моделей и проверять, соответствует ли им каждый выпуск. Хотя контроль над компанией остается у Марка Цукерберга, руководители всех ведущих AI-лабораторий сегодня в целом имеют очень широкие полномочия в вопросах выпуска моделей. Марк предлагает другим компаниям создать похожие механизмы контроля и считает, что со временем такой подход было бы полезно распространить на всю индустрию.

—

Мы живем в невероятное время. Создание сверхинтеллекта может стать самым значительным технологическим прорывом, который мы увидим за свою жизнь.

Чем ближе мы к этому подходим, тем важнее понимать, на каких принципах должен строиться сверхинтеллект и как именно он должен приносить пользу людям. Марк исходит из трех идей: больше возможностей у самих людей — основа процветания; главная задача AI — помогать создавать новое; а безопасность требует такого баланса сил, при котором преимущество остается у людей.

Если именно эти ценности будут определять развитие AI, Марк с оптимизмом смотрит на ближайшие десятилетия. На протяжении истории люди постепенно получали все больше возможностей самостоятельно решать, как им жить и каким делать мир вокруг. Сверхинтеллект может дать такие возможности каждому — и помочь построить лучшее будущее для всех.

Спасибо, что дочитали до конца!

Источник: habr.com