На краю пропасти
Философ Тоби Орд, много лет изучавший проблему глобальной бедности, в разное время — советник Всемирной организации здравоохранения, Всемирного банка и других важных международных институтов, один из основателей движения эффективного альтруизма, посвятил свой труд экзистенциальным рискам, способным разрушить не только настоящее, но и весь будущий потенциал человечества.
Выделяя основные риски, с которыми нам предстоит столкнуться, Орд приводит слова Уинстона Черчилля, предупреждавшего, что "те достижения мысли, которые сулили человечеству неизмеримые материальные блага, могут обернуться его полным уничтожением". Опираясь на современные научные исследования и огромный массив данных, Орд выражает ясную, доступную и в высшей степени гуманистическую мысль: он призывает человечество в целом и к каждого человека в отдельности внести свой вклад в сохранение нашей цивилизации здесь и сейчас. Как бы ни была велика вероятность природных катастроф, главные угрозы для себя создали мы сами — и только в наших силах их предотвратить. Но действовать нужно немедленно.
Предлагаем прочитать фрагмент книги.
Исследования экзистенциального риска
Исследования экзистенциального риска находятся в зачаточной стадии. Мы только начинаем понимать, с какими рисками сталкиваемся и как лучше с ними работать. Что же касается концептуальных и моральных принципов, а также общей стратегии человечества в этом вопросе, мы находимся на еще более ранней стадии. Таким образом, мы пока не готовы к решительным действиям для защиты своего долгосрочного потенциала. В связи с этим очень важно продолжать исследования экзистенциального риска. Они помогут нам определить, какие из доступных мер следует принимать, и открыть абсолютно новые способы борьбы с риском, те, что мы прежде даже не рассматривали.
Часть исследований необходимо посвятить конкретным темам. Нам нужно лучше изучить экзистенциальные риски: узнать, насколько они вероятны, каковы их механизмы и как лучше всего снижать их. Хотя ведутся масштабные исследования ядерной войны, изменения климата и биологической безопасности, лишь малая их часть посвящена самым радикальным событиям в каждой сфере — событиям, которые представляют угрозу для всего человечества. Точно так же необходимо значительно расширить технические исследования того, как настраивать ОИИ в соответствии с человеческими ценностями.
Кроме того, нужно лучше изучить, как работать с основными факторами риска, такими как война между великими державами, и с основными факторами безопасности. Например, понять, как создавать более эффективные институты, которые смогут осуществлять международную координацию и представлять интересы будущих поколений. Или как повышать свою стойкость, чтобы увеличивать вероятность восстановления после несмертельных катастроф. Необходимо и искать новые факторы риска и безопасности, чтобы у нас появилось больше способов работы с экзистенциальным риском.
Параллельно исследованию множества конкретных тем нужно изучать и абстрактные вопросы. Нам следует лучше разобраться в том, что такое лонгтермизм, потенциал человечества и экзистенциальный риск: доработать концепции, сделав их максимально убедительными; выяснить, на какие этические основания они опираются и какие этические обязательства предполагают; и глубже изучить ключевые стратегические вопросы, стоящие перед человечеством.
Может показаться, что эти области слишком огромны и неприступны, но прогресс в них возможен. Вспомните идеи, которые мы обсуждали на страницах этой книги. Некоторые из них имеют весьма общий характер: обзор истории человечества на протяжении столетий, Пропасть и важность защиты будущего. Но многие можно свести к емким и четким тезисам. Например, что катастрофа, в которой погибнет 100 % населения, может быть гораздо хуже, чем катастрофа, в которой погибнет 99 % населения, поскольку в первом случае человечество лишится будущего; продолжительность существования человечества как вида свидетельствует, что вероятность природных рисков не слишком высока; что снижение экзистенциального риска, как правило, будет недополучать ресурсы, поскольку это межпоколенческое всеобщее общественное благо; или что риски состояния отличаются от рисков переходного периода. Уверен, со временем появится еще немало подобных идей. Чтобы прийти к ним, специальные знания, как правило, не нужны — достаточно аналитического ума, который ищет закономерности, инструменты и объяснения.
Возможно, это удивит вас, но для многих исследований экзистенциального риска уже доступно финансирование. Некоторые дальновидные филантропы воспринимают экзистенциальный риск всерьез и недавно начали спонсировать первоклассные исследования основных рисков и путей их устранения. Так, проект "Открытая филантропия" профинансировал недавнее моделирование ядерной зимы, а также исследования безопасности технического ИИ, готовности к пандемии и изменения климата — и все с особенным вниманием к самым неблагоприятным сценариям. На момент написания этой книги спонсоры проекта готовы финансировать и множество новых исследований, и сдерживают их не деньги, а недостаток хороших исследователей, желающих заняться соответствующими вопросами.
Открылось и несколько научных институтов для исследования экзистенциального риска. Например, кембриджский Центр изучения экзистенциального риска (CSER) и оксфордский Институт будущего человечества (FHI), где работаю я. Такие организации позволяют ученым-единомышленникам, представляющим разные дисциплины, вместе разрабатывать научные, этические и стратегические аспекты защиты человечества.
Чего делать не стоит
В этой главе говорится о том, что делать, чтобы защитить наше будущее. Но ничуть не менее полезно узнать, чего делать не стоит. Вот несколько примеров.
Не спешите с регулированием. В нужное время регулирование может стать весьма полезным инструментом для снижения экзистенциального риска. Но пока мы слишком плохо понимаем, как именно его осуществлять. Введение плохо продуманного регулирования стало бы большой ошибкой.
Не совершайте необратимых действий в одиночку. Некоторые контрмеры могут только усугубить наше положение (например, радикальная геоинженерия или публикация генома оспы). Не стоит забывать о проклятии односторонности (с. 164), когда возможность предпринимать действия в одностороннем порядке склоняет к действию людей, которые оценивают ситуацию наиболее оптимистично.
Не распространяйте опасную информацию. Изучать экзистенциальный риск — значит исследовать уязвимости нашего мира. Порой это рождает новые опасности. Если недостаточно осторожно обращаться с такой информацией, мы рискуем стать еще более уязвимыми (см. врезку "Информационные угрозы", с. 164).
Не преувеличивайте риски. Заявления об экзистенциальном риске часто считают преувеличенными. Свою роль в этом играет и тенденция завышать риски, из-за которой людям становится значительно труднее разглядеть на общем фоне данные, полученные в ходе трезвого и взвешенного анализа.
Не проявляйте фанатизма. Защита нашего будущего имеет исключительное значение, но это не единственная важная задача, стоящая перед человечеством. Мы должны проявлять сознательность и нести в мир добро. Утомлять других бесконечными разговорами о риске нецелесообразно. Уговаривать их, что этот вопрос важнее любого другого, который кажется важным им, и того хуже.
Не проявляйте племенных инстинктов. Защита нашего будущего не прерогатива левых или правых, богатых или бедных, Востока или Запада. Эта задача лишена идеологической окраски. Если представлять ее как политический вопрос, стоящий по одну из сторон спорного водораздела, это может обернуться катастрофой. В будущем всем есть что терять, поэтому мы должны защищать его вместе.
Не забывайте о добросовестности. Когда на кону стоит нечто невероятно важное, а остальные не торопятся ничего предпринимать, людям кажется, что у них есть право добиваться успеха любыми способами. Нам ни в коем случае нельзя поддаваться такому соблазну. Единственный недобросовестный человек может испортить дело и перечеркнуть всё, чего мы надеемся достичь.
Не отчаивайтесь. Отчаяние лишает нас сил, затуманивает наш разум и прогоняет всех, кто пытается нам помочь. Отчаяние — это самоисполняющееся пророчество. Хотя риски реальны и значительны, нам не известно ни одного риска, который мы были бы не в состоянии устранить. Только с высоко поднятой головой можно добиться успеха.
Не забывайте о хорошем. Хотя риски — главные трудности, с которыми сталкивается человечество, нельзя, чтобы наша жизнь сводилась только к ним. Нас ведет вперед надежда на будущее. Если ориентироваться на нее, у нас — и у остальных — появится необходимый стимул защищать свое будущее.
Что можете сделать вы
В этой главе в основном рассматривались системные вопросы о том, как человечеству в целом преодолеть Пропасть и реализовать свой потенциал. Но среди этих масштабных вопросов и тем у каждого есть шанс сыграть свою роль в защите будущего. Один из самых надежных способов трудиться на благо мира — делать это в рамках своей профессиональной деятельности. Работая, мы посвящаем около 80 тысяч часов решению некой проблемы, большой или маленькой. Это настолько огромная часть нашей жизни, что если мы сможем посвятить ее одной из самых важных проблем, то внесем колоссальный вклад в общее дело.
Если вы трудитесь в сфере информатики или программирования, возможно, вы сумеете переключиться на работу с экзистенциальным риском, сопряженным с ИИ: например, проводя весьма востребованные исследования контроля ИИ или работая инженером над ИИ-проектом, где риски воспринимаются всерьез. Если ваша сфера — медицина или биология, вы можете помочь с рисками, сопряженными с пандемиями искусственного происхождения. Если вы занимаетесь климатом, то можете расширять наши представления о вероятности и последствиях реализации радикальных климатических сценариев. Если ваша работа связана с политологией или международными отношениями, вы можете налаживать международную кооперацию в сфере экзистенциального риска, обеспечивать будущим поколениям право голоса в демократии или предотвращать войны между великими державами. Если вы работаете в правительстве, то можете помочь защитить будущее, повышая стандарты безопасности и создавая новые технологические регламенты.
Возможности не ограничиваются непосредственной работой с экзистенциальным риском. Ваш вклад может подкреплятьусилия тех, кто выполняет непосредственную работу. Сегодня многие безотлагательные задачи связаны не с риском как таковым, а скорее со стратегическим планированием, координацией и выделением грантов. Когда человечество начнет ответственно подходить к защите собственного будущего, важно будет распределять ресурсы между проектами и организациями, формирующими и поддерживающими сообщество исследователей и разрабатывающими стратегию. Важно как можно скорее усовершенствовать структуру и расширить полномочия организаций, работающих с экзистенциальным риском. Многие из них ищут квалифицированных людей, действительно понимающих суть необычной миссии. Если у вас есть какие либо из этих навыков — например, если у вас есть опыт работы в стратегическом планировании, управлении, регулировании, медиа, операционной сфере или административной поддержке, — вы можете присоединиться к одной из организаций, которые в настоящее время занимаются экзистенциальным риском.
Если вы студент, у вас есть замечательная свобода маневра: вы можете направить свою карьеру в такое русло, чтобы десятки тысяч часов вашей работы внесли наибольший вклад в общее дело. Даже если вы уже определились со своей стезей или перешли в магистратуру, сменить направление на удивление легко.
Чем дальше вы проходите по карьерному пути, тем труднее становится с него свернуть. Но даже в таком случае сменить род занятий порой бывает целесообразно. Возможно, вы потеряете несколько лет на переподготовку, но это позволит вам посвятить в несколько раз больше лет работе в той сфере, где вы принесете гораздо больше пользы. Я знаю это по собственному опыту. Сначала я изучал информатику, но затем перешел к этике. Позднее, уже работая в сфере этики, я лишь недавно переключился с изучения бедности в различных странах мира на исследование совсем других вопросов, связанных с экзистенциальным риском.
Что делать, если ваша профессия не подходит для работы с риском, но у вас не получается ее сменить? В идеале — найти способ превратить деятельность, с которой вы справляетесь лучше всего, в работу, отчаянно необходимую для защиты нашего потенциала. К счастью, такой способ есть: благотворительность. Жертвуя деньги на какое либо дело, вы фактически превращаете собственный труд в дополнительную работу в соответствующей сфере. Если вам больше подходит ваша профессия, а делу не хватает финансирования, пожертвования могут принести даже больше пользы, чем непосредственная работа. Я полагаю, что пожертвования — прекрасный способ помочь, который доступен почти каждому, и сам регулярно прибегаю к нему, чтобы отдавать свой долг миру. Часто люди забывают, что к некоторым из величайших достижений человечество привела именно благотворительность.
Противозачаточные таблетки, которые входят в число наиболее революционных изобретений XX века, появились благодаря одному-единственному филантропу. В 1950-х годах, когда государства и фармацевтические компании не видели смысла работать в этом направлении, филантроп Катарина Маккормик практически в одиночку профинансировала исследования, которые привели к созданию первого противозачаточного препарата.
Примерно тогда же случился ряд прорывов в агрономии, впоследствии названных "зеленой революцией", и сотни миллионов человек перестали голодать благодаря выведению высокоурожайных сортов основных сельскохозяйственных культур. Норман Борлоуг, стоявший у истоков этой революции, в 1970 году получил за свои труды Нобелевскую премию мира. Работу Борлоуга и внедрение новых технологий в развивающихся странах финансировали частные благотворители.
Наконец, есть и способы, которыми внести свой вклад в общее дело может каждый из нас. Нам необходимо начать общественную дискуссию о долгосрочном будущем человечества: о головокружительных масштабах того, чего мы можем достичь, а также о рисках, которые угрожают всему этому и всем нам. Нам нужно обсуждать эти вопросы в университетах, в правительстве, в гражданском обществе; размышлять в серьезных художественных произведениях и в медиа; говорить об этом с друзьями и родственниками. В этой дискуссии нельзя поддаваться соблазну делиться на противоборствующие лагеря и проявлять фанатизм, как нельзя и фокусироваться на поиске виновных. Разговор должен быть зрелым, взвешенным и конструктивным: мы должны посвятить его изучению проблем и поиску их решений. Нам нужно вдохновить своих детей и себя самих на тяжелую работу, которая потребуется для защиты будущего и преодоления Пропасти.
Вы можете обсуждать важность будущего с близкими вам людьми. Вы можете взаимодействовать с растущим сообществом единомышленников: в своем городе, на работе, в учебном заведении или в интернете. Вы также можете стремиться быть осведомленным, ответственным и бдительным гражданином, держать руку на пульсе и призывать своих политических представителей к действию, когда представится необходимость.