Риски глобальной катастрофы

Сборник статей под редакцией Ника Бострома и Милана Цирковича, Оксфорд

Перевод с английского Алексея Турчина (avturchin@mail.ru)

Ник Бостром.

УГРОЗЫ СУЩЕСТВОВАНИЮ.

Анализ сценариев человеческого вымирания и связанных с этим опасностей.

Nick Bostrom, PhD, Future of Humanity Institute director
Existential Risks/ Analyzing Human Extinction Scenarios and Related Hazards
Published in the Journal of Evolution and Technology, Vol. 9, March 2002. First version: 2001
www.nickbostrom.com
Faculty of Philosophy, Oxford University

Краткое содержание.

По причине ускорения технологического прогресса, человечество, возможно, быстро приближается к критической точке в своём развитии. В дополнение к хорошо известным угрозам, вроде ядерного холокоста, перспективы быстро развивающихся технологий, таких как наносистемы и машинный интеллект, преподносят нам беспрецедентные возможности и риски. Наше будущее, и то, будет ли у нас вообще будущее, зависит от того, как мы справимся с этими вызовами. В связи с быстро развивающимися технологиями, нам нужно лучшее понимание динамики перехода от человеческого к "пост-человеческому" обществу. Особенно важно знать, где расположены ловушки: пути, на которых всё может пойти смертельно неправильно. Хотя мы имеем большой опыт подверженности различным личным, местным или переносимым (endurable) всемирным опасностям, эта статья анализирует недавно появившуюся категорию: рисков существованию (existential risks). Это - риски, которые могут привести к нашему вымиранию или повредить потенциал развившейся на Земле разумной жизни. Некоторые из этих опасностей относительно известны, тогда как другие совершенно не замечаются. Риски существованию имеют ряд черт, которые делают обычное управление рисками неэффективным. Последняя глава этой статьи обсуждает некоторые этические и политические приложения. Более ясное понимание картины угроз позволит нам сформулировать лучшие стратегии.

1. Ведение.

Жить опасно, и риски находятся везде. К счастью, не все риски одинаково серьёзны. Для наших целей мы можем использовать три измерения для описания величины рисков: масштаб, интенсивность и вероятность. Под "масштабом" я имею в виду размер группы людей, подверженных риску. Под "интенсивностью" я имею в виду то, насколько большой вред будет причинён каждому индивидууму из группы. И под "вероятностью" я имею в виду наилучшую текущую субъективную оценку вероятности негативного исхода. (прим. 1)

1.1 Типология рисков.

Мы можем различить 6 качественно различных групп рисков в зависимости от их масштаба и интенсивности (таб.1). Третье измерение, вероятность, может быть наложено на два измерения, вычерченных на таблице. При прочих равных, риск является более серьёзным, если он имеет значительную вероятность и если наши действия могут увеличить её или уменьшить.

Масштаб / интенсивность	Переносимая интенсивность	Смертельная интенсивность
глобальный	Уменьшение озонового слоя	X
местный	Экономический спад в стране	Геноцид
личный	Кража машины	Смерть

Таблица 1. Шесть категорий риска.

"Личный", "местный" или "глобальный" относится к размеру популяции, которая непосредственно подвергается воздействию; глобальный риск воздействует на всё человечество (и на наших потомков). "Переносимый" в сравнении с "окончательный" (terminal) означает то, насколько сильно пострадает подверженная риску популяция. Переносимый риск тоже может привести к большим разрушениям, но остаётся возможность восстановиться от повреждений или найти пути преодолеть негативные последствия. В противоположность тому, окончательный риск - это тот риск, когда подверженные ему объекты или гибнут, или необратимо повреждаются таким образом, что радикально уменьшают свой потенциал жить той жизнью, которой они стремятся жить. В случае личных рисков окончательный исход может быть, например, смерть, необратимое серьёзное повреждение мозга, или пожизненное тюремное заключение. Примером локального окончательного риска может быть геноцид, приводящий к уничтожению всех людей (что случилось с несколькими индийскими народностями). Другой пример - обращение в постоянное рабство.

1.2 Риски существованию.

В этой статье мы обсудим риски шестой категории, которая отмечена в таблице как Х. Это категория глобальных окончательных рисков. Я буду называть их рисками существованию.

Риски существованию отличаются от глобальных переносимых рисков. Примерами последних являются: угрозы биоразнообразию земной экосферы, умеренное глобальное потепление (и даже большое), и, возможно, удушающие культурные и религиозные эры, такие как "тёмные века", даже если они охватывают всё общество, если они рано или поздно закончатся (хотя см. главу о "Визге" ниже). Сказать, что некий глобальный риск является переносимым, очевидно не означает сказать, что он является приемлемым или не очень серьёзным. Мировая война с применением обычных вооружений или десятилетие рейха в нацистском духе будут чрезвычайно жуткими событиями, несмотря на то, что они попадают в категорию переносимых глобальных рисков, поскольку человечество может, в конце концов, восстановиться. (С другой стороны, эти события будут местным окончательным риском для многих индивидуумов и для преследуемых этнических групп.)

Я буду использовать следующее определение риска существованию:

Риск существованию - это тот риск, в котором негативный результат или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.

Риск существованию - это тот риск, в котором человечество как целое находится под угрозой. Такие катастрофы имеют огромные негативные последствия для всего будущего пути земной цивилизации.

2. Уникальность проблемы рисков существованию.

Риски этой шестой категории появились недавно. Это она из причин, по которой полезно отделить их от других рисков. Мы не развили механизмов, ни природных, ни культурных, чтобы справляться с такими рисками. Наши учреждения и защитные стратегии сформировались под влиянием столкновения с такими рисками как опасные животные, враждебные люди или племена, отравленная еда, автомобильные аварии, Чернобыль, Бхопал, извержения вулканов, землетрясения, засухи, Первая мировая война, Вторая мировая война, эпидемии гриппа, оспы, чёрной чумы и СПИДа. Катастрофы этого типа случались многократно, и наше культурное отношение к риску сформировалось посредством метода проб и ошибок в управлении такими угрозами. Но будучи трагедией непосредственно для подверженных людей, с широкой точки зрения - с точки зрения всего человечества - даже самые страшные из этих катастроф были только рябью на поверхности великого моря жизни. Они не повлияли значительно на полное число счастливых и страдающих людей и не определили долгосрочную судьбу нашего вида.

За исключением истребляющих целые виды комет и столкновений с астероидами (случающихся исключительно редко), вероятно, не было значительных рисков существованию до середины 20 века, и определённо ни с одним из них мы не могли ничего сделать.

Первым созданным человеком риском существованию была первая детонация атомной бомбы. В то время было некоторое беспокойство на тему того, что взрыв запустит убегающую цепную реакцию посредством "поджигания" атмосферы. Хотя мы теперь знаем, что такой итог был физически невозможен, в то время это соответствовало определению риска существованию. Чтобы нечто было риском, исходя из доступных знания и понимания, достаточно, чтобы была субъективная вероятность неблагоприятного исхода, даже если потом выясняется, что объективно не было ни одного шанса, что что-нибудь плохое случится. Если мы не знаем, является ли нечто объективно рискованным или нет, это является рискованным в субъективном смысле. Этот субъективный смысл является, конечно, тем, на чём мы должны основывать наши решения. [прим. 2] В любой момент мы должны использовать нашу лучшую субъективную оценку того, каковы объективные факторы риска. [прим. 3]

Гораздо больший риск существованию возник вместе с арсеналами ядерного оружия в СССР и США. Полноценная ядерная война была возможностью со значительной вероятностью и с последствиями, которые могли быть настолько устойчивыми, чтобы характеризоваться как глобальные и окончательные. Среди тех, кто был лучше всего знаком с информацией, доступной в то время, было реальное беспокойство, что ядерный Армагеддон может случиться и что он может истребить наш вид или навсегда разрушить человеческую цивилизацию. [прим. 4] Россия и США продолжают обладать огромные ядерными арсеналами, которые могут быть использованы в будущей конфронтации, случайно или нарочно. Есть также риск, что другие страны могут однажды построить большие арсеналы. Отметьте, однако, что небольшой обмен ядерными ударами, например, между Индией и Пакистаном, не является риском существованию, так как он не уничтожит человечество и не повредит необратимо человеческий потенциал. Такая война, однако, будет местным окончательным рискам для тех городов, на которые удары, скорее всего, будут нацелены. К сожалению, мы увидим, что ядерный Армагеддон и кометный или астероидный удар - это только прелюдия к рискам существованию в 21 веке.

Особая природа задач, ставимых рисками существованию, может быть проиллюстрирована следующими замечаниями:

- Наш подход к рискам существованию не может быть основан на методе проб и ошибок. Здесь нет возможности учиться на ошибках. Реактивный подход - смотреть, что случилось, ограничить ущерб и учиться на этом опыте - не работоспособен. Скорее, мы должны использовать предупреждающий подход. Это требует предвидения для обнаружения новых типов рисков и готовности принимать решительные превентивные меры и оплачивать их моральную и экономическую цену.

- Мы не можем надёжно полагаться на наши учреждения, моральные нормы, социальные позиции или политику в области национальной безопасности, которые развились на основе нашего опыта управления другими типами рисков. Риски существованию - это другой зверь. Нам может быть трудно принимать их настолько серьёзно, насколько они того заслуживают, поскольку мы никогда не сталкивались с такими катастрофами. [прим. 5] Наша коллективная реакция страха, скорее всего, плохо откалибрована на масштаб угроз.

- Уменьшение рисков существованию является всеобщим публичным благом (global public goods) [13 - здесь и далее номера в квадратных скобках означают книги из библиографии в конце статьи, кроме случаев, когда написано, что это "прим." - примечание] и по этой причине может быть недостаточно поставляемо (undersupplied) рынком. [14] Риски существованию являются угрозой для каждого и могут требовать реакций на международном уровне. Уважение к национальному суверенитету не является законным извинением для провала в принятии контрмер против важнейших рисков существованию.

- Если мы принимаем во внимание благополучие будущих поколений, то ущерб от риска существованию умножается на ещё один фактор, который зависит от того, учитываем ли мы и насколько будущую пользу. [15,16]

Удивительно, в виду неоспоримой важности темы, как мало систематической работы сделано в это области. Частично это объясняется тем, что наиболее серьёзные риски происходят (как мы покажем в дальнейшем) от ожидаемых будущих технологий, которые мы только недавно начали понимать. Другой частью объяснения может быть неизбежно междисциплинарная и спекулятивная природа предмета исследований. И отчасти, пренебрежение может быть отнесено к нежеланию думать всерьёз на депрессивные темы. Из этого не следует, что мы должны впасть в уныние, а следует только то, что нужно бросить трезвый взгляд на то, что может пойти неправильно, чтобы мы смогли создавать надёжные стратегии для улучшения наших шансов на выживание. Чтобы сделать это, мы должны знать, на чём фокусировать наши усилия.

3. Классификация рисков существованию.

Мы будем использовать следующие 4 категории для классификации рисков существованию [прим. 6]:

- Взрывы (Bangs) - Возникшая на Земле разумная жизнь истребляется в результате относительно внезапной катастрофы, могущей произойти как в результате несчастного случая, так и намеренно.

- Сужения (Crunches) - способность человечества развиться в постчеловечество необратимо повреждена [прим. 7], хотя люди продолжают каким-то образом жить.

- Скрипы (Shrieks) - некая форма пост-человечества будет достигнута, но это будет только чрезвычайно узкая доля спектра возможного и желаемого.

- Всхлипы (Whimpers) - Постчеловеческая цивилизация возникает, но развивается в направлении, которое ведёт постепенно, но безвозвратно к полному исчезновению вещей, которые мы ценим, или к состоянию, где эти ценности реализуются только в малой степени от того, что могло бы быть достигнуто.

Вооружённые такой классификацией, мы можем начать анализировать наиболее вероятные сценарии в каждой категории. Определения также прояснятся по мере нашего продвижения.

4. Взрывы.

Это - наиболее очевидная форма глобальных рисков. Эту концепцию понять легче всего. Далее описываются несколько наиболее возможных путей для мира закончиться взрывом. [прим. 8] Я попытался расположить их в порядке приблизительно соответствующем их вероятности, по моей оценке, стать причиной истребления возникшей на земле разумной жизни; но моё намерение в отношении упорядочивания было, скорее, создать базис для дальнейшей дискуссии, чем сделать некие однозначные утверждения.

4.1 Преднамеренное злоупотребление нанотехнологиями.

В своей зрелой форме молекулярная нанотехнология позволит создавать самовоспроизводящихся роботов размеров с бактерий, которые смогут питаться нечистотами или другой органической материей [22-25]. Такие репликаторы могут съесть биосферу или разрушить её другими способами, такими как отравление её, сжигание её или блокирование солнечного света. Человек со злостными намерениями, обладающий этой нанотехнологией, может вызвать истребление разумной жизни на Земле, выпустив таких наноботов в окружающую среду. [прим. 9]

Технология для создания деструктивных наноботов кажется значительно более простой для создания, чем технология создания эффективной защиты от такой атаки (глобальной нанотехнологической иммунной системы, "активного щита" [23]) Поэтому скорее всего будет период уязвимости, в течение которого необходимо не допустить попадания этих технологий в неправильные руки. И ещё эти технологии могут оказаться трудными для регулирования, поскольку они не требуют редких радиоактивных изотопов или огромных, легко обнаруживаемых заводов, как это имеет место при производстве ядерного оружия. [23].

Даже если эффективная защита от ограниченной нанотехнологической атаки будет создана до того, как опасные репликаторы будут разработаны и приобретены суицидальными режимами или террористами, всё ещё остаётся опасность гонки вооружений между государствами, владеющими нанотехнологиями. Утверждается [26], что молекулярное производство приведёт и к большей нестабильности гонки вооружений, и к большей нестабильности в отношении кризисов, чем ядерные вооружения. Нестабильность гонки вооружений означает, что для каждой соревнующейся стороны будут доминировать стремления усилить свои вооружения, приводящее к стремительному раскручиванию гонки вооружений. Нестабильность в отношении кризисов означает, что для каждой стороны главным стремлением будет ударить первым. Два приблизительно одинаково сильных противника, приобретя нанотехнологию, начнут, с этой точки зрения, массовое строительство вооружений и программ развития оружия, которое продолжится до тех пор, пока не случится кризис и не начнётся война, потенциально способная вызвать всеобщее окончательное уничтожение. То, что эта гонка вооружений могла бы быть предсказана, не является гарантией того, что международная система безопасности будет создана достаточно заранее, чтобы предупредить эту катастрофу. Ядерная гонка вооружений между СССР и США была предсказана, но, тем не менее, случилась.

4.2 Ядерный холокост.

США и Россия по-прежнему имеют огромные запасы ядерных вооружений. Но приведёт ли полноценная ядерная война к реальному истреблению человечества? Отметьте, что: (а) для того, чтобы это стало риском существованию, достаточно, чтобы мы не были уверены, что этого не случится. (б) Климатические эффекты широкомасштабной ядерной войны малоизвестны (есть вероятность ядерной зимы). (в) Будущие гонки вооружений между другими странами не могут быть исключены, и это может привести к возникновению ещё больших арсеналов, чем те, что были на вершине Холодной войны. Мировой запас плутония устойчиво возрастает и достиг величины в 2 000 тонн, что примерно в 10 раз больше, чем остаётся в боеголовках ([9], p. 26). Даже если некоторые люди переживут кратковременные эффекты ядерной войны, она может привести к коллапсу цивилизации. Человеческая раса, живущая в условиях каменного века, может быть - а может и не быть - более стойкой к вымиранию, чем другие виды животных.

4.3 Мы живём в симуляции, и она выключается. (We're living in a simulation and it gets shut down).

Может быть доказано, что гипотезе, что мы живём в компьютерной симуляции, следует приписать значительную вероятность. [27]. Основная идея, лежащая в основе так называемого "Доказательства симуляции" (Simulation argument), состоит в том, что огромные количества вычислительной мощности могут быть доступны в будущем (см., например, [28,29]), и что они могут быть использованы, среди прочего, для запуска большого количества тонко структурированных симуляций прошлых человеческих цивилизаций. При нескольких не очень невероятных предположениях результат может быть тот, что большинство умов, подобных нашим, являются симулированными умами, и потому мы должны приписать значительную вероятность тому, что мы являемся такими симулированными умами, а не (субъективно неразличимыми) умами естественно развившихся существ. И если это так, мы подвергаемся риску того, что симуляция может быть выключена в любой момент. Решение прекратить нашу симуляцию может быть вызвано нашими действиями или внешними факторами.

Хотя кому-то может показаться легкомысленным ставить такую радикальную "философскую" гипотезу рядом с конкретной угрозой ядерного холокоста, мы должны основывать свои выводы на рассуждениях, а не на необученной интуиции. Пока не появится опровержение доводам, представленным в [27], было бы интеллектуально нечестно пренебрегать упоминанием "выключения симуляции" как возможной причиной истребления.

4.3 Плохо запрограммированный суперинтеллект.

Когда мы создадим первое суперинтеллектуальное устройство [28-34], мы можем сделать ошибку и дать ему цели, которые направят его на уничтожение человечества, если учесть его колоссальное интеллектуальное преимущество, дающего ему силу сделать это. Например, мы можем ошибочно возвести под-цель в статус сверх-цели. Мы говорим ему решить некую математическую задачу, и оно подчиняется, превращая всё вещество в солнечной системе в огромное вычислительное устройство, попутно убивая человека, который задал этот вопрос. (Для дальнейшего анализа этой темы, см. [35].)

4.4 Генетически сконструированный биологический объект.

В результате баснословного прогресса в генетических технологиях, который происходит сейчас, может оказаться возможным для тирана, террориста или сумасшедшего создать вирус конца света, организм, который будет совмещать длительный период латентности с высокой вирулентностью и смертельностью [36].

Опасные вирусы могут быть даже выращены не нарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mousepox) со 100% смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его в контроле вредителей [37]. Хотя этот конкретный вирус не заражает людей, подозревается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что подчёркивает (underscores) будущую угрозу здесь - это то, что исследование было быстро опубликовано в открытой научной литературе [38]. Редко увидишь, чтобы информация, созданная в открытых биотехнологических программах, была закрыта (contained), независимо от того, насколько суровой потенциальной опасностью она обладает; и тоже относится к исследованиям в нанотехнологиях.

Генетическая медицина приведёт к созданию лучших лекарств и вакцин, но нет никаких гарантий, что оборона выдержит гонку с нападением. (Даже случайно созданный вирус мышиной оспы имел 50% смертельность на вакцинированных мышах.) В конце концов, страхи биологического оружия могут быть похоронены развитием наномедицины, но хотя нанотехнологии имеют колоссальный потенциал долговременный потенциал для медицины [39], они несут свои собственный опасности.

4.5 Случайное ошибочное применение нанотехнологий ("серая слизь"). (Accidental misuse of nanotechnology ("gray goo")).

Возможность аварии никогда не может быть полностью исключена.

Однако есть много путей наверняка избежать, посредством ответственных инженерных методов, аварий, уничтожающих всех людей. Можно избежать применения самовоспроизводства; можно сделать наноботов зависимыми от питания каким-то редким химическим веществом, не существующим в природе; можно заключать их в герметичном окружении; можно спроектировать их так, что любая мутация почти наверняка заставит нанобот прекратить функционирование [40]. По этой причине случайное неправильное применение наноботов гораздо меньше тревожит, чем злонамеренное [23,25,41].

Однако различие между случайным и намеренным может стать расплывчатым. Хотя "в принципе" кажется возможным сделать глобальные нанотехнологические катастрофы очень маловероятными, конкретные обстоятельства могут не позволить этому идеальному уровню безопасности реализоваться. Сравните нанотехнологию с ядерной технологией. С инженерной точки зрения, разумеется, абсолютно возможно использовать ядерную технологию только в мирных целях, например, только в ядерных реакторах, которые имеют нулевую вероятность уничтожить всю планету. Но на практике может быть очень трудно избежать использования ядерных технологий также и для создания ядерного оружия, что ведёт к гонке вооружений. С большими ядерными арсеналами с высокой степенью готовности (hair-trigger alert) неизбежен высокий риск случайной войны. Тоже самое может случиться с нанотехнологиями: их могут заставить служить военным целям таким способом, который создаёт неизбежный риск серьёзных происшествий.

В некоторых ситуациях может быть даже стратегически выгодно нарочно сделать некую технологию или контрольную систему рискованной, например, чтобы создать "угрозу, в которой есть элемент случайности" (threat that leaves something to chance) [42].

4.6 Нечто непредвиденное. (Something unforeseen).

Нам нужна объединяющая всё (catch-all) категория. Было бы глупо быть уверенными, что мы уже придумали и спрогнозировали все значительные риски. Будущие технологические или научные открытия легко могут открыть новые способы уничтожить мир.

Некоторые предвидимые опасности (и, следовательно, не члены этой категории), которые были исключены из списка Взрывов по причине того, что они кажутся слишком маловероятными причинами глобальной окончательной катастрофы - это: солнечные вспышки, сверхновые, взрывы и слияния чёрных дыр, гамма-всплески, вспышки в центре галактики, супервулканы, утрата биоразнообразия, рост загрязнения воздуха, постепенная утрата человеческой способности размножаться (fertility), и множество религиозных сценариев конца света. Гипотезы о том, что мы однажды достигнем "просветления" и совершим коллективное самоубийство или прекратим размножаться, как надеются сторонники VHEMT (Движение за добровольное вымирание человечества -The Voluntary Human Extinction Movement) [43] - выглядят маловероятными. Если бы действительно лучше было бы не существовать (как Силен сказал царю Мидасу в греческом мифе, и как Артур Шопенгауэр доказывал в [44], хотя по причинам, свойственным конкретно его философской системе, он не агитировал за самоубийство), то тогда бы мы не считали этот сценарий за глобальную катастрофу. Предположение о том, что неплохо быть живым, надо рассматривать как подразумеваемое предположение в определении Взрывов. Ошибочное всеобщее самоубийство является риском существованию, хотя его вероятность кажется чрезвычайно малой. (Больше на тему этики человеческого вымирания см. главу 4 из [9].)

4.7 Катастрофы в результате физических экспериментов. (Physics disasters.)

Тревоги конструкторов атомной бомбы из Манхетенского проекта о том, что взрыв приведёт к возгоранию атмосферы, имеют современные аналоги.

Были обсуждения того, что эксперименты на будущих высокоэнергетичных ускорителях частиц могут вызвать разрушение метастабильного состояния вакуума, в котором, возможно, находится наш космос, превращая его в "подлинный" вакуум с меньшей энергетической плотностью [45]. Это создаст расширяющийся пузырь всеобщего уничтожения, который распространится по всей галактике и за её пределы со скоростью света, раздирая всю материю на части по мере продвижения.

Другой идеей является то, что эксперименты на ускорителе могут создать отрицательно заряженные стабильные "странные частицы" (strangelets) (гипотетическая форма ядерной материи) или породить микроскопическую чёрную дыру, которая погрузится в центр Земли и начнёт поглощать всю остальную планету [46].

Эти результаты выглядят невозможными, исходя из наших лучших физических теорий. Но причина, по которой мы ставим эксперименты, в точности состоит в том, что мы не знаем, что на самом деле случится. Гораздо более убедительным доказательством является то, что плотности энергии, достигаемые на современных ускорителях, намного ниже тех, что встречаются в природе при столкновении космических лучей [46,47]. Возможна, однако, что для этих гипотетических процессов имеют значение другие факторы, помимо плотности энергии, и эти факторы будут собраны вместе в будущих новых экспериментах.

Основной причиной для беспокойства в связи с "физическими катастрофами" является наблюдение мета-уровня о том, что открытия всех видов жутких физических феноменов происходят всё время, так что даже если сейчас все физические катастрофы, о которых мы подумали, совершенно невероятны или невозможны, всё равно могут быть более реалистичные пути к провалу, ждущие открытия. Приведённые здесь - не более чем иллюстрации общего случая.

4.8 Естественно возникшее заболевание. (Naturally occurring disease.)

Что, если СПИД был бы столь же заразен, как простуда?

Есть несколько черт современного мира, которые могут сделать глобальную пандемию гораздо более вероятной, чем когда-либо раньше. Путешествия, торговля едой и жизнь в городах - всё это значительно возросло в современное время, делая проще новой болезни быстро заразить большую часть населения Земли.

4.9 Столкновение с астероидом или кометой. (Asteroid or comet impact).

Есть реальный, но очень маленький риск, что мы будем истреблены ударом астероида или кометы. [48].

Для того чтобы вызвать вымирание человечества, ударяющее тело, возможно, должно иметь размер более 1 км в диаметре (и, вероятно, 3-6 км.) Было, по крайней мере, 5 а, может быть, и более дюжины массовых вымираний на Земле, и, по крайней мере, некоторые из них были, вероятно, вызваны столкновениями ([9], стр. 81f.). В частности, K/T вымирание 65 миллионов лет назад, в ходе которого вымерли динозавры, связывалось с падением астероида от 10 до 15 км в диаметре на полуострове Юкатан. Считается, что тело, 1 км или более в диаметре сталкивается с Землёй в среднем раз в 0,5 миллиона лет [прим. 10]. Мы пока каталогизировали только малую часть потенциально опасных тел.

Если мы сможем заметить приближающееся тело вовремя, мы будем иметь неплохой шанс отклонить его, перехватив ракетой с ядерной бомбой [49].

4.10. Неудержимое глобальное потепление. (Runaway global warming.)

Есть сценарий, что высвобождение парниковых газов в атмосферу может оказаться процессом с сильной положительной обратной связью. Может быть, именно это случилось с Венерой, которая теперь имеет атмосферу из CO2 и температуру в 450 С. Надеюсь, однако, что у нас будут технологические средства для противодействия этой тенденции к тому моменту, когда это станет действительно опасно.

5. Сужения. (Crunches).

В то время как некоторые события, описанные в предыдущей главе, наверняка уничтожат Homo sapiens (например, распад метастабильного вакуума), другие могут быть, в принципе, пережиты (такие, как тотальная ядерная война). Если современная цивилизация рухнет, то отнюдь не наверняка она снова возникнет, даже если человеческий вид выживет. Возможно, мы выработали слишком много легкодоступных ресурсов, которые потребуются примитивному обществу для того, чтобы подняться на наш уровень технологии. Примитивное человеческое общество может быть - а может и не быть - так же подвержено вымиранию, как и любой другой вид животных. Но давайте не будем ставить этот эксперимент.

Если примитивное общество выживет, но никогда больше не сможет подняться на нынешний технологический уровень, не говоря о том, чтобы его превзойти, то тогда мы имеем пример сужения. Далее некоторые возможные причины сужения:

5.1. Истощение ресурсов или экологическое разрушение. (Resource depletion or ecological destruction).

Природные ресурсы, необходимые для поддержания высокотехнологической цивилизации, истощаются. Если какой-нибудь другой катаклизм разрушит технологию, которой мы обладаем, может быть невозможно вскарабкаться назад на нынешний уровень, если природные условия будут менее благоприятными, чем они были для наших предшественников, например, если наиболее легко доступные уголь, нефть и минеральные ресурсы истощатся. (С другой стороны, если масса информации о наших технологических шагах сохранится, это может сделать возрождение цивилизации проще.)

5.2. Сбившееся с курса мировое правительство или другое неподвижное социальное равновесие остановит технологический прогресс.

Можно представить, что однажды в мире придёт к власти некое фундаменталистское религиозное или экологическое движение. Если к тому времени станет возможно сделать такое мировое правительство стабильным относительно мятежей (с помощью продвинутого полицейского надзора или технологий контроля ума), это может навсегда закрыть возможность для человечества развиться до пост-человеческого уровня. Дивный Новый Мир Олдоса Хаксли являет собой широко известный сценарий этого типа [50].

Мировое правительство может не быть единственной формой стабильного социального равновесия, которое может необратимо повредить прогрессу. Многие регионы мира сегодня имеют большие трудности в создании учреждений, которые могли бы поддержать быстрый рост. Исторически, было много мест, где прогресс стоял на месте или откатился назад на значительные промежутки времени. Экономический и технологический прогресс может не быть настолько неизбежным, как это кажется нам.

5.3. Давление "вырождения". ("Dysgenic" pressures).

Возможно, что продвинутое цивилизованное общество зависит от того, чтобы в нём была достаточно большая доля интеллектуально одарённых людей. Сейчас кажется, что имеется негативная корреляция в некоторых местах между интеллектуальностью и фертильностью. Если такая селекция продлится в течение длительного периода времени, мы можем развиться в менее мозговитых, но более размножающихся существ, homo philoprogenitus ("любитель большого числа отпрысков").

Однако вопреки тому, что могут заставить подумать эти рассуждения, IQ фактически значительно вырос в течение последнего столетия. Это известно как эффект Флинна (Flynn); см. например [51,52]. Не определено, однако, соответствует ли это реальным достижениям в важных интеллектуальных функциях.

Более того, генетическая инженерия быстро приближается к точке, где станет возможным дать родителям выбор наделять своих отпрысков генами, которые коррелируют с интеллектуальными способностями, физическим здоровьем, долгожительством и другими желательными чертами.

В любом случае, временная шкала естественной человеческой генетической эволюции кажется слишком большой, чтобы такое развитие событий имело бы какой-либо значительный эффект до того, как другие процессы сделают эту проблему спорной [19,39].

5.4. Технологическая остановка. (Technological arrest).

Существенные технологические трудности в переходе к постчеловеческому миру могут оказаться столь велики, что мы его никогда не достигнем.

5.5 Нечто непредвиденное. [прим. 11]

Как и в прошлый раз, категория на все случаи жизни.

В общем, вероятность сужения выглядит гораздо меньшей, чем взрыва. Нам следует иметь эту возможность в виду, но не давать ей играть доминирующую роль в нашем мышлении на данном этапе. Если технологическое и экономическое развитие должно будет замедлиться по неким причинам, тогда мы должны будем обратить более пристальное внимание к сценариям сужения.

6. Скрипы. (Shrieks).

Выяснение того, какие сценарии являются скрипами, стало более трудным из-за включения понятия "желательности" в определение. Если мы не знаем, что есть "желательное", мы не можем сказать, какие сценарии являются скрипами. Однако есть ряд сценариев, которые следует считать скрипами, исходя из наиболее разумных интерпретаций.

6.1. Захват власти превосходящим интеллектом, загруженным в компьютер. (Take-over by a transcending upload).

Предположим, что загрузки сознания в компьютер возникнут раньше искусственного интеллекта человеческого уровня. Загрузка - это ум, перенесённый с биологического мозга в компьютер, который эмулирует вычислительный процесс, имеющий место в исходной биологической нейронной сети [19,33,53,54]. Успешный процесс загрузки ума сохранит изначальную память, навыки, ценности и сознание.

Загрузка ума упростит улучшение его интеллекта, путём запуска на большей скорости, добавления дополнительных компьютерных ресурсов или оптимизации архитектуры. Можно предположить, что улучшение загрузки выше некого уровня приведёт к появлению позитивной обратной связи, когда продвинутая загрузка будет способна находить пути сделать себя ещё умнее; и более умная следующая версия будет, в свою очередь, ещё лучше в создании улучшенной версии себя, и так далее. Если этот быстрорастущий процесс произойдёт внезапно, он может привести к тому, что загрузка достигнет сверхчеловеческого уровня интеллекта, тогда как все остальные останутся на примерно человеческом уровне. Такое колоссальное интеллектуальное преимущество легко может дать ей соответственно большую власть. Она может, например, быстро ввести новые технологии или совершенные нанотехнологические конструкции. Если превосходящая загрузка имеет склонность к тому, чтобы не допустить других к тому, чтобы тоже загрузиться в компьютер, она сможет сделать это.

Тогда постчеловеческий мир может быть отражением частных эгоистических предпочтений этой загрузки (которые в худшем случае будут хуже, чем просто бесполезными). Такой мир легко может стать реализацией только малой части того, что возможно и желательно. Этот исход - Скрип.

6.2. Ошибающийся сверхинтеллект. (Flawed superintelligence)

Опять, существует возможность, что плохо запрограммированный сверхинтеллект возьмёт власть и реализует те ошибочные цели, которые были ошибочно ему даны.

6.3. Глобальный репрессивный тоталитарный режим. (Repressive totalitarian global regime).

Подобным образом, можно представить, что фанатичное мировое правительство, основываясь, возможно, на ошибочных религиозных или этических убеждениях, сформируется, будет стабильным и решит реализовать только очень малую часть из всех тех позитивных вещей, которые пост-человеческий мир может иметь.

Такое мировое правительство, очевидно, может сформироваться небольшой группой людей, если они будут контролировать первый сверхинтеллект и смогут выбирать его цели. Если сверхинтеллект внезапно возникнет и станет достаточно сильным, чтобы захватить власть над миром, то этот пост-человеческий мир может отражать только уникальные ценности собственников или проектировщиков этого сверхинтеллекта. В зависимости от того, каковы эти цели, этот сценарий может считаться Скрипом.

6.4. Нечто непредвиденное. [прим. 12]

Всё остальное.

Сценарии Скрипа кажутся имеющими значительную вероятность и потому должны быть восприняты всерьёз в нашем стратегическом планировании.

Можно пытаться доказать, что одна ценность, которая содержит в себе значительную часть того, что мы считаем желательным в пост-человеческом мире, состоит в том, что этот мир содержит в себе настолько много, насколько это возможно, людей, которые сейчас живы. Помимо всего прочего, многие из нас очень хотят не умирать (во всяком случае, не сейчас) и иметь шанс стать пост-людьми. Если мы примем это, то тогда любой сценарий, в котором переход к пост-человеческому миру отложен достаточно надолго, чтобы почти все современные люди умерли до того (предполагая, что они не были успешно сохранены посредством крионики [53,57]) будет Скрипом. В случае провала попыток продления жизни или массового распространения крионики, даже гладкий переход к полностью развитому пост-человечеству через 80 лет будет составлять значительный риск существованию, если мы определим "желательность" конкретно по отношению к людям, которые живы сейчас. Это предположение, однако, нагружено глубокой проблемой о природе ценностей, которую мы не будем пытаться решить здесь.

7. Всхлипы. (Whimpers).

Если всё пойдёт хорошо, мы можем однажды выйти на фундаментальные физические пределы. Даже хотя вселенная кажется бесконечной [58,59], доля вселенной, которую мы можем теоретически колонизировать (исходя из общепризнанно очень ограниченного нашего теперешнего понимания ситуации) конечна [60], и мы, в конечном счёте, истощим все доступные ресурсы, или ресурсы сами собой будут распадаться, по мере постепенного уменьшения негэнтропии и связанного с этим распада материи в радиацию. Но здесь мы говорим об астрономических масштабах времени. Окончание такого рода может быть лучшим, на что мы вправе надеяться, так что будет неправильным считать это риском существованию. Он не соответствует определению Всхлипа, так как человечество на этом пути реализует большую часть своего потенциала.

Два вида Всхлипа (в отличие от обычных, охватывающих всё гипотез) кажутся имеющими значительную вероятность:

7.1. Наш потенциал и даже наши базовые ценности разъедаются развитием в ходе эволюции. (Our potential or even our core values are eroded by evolutionary development).

Этот сценарий концептуально более сложен, чем другие риски существованию, которые мы рассматривали (вместе, возможно, со сценарием Взрыва "Мы живём в компьютерной симуляции, которую выключают"). Он рассмотрен более подробно в статье-компаньоне этой [61]. Очерк той статьи приведён в Приложении.

Похожий сценарий описывается в [62], где доказывается, что наши "космические привычки" будут выжжены в ходе колонизационной гонки. Селекция будет благоприятствовать тем репликаторам, которые будут тратить все свои ресурсы на посылание наружу следующих колонизационных зондов [63].

Хотя время, которое потребуется, чтобы случился Всхлип такого рода, относительно велико, он всё равно может иметь важные стратегиеские приложения, потому что краткосрочные решения могут предопределить, вступим ли мы на путь [64], который неизбежно ведёт к этому результату. Как только эволюционный процесс запущен или космическая колонизационная гонка началась, может оказаться трудным или невозможным остановить её [65]. Вполне может быть, что единственный возможный путь избежать Всхлипа - полностью предотвратить раскручивание этих цепочек событий.

7.2 Уничтожение внеземной цивилизацией. (Killed by an extraterrestrial civilization).

Вероятность столкнуться с инопланетянами в ближайшее время кажется очень маленькой (см. главу об увеличивающихся вероятностях ниже, а так же [66,67]).

Если всё пойдёт хорошо, однако, и мы разовьёмся в межгалактическую цивилизацию, мы можем однажды в далёком будущем встретить инопланетян.

Если они будут враждебны и если (по некой неизвестной причине) они будут обладать значительно лучшей технологией, чем мы будем обладать в то время, они могут начать процесс завоевания нас. Или, если они запустят процесс фазового перехода вакуума посредством своих высоко-энергетических физических экспериментов (см. главу Взрывы), то однажды нам придётся столкнуться с последствиями. По причине того, что пространственная протяжённость нашей цивилизации на этой стадии будет вероятно очень велика, завоевание или разрушение потребует много времени для завершения, делая этот сценарий скорее Всхлипом, чем Взрывом.

7.3 Нечто непредвиденное.

Все другие гипотезы.

Первый из сценариев должен быть тщательно взвешен при формулировании долгосрочной стратегии. Взаимодействие со вторым Всплеском мы можем безопасно делегировать будущим поколениям (поскольку мы ничего не можем сделать с этим сейчас в любом случае.)

8. Определение величины вероятности рисков существованию.

8.1. Прямые методы против непрямых.

Есть два взаимо-дополнительных пути оценки наших шансов создания пост-человеческого мира. То, что мы можем назвать прямым путём, состоит в анализе различных конкретных способов провала, приписании им вероятностей и затем вычитание суммы этих вероятностей катастроф из единицы для получения вероятности успеха. Если мы сделаем это, мы выиграем от детального понимания того, как сложатся отдельные причины. Например, мы бы хотели знать ответы на вопросы, такие как: насколько труднее спроектировать нанотехнологическую иммунную систему с защитой от дурака, чем спроектировать нанобот, который может выжить и репродуцировать себя в естественной среде? Насколько реально сохранить нанотехнологии строго регулируемыми в течение длительных периодов времени (таким образом, что никто с деструктивными намерениями не получит в свои руки ассемблер, который находится за пределами герметичной защищённой сборочной лаборатории [23])? Насколько вероятно, что сверхинтеллект появится раньше продвинутой нанотехнологии? Мы можем делать догадки на основе этих и других соответствующих параметров и давать оценки на этой основе; и мы можем сделать тоже самое для других рисков существованию, которые мы описали выше. (Я попытался отобразить приблизительную относительную вероятность различных рисков в порядке следования их описаний, данном в предыдущих 4 главах.)

Во-вторых, имеется непрямой путь. Есть теоретические ограничения, которые могут быть отнесены к проблеме, основанные на некоторых общих свойствах мира, в котором мы живём. Их немного, но они важны, потому что они не полагаются на множество догадок о деталях будущего технологического и социального развития.

8.2. Парадокс Ферми.

Парадокс Ферми - это вопрос, которое вызывается тем фактом, что мы не наблюдаем никаких признаков внеземной жизни [68]. Это говорит нам о том, что неверно, что жизнь возникает на значительной части землеподобных планет и развивается вплоть до появления продвинутых технологий, которые использует для колонизации Вселенной теми путями, которые могут быть замечены нашими современными инструментами. Здесь должен быть (по крайней мере, один) Большой Фильтр - эволюционный шаг, который чрезвычайно маловероятен - где-то на полпути между землеподобной планетой и видимым образом колонизирующей космос цивилизацией. [69]. И если этот Великий Фильтр не находится в нашем прошлом, нам следует опасаться его в (ближайшем) будущем. Может быть, почти каждая цивилизация, развившая определённый уровень технологии, вызывает своё собственное вымирание.

К счастью, то, что мы знаем о нашем эволюционном прошлом, хорошо соотносится с гипотезой, что Великий Фильтр позади нас. Имеется несколько убедительных кандидатов на эволюционные шаги, которые могут быть достаточно невероятными, чтобы объяснить, почему мы не видим и не встречаем никаких инопланетян. Эти шаги включают в себя возникновение первых органических саморепликаторов, переход от прокариотов к эукариотам, дыхание кислородом, половое воспроизводство и, вероятно, другие [прим. 13]. Вывод состоит в том, что, исходя из нашего нынешнего знания в эволюционной биологии, рассуждения о Великом Фильтре не могут многого сказать нам о том, с какой вероятностью мы станем пост-людьми, хотя они могут дать нам лёгкие намёки [66,70-72].

Это может резко измениться, если мы откроем следы независимо развившейся жизни (неважно, вымершей, или нет) на других планетах. Такое открытие будет плохой новостью. Обнаружение относительно продвинутых форм жизни (многоклеточных организмов) будет особенно угнетающим.

8.3. Эффекты селективности наблюдения. (Observation selection effects).

Теория эффектов селективности наблюдения может сказать нам, что именно мы должны ожидать от наблюдений, исходя из некоторых гипотез о распределении наблюдателей во Вселенной. Сравнивая эти предсказания с нашими реальными наблюдениями, мы получим вероятностные оценки за или против различных гипотез.

Одной из попыток применить такого рода рассуждения для предсказания наших будущих перспектив является так называемое Рассуждение о Конце Света (Doomsday argument) [9,73], [прим. 14]. Его цель - доказать, что мы систематически недооцениваем вероятность того, что человечество вымрет относительно скоро. Идея, в простейшей форме, состоит в том, что мы должны думать о себе как о, в некотором смысле, случайной выборке из набора всех наблюдателей в нашем референтном классе (reference class), и мы, скорее всего, живём так рано, как оно обстоит на самом деле, если после нас нет очень большого числа наблюдателей нашего класса. Рассуждение о Конце Света крайне противоречиво, и я всюду доказывал, что, хотя оно может быть теоретически основательно, некоторые из условий его применимости не выполняются, так что применение его к нашему конкретному случаю будет ошибкой. [75,76].

Другие рассуждения, основанные на антропном принципе, могут быть более успешными: рассуждения на основе парадокса Ферми - это один пример, и в следующей главе приводится другой. В целом, основной урок состоит в том, что мы должны избегать использовать тот факт, что жизнь на Земле выжила до сегодняшнего дня и что наши гуманоидные предки не вымерли в некой внезапной катастрофе, для доказательства того, что рождённая на Земле жизнь и гуманоидные предки были высоко живучими. Даже если на огромном большинстве землеподобных планет жизнь вымерла до возникновения разумной жизни, мы всё равно можем ожидать обнаружить себя на одной из исключительных планет, которая была достаточно везучей, чтобы избежать разрушения [прим. 15]. В этом случае наш прошлый успех не даёт никаких оснований ожидать успеха в будущем.

Область исследований эффектов избирательности наблюдения является методологически очень сложной [76,78,79], и требуются более фундаментальные работы до того, как мы на самом деле поймём, как правильно рассуждать об этих вещах. Вполне могут быть дальнейшие выводы из этой области знаний, которые мы пока ещё не можем понять.

8.4. Рассуждение о Симуляции. (The Simulation argument).

Большинство людей не верят, что они сейчас живут в компьютерной симуляции. Я недавно показал (используя некоторые, достаточно непротиворечивые части теории эффектов избирательности наблюдения), что это приводит к вере в то, что мы почти наверняка не достигнем пост-человеческой стадии, или почти все пост-человеческие цивилизации не имеют индивидуумов, которые запускают большие количества симуляций прошлого, то есть компьютерных симуляций человекоподобных существ, из которых они развились [27]. Этот вывод весьма пессимистичен, поскольку он весьма существенно уменьшает число позитивных сценариев будущего, которые достаточно логичны в свете эмпирических знаний, которые мы сейчас имеем.

Рассуждение о симуляции является не только общим предупреждением; оно также перераспределяет вероятности между гипотезами, которые остаются вероятными. Он увеличивает вероятность того, что мы живём в симуляции (что может множеством тонких путей влиять на нашу оценку того, насколько вероятными разные исходы являются) и оно уменьшает вероятность того, что пост-человеческий мир будет обладать множеством свободных индивидуумов, которые имеют большие ресурсы и человеко-подобные мотивы. Это даёт нам ценные намёки на то, на что мы можем реалистически надеяться и, соответственно, на что мы должны направлять наши усилия.

8.5. Психологические предубеждения? (Psychological biases?)

Психология восприятия рисков является активной, но довольно запутанной областью знания [80], которая может потенциально предоставить непрямые основания для пересмотра наших оценок рисков существованию.

Думаю, что наши прозрения о том, какие сценарии будущего являются "убедительными и реалистичными", сформированы тем, что мы видим по телевидению и в кино, и тем, что мы читаем в романах. (Помимо всего прочего, значительная часть рассуждений о будущем, с которыми сталкиваются люди, существует в форме фантастики и в других развлекательных контекстах.) Тогда мы должны, размышляя критически, подозревать наши интуитивные ожидания в том, что они отклонены в направлении переоценки вероятностей тех сценариев, которые создают хорошие истории, поскольку такие сценарии кажутся более знакомыми и более "реальными".

Это предубеждение Хорошей-историей может быть весьма сильным. Когда вы видели последний раз фильм о внезапном истреблении человечества (без предупреждения и без замены какой-либо другой цивилизацией)? Хотя этот сценарий гораздо более вероятен, чем сценарий, в котором люди-герои успешно отражают вторжение монстров или боевых роботов, он гораздо менее забавен для просмотра. Так что мы не видим много фильмов такого типа. Если мы не будем аккуратны, мы можем впасть в заблуждение, что скучные сценарии слишком маловероятны, что бы их стоило принимать всерьёз. В общем, если мы подозреваем, что имеет место предубеждение Хорошей истории, мы можем сознательно увеличить наше доверие скучным гипотезам и уменьшить наше доверие интересным, эффектным гипотезам. Суммарный эффект должен перераспределить вероятность между рисками существованию в пользу тех, которые кажутся менее соответствующими продающимся сюжетам, и, возможно, увеличить вероятность рисков существованию как группы.

Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы [прим. 16]. Три четверти всех автолюбителей думают, что они более безопасные водители, чем среднестатистический водитель [прим. 17]. Согласно одному исследованию, почти половина социологов верит, что они принадлежат к лучшим десяти учёным в своей области [87], и 94% социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии имеют более точные предсказания, чем нормальные люди, за исключением тех, что касаются безнадёжности их ситуации [89-91]. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди [92]. Широко распространено убеждение [93], что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование [94] показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование [95], однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации) [прим. 18].

Даже если мы можем получить твёрдые свидетельства предубеждений в оценке личных рисков, мы всё ещё должны быть осторожны в распространении их на случай рисков существованию.

8.6. Оценка собранных данных. (Weighing up the evidence).

В сумме эти непрямые аргументы добавляют важные ограничения к тем, которые мы можем вывести из прямого рассмотрения различных технологических рисков, хотя в этой статье недостаточно места для детального рассмотрения. Но общая сумма свидетельств такова, что может показаться неразумным не приписать значительную вероятность гипотезе, что глобальная катастрофа убьёт нас. Моё субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25%, и наилучшая оценка может быть значительно больше. Но даже если бы вероятность была бы гораздо меньше (скажем, ~1%) заявленная тема всё равно заслуживала бы очень серьёзного внимания по причине высоты ставок.

В целом, наибольшие риски существованию на масштабе времени двух столетий или меньше кажутся связанными с активностью продвинутой технологической цивилизации. Мы видим это, просматривая список различных глобальных рисков, который мы составили. В каждой из 4 категорий, наивысшие риски связаны с человеческой активностью. Единственный значительный глобальный риск, для которого это не верно, - это "симуляция выключается" (Хотя в некоторых версиях этой гипотезы выключение может быть вызвано нашей активностью, [27]); удар кометы или астероида (что очень маловероятный риск); и уничтожение внеземной цивилизацией (что очень маловероятно в ближайшем будущем). [прим. 19]

Неудивительно, что глобальные риски, созданные современной цивилизацией получают львиную долю вероятности. В конце концов, мы делаем сейчас некоторые вещи, которые никогда не делались на Земле до того, и мы развиваем потенциал, чтобы сделать гораздо больше таких вещей. Если неантропогенные факторы не смогли уничтожить человеческий вид в течение сотен тысяч лет, может показаться маловероятным, что эти факторы сразят нас в ближайшие сто или двести лет. И, наоборот, у нас нет никаких причин не думать, что творения продвинутой цивилизации будут нашей погибелью.

Однако мы не должны слишком спешить отбрасывать риски существованию, которые не созданы человеком, как незначительные. Это правда, что наш вид выжил в течение долгого времени, несмотря на присутствие таких рисков. Но здесь может играть роль эффект селекции наблюдателей. Вопрос, который нам следует задать, состоит в следующем: в теоретическом случае, если природные катастрофы стерилизуют землеподобные планеты с большой частотой, что мы должны ожидать обнаружить? Очевидно, не то, что мы живём на стерилизованной планете. Но может быть, мы должны быть более примитивными людьми, чем мы являемся? Чтобы ответить на этот вопрос, мы нуждаемся решении вопроса о референтных классах в теории селекции наблюдателей [76]. Но эта часть методологии ещё не существует. Так что сейчас мы можем сказать, что наиболее серьёзный глобальный риск создаётся продвинутой человеческой цивилизацией, но мы основываем эти утверждения на прямых рассуждениях. Есть ли дополнительная поддержка для наших выводов от непрямых рассуждений, остаётся открытым вопросом.

Мы не должны винить цивилизацию или технологию за создание больших глобальных рисков. По причине того, как мы определили риски существованию, провал в создании технологической цивилизации будет означать, что мы пали жертвами глобальной катастрофы (а именно, сужения, "технологической остановки"). Без технологии наши шансы избежать глобальных рисков будут нулевыми. С технологиями у нас есть небольшой шанс, хотя наибольшие риски, как сейчас оказалось, создаются самими технологиями.

9. Значение для стратегии и этики. (Implications for policy and ethics).

Риски существованию имеют набор черт, в силу которых полезно выделить их в отдельную категорию: колоссальный размер ущерба, который возникнет из глобальной катастрофы; тщетность метода проб и ошибок в этом случае; недостаток развитых биологических и культурных методов преодоления; тот факт, что предотвращение риска существованию является глобальным общественным интересом; совместная общественная заинтересованность (stakeholdership) всех будущих поколений; международная природа многих требуемых мер противодействия; по своей природе умозрительная и междисциплинарная природа темы; тонкие и разнообразные методологические проблемы, возникающие в процессе оценки вероятностей глобальных рисков; и относительное пренебрежение ко всей этой области.

Из нашего обзора наиболее важных рисков существованию и их главных свойств, мы можем вывести предварительные рекомендации для этики и стратегии.

9.1. Развивать досье на риски существованию. (Raise the profile of existential risks).

Нам нужно больше исследований в области рисков существованию - детальных исследований частных аспектов конкретных рисков, равно как и общих исследований проблем, связанных с этикой, методологией, безопасностью и политикой. Осведомлённость публики так же должна быть повышена, чтобы конструктивные политические дискуссии о возможных контрмерах стали бы возможны.

Современные исследователи всегда склонны заканчивать свои статьи словами, что в их области требуются дальнейшие исследования. Но в данном случае это действительно правда. Имеется гораздо больше научных исследований на тему поведения навозных мух, чем о глобальных рисках.

9.2. Создать структуру для международных действий. (Create a framework for international action).

Поскольку снижение рисков существованию является всеобщим общественным благом, в идеальном случае должна быть такая узаконенная структура, чтобы расходы и ответственность для обеспечения этого блага могли бы быть разделены справедливо между всеми людьми. Даже если расходы нельзя разделить справедливо, нужно пытаться создать некоторую систему, которая обеспечивает расходы на снижение рисков в приблизительно оптимальных объёмах.

Однако необходимость в международных действиях связана с большим, чем с желательностью распределения расходов. Многие глобальные риски просто не могут быть существенно уменьшены посредством внутренних действий одной - или даже большинства - стран. Например, даже если большинство стран примет и применит национальные законы против создания некоторых конкретных деструктивных видов нанотехнологий, достигнем ли мы на самом деле безопасности, если некоторые менее добросовестные страны решат всё равно продвигаться вперёд? И стратегический торг (bargaining) может сделать недопустимым подкуп всех безответственных сторон, чтобы они подписали соглашение, даже если все выиграют, если каждый подпишется [14,42].

9.3 Сохранять готовность к превентивному действию в качестве последнего средства. (Retain a last-resort readiness for preemptive action).

Создание консенсуса на широкой основе между странами мира требует много времени, трудно и во многих случаях невозможно. Поэтому мы должны осознать, что могут возникнуть случаи, в которых сильные страны или коалиции стран должны действовать односторонне ради своего и общего блага. Такие односторонние действия могут ущемлять суверенитет других наций и, возможно, должны быть сделаны упреждающе.

Давайте конкретизируем эту гипотезу. Предположим, продвинутая нанотехнология только что была создана в нескольких ведущих лабораториях. (Под продвинутой нанотехнологией я имею в виду настоящий универсальный сборщик, устройство, которое может создавать широкий круг трёхмерных структур - включая твёрдые части - с точностью до атома на основании детально определённого процесса сборки и конструирования, некоторого запаса химикатов и поставки энергии.) Предположим, что на этой стадии возможно предсказать, что изготовление опасных нанорепликаторов будет гораздо проще, чем создание надёжной нанотехнологической иммунной защиты, которая может защитить от всех простых опасных репликаторов. Может быть, чертежи опасных репликаторов уже были созданы заранее и доступны через Интернет. Предположим далее, что большая часть исследований, ведущих к созданию ассемблера, за исключением только нескольких последних стадий, доступна в открытой литературе; так что другие лаборатории в других частях мира, скорее всего, скоро создадут свои собственные ассемблеры. Что должно быть сделано?

С такими исходными данными, можно с уверенностью предсказать, что опасные технологии вскоре попадут в руки "стран изгоев", к сосредоточенным на ненависти к чему-то группам людей и, возможно, в конце концов, в руки одиноких психопатов. Рано или поздно кто-либо соберёт и выпустит на волю деструктивный нанобот и разрушит биосферу. Единственный вариант - предпринять действия по недопущению распространения технологии нано-сборщика до тех пор, пока надёжные контр-меры против нано-атаки не будут развёрнуты.

Можно надеяться, что большинство наций будут достаточно ответственны, чтобы добровольно подписаться на соответствующую регуляцию технологии ассемблеров. Эта регуляция не должна быть в форме запрета на ассемблеры, но должна ограничить временно, но эффективно использование ассемблеров, и она должна дополняться строгой программой контроля. Некоторые страны, однако, могут отказаться принять эту программу. На них будет вначале оказываться давление, чтобы они примкнули к коалиции. Если все попытки убеждения провалятся, сила или угроза применения силы должны быть использованы, чтобы заставить их принять регуляцию.

Превентивный удар по суверенной стране не должен быть легко совершаемым действием, но в крайнем случае, который мы обрисовали, - когда неспособность действовать с большой вероятностью приведёт к глобальной катастрофе - мы несём ответственность, которую нельзя аннулировать. Любой моральный запрет, который существует в нормальных условиях против нарушения государственного суверенитета, перевешивается в этом случае необходимостью предотвратить разрушение человечества. Даже если подозрительная страна ещё не совершила открытых нарушений, само решение продвигаться в развитии опасных технологий в отсутствии достаточной регуляции должно быть интерпретировано как акт агрессии, поскольку это подвергает весь остальной мир даже большему риску, чем, скажем, запуск нескольких ядерных ракет в случайных направлениях.

Интервенция должна быть достаточно решительной, чтобы уменьшить риск до приемлемых уровней, но она не должна быть большей, чем это необходимо, что достичь этой цели. Может быть, даже уместно выплатить компенсацию жителям подвергшейся атаки страны, многие из которых не несут никакой или почти никакой ответственности за безответственные действия своих лидеров.

Хотя мы надеемся, что мы никогда не окажемся в ситуации, когда применение силы станет необходимым, важно, что мы озвучим наши моральные и стратегические мысли на случай этих чрезвычайных обстоятельств. Развитие широкого понимания моральных аспектов этого сценария заранее особенно важно, поскольку без определённого уровня публичной поддержки демократическим странам будет трудно действовать решительно до того, как будут какие-либо видимые проявления того, что стоит на карте. Ожидание такого проявления - определённо не подходящий вариант, потому что оно само по себе уже может быть концом [прим. 20].

9.4 Развитие технологий с разной скоростью. (Differential technological development).

Если некая возможная технология имеет большой коммерческий потенциал, вероятно, невозможно не допустить её развития. Во всяком случае, в современном мире, с большим количеством автономных держав и относительно ограниченным надзором и, во всяком случае, с технологиями, которые не зависят от редких материалов или огромных заводов, будет чрезвычайно трудно сделать запрет на 100% надёжным. Для некоторых технологий (скажем, разрушающих озон веществ) несовершенно осуществляемая регуляция может быть всем, что нам нужно. Но с другими технологиями, такими как деструктивные наноботы, которые самореплицируются в естественной среде, даже единственное нарушение может быть смертельным. Ограниченная применимость технологических запретов ограничивает набор возможных политик, из которого мы можем выбирать.

То, на что мы должны иметь возможность влиять (в объёме, зависящем от того, как мы определяем это "мы"), - это темп развития различных технологий и, вероятно, последовательность, в которой возможные технологии развиваются и применяются. Мы должны быть сосредоточены на том, что я называю дифференциальным технологическим развитием: попытках замедлить применение опасных технологий и ускорить применение полезных технологий, особенно тех, которые смягчают угрозы, создаваемые другими технологиями.

В случае нанотехнологий, желательной последовательностью было бы размещение защитных систем до того, как наступательные возможности станут доступными для многих независимых государств; с того момента, когда секрет или технология становится доступной многим, чрезвычайно трудно не допустить их дальнейшего распространения. В случае биотехнологий, мы должны стремиться продвигать исследования в области вакцин, антибактериальных и антивирусных лекарств, защитных приспособлений, сенсоров и систем диагностики, и отложить, настолько, насколько это возможно, развитие (и распространение) возбудителей и переносчиков болезней из арсенала бактериологического оружия. Разработки, развивающие средства наступления и обороны в равной степени, являются нейтральными с точки зрения безопасности, пока они осуществляются странами, которые мы идентифицируем как ответственные, и в этом случае они являются выгодными в том отношении, что они увеличивают наше технологическое преимущество над нашими потенциальными противниками. Такие "нейтральные" разработки также могут быть полезны в уменьшении природных угроз, и они могут также приносить пользу, не связанную с глобальной безопасностью.

Некоторые технологии особенно стоит продвигать, поскольку они могут помочь уменьшать широкий круг рисков. Сверхинтеллект - одна из них. Хотя он имеет свои опасности (разъяснявшиеся в предыдущих главах), есть опасности, с которыми мы столкнёмся в некоторый момент несмотря ни на что. Но получение сверхинтеллекта ранее - желательно, поскольку это поможет уменьшить другие риски. Сверхинтеллект может дать нам советы в стратегии. Сверхинтеллект сделает кривую прогресса для нанотехнологий гораздо круче, таким образом, сокращая период уязвимости между созданием опасных нанорепликаторов и размещением адекватной защиты. Наоборот, получение нанотехнологий до сверхинтеллекта мало уменьшит риски сверхинтеллекта. Единственное значительное исключение здесь - в том случае, если мы думаем, что важно достичь сверхинтеллекта посредством загрузки человека в компьютер, а не искусственного интеллекта. Нанотехнологии очень помогут загрузке [39].

Другие технологии, которые обладают высоким потенциалом уменьшения рисков, включают в себя усиление интеллекта, информационные технологии (information technology) и надзор. Они могут сделать нас умнее индивидуально и коллективно, и могут сделать более возможным установление необходимой регуляции. Таким образом, судя по имеющимся данным, есть серьёзные причины продвигать эти технологии настолько решительно, насколько возможно [прим. 21].

Как уже говорилось, мы можем также определить достижения за пределами технологий, которые полезны почти при всех сценариях. Мир и международное сотрудничество - очевидно, стОящие цели, равно как и культивирование традиций, которые помогают демократиям процветать. [прим. 22]

9.5 Программы, направленные на прямое уменьшение конкретных рисков существованию.

Некоторые малые риски существованию могут быть парированы достаточно дёшево. Например, есть организации, нацеленные на картирование потенциально опасных околоземных объектов (например, в НАСА программа отслеживание околоземных астероидов, и фонд космической защиты (Near Earth Asteroid Tracking Program, and the Space Guard Foundation)). Здесь могло бы быть дано дополнительное финансирование. Чтобы уменьшить вероятность "физических катастроф", может быть назначен общественный наблюдательный комитет, с правом осуществлять предварительную экспертизу потенциально опасных экспериментов. Сейчас это делается от случая к случаю и часто таким способом, который зависит от честности исследователей, которые имеют личную заинтересованность в том, чтобы эксперименты продолжались.

Риски существованию от естественных или генетически сконструированных пандемий могут быть уменьшены теми же мерами, которые могут помочь не допустить и локализовать более ограниченные эпидемии. В силу этого можно было бы увеличить усилия в противодействии терроризму, гражданской обороне, эпидемиологическом мониторинге и передаче информации, разработке и накоплении запасов антидотов, репетировании карантинных процедур в случае катастрофы и т. д. Даже отвлекаясь от рисков существованию, было бы, вероятно, рентабельно увеличить долю таких программ в оборонных бюджетах. [прим. 23]

Широко признанным приоритетом является уменьшение риска ядерного Армагеддона, как случайного, так и намеренного. Имеется огромный объём литературы о связанных с этим стратегических и политических проблемах, к которому мне нечего здесь добавить.

Такие долгосрочные опасности, как распространение нанотехнологий или гонка вооружений между нанотехнологическими державами, равно как и риск в духе Всхлипа "эволюции в забвение", могут сделать необходимым, даже в большей мере, чем ядерное оружие, создание и применение скоординированной глобальной стратегии. Признание этих рисков существованию предполагает, что было бы разумно постепенно перенести фокус политики в области безопасности с поиска национальной безопасности посредством одностороннего усиления на создание единой международной системы безопасности, которая сможет предотвратить гонку вооружений и распространение оружия массового поражения. Какая конкретная политика имеет наилучшие шансы достижения этой долгосрочной цели - это вопрос, выходящий за пределы тематики данной статьи.

9.6. Максипок: эмпирическое правило для этичных поступков. (Maxipok: a rule of thumb for moral action).

Предыдущие главы показали, что совместная вероятность рисков существованию очень велика. Хотя по-прежнему имеется достаточно широкий разброс оценок, которые могут сделать ответственные мыслители, тем не менее может быть доказано, что, поскольку ущерб от глобальной катастрофы столь велик, стремление к уменьшению рисков существованию должно быть доминирующим соображением среди забот о человечестве в целом. Было бы полезно принять следующее эмпирическое правило для этичных поступков; мы назовём его Максипок:

Максимизируйте вероятность позитивного исхода, где "позитивный исход" - это любой исход, при котором не происходит глобальной окончательной катастрофы (existential disaster).

В лучшем случае, это - эмпирическое правило, первоначальное предположение, а не абсолютно обоснованный принцип, поскольку есть и другие моральные цели, помимо предотвращения глобальной окончательной катастрофы. Этичное действие всегда находится под риском переноса его основных усилий на вызывающие приятные ощущения проекты (feel-good projects) [прим. 24], а не на серьёзную работу, которая имеет наилучшие шансы излечить наихудшие болячки. Разрыв между вызывающими приятные ощущения проектами и теми, которые на самом деле имеют наибольший позитивный потенциал, вероятно, особенно велик в отношении рисков существованию. Поскольку цель весьма абстрактна и поскольку риски существованию не причиняют сейчас страданий ни одному живому существу [прим. 25], гораздо меньше прибыли в виде приятного самоощущения может быть выведено из усилий по их уменьшению. Это предполагает дополнительный этический проект, а именно - изменить общественное этическое восприятие таким образом, чтобы дать больше уважения и социального одобрения тем, кто тратит своё время и ресурсы на то, чтобы облагодетельствовать человечество посредством глобальной безопасности, в сравнении с другими видами филантропии.

Максипок, как один из принципов разумной достаточности, отличается от Максимина ("Выбирайте действие, которое имеет наилучший исход в наихудшем случае".) [прим. 26]. Поскольку мы не можем полностью устранить риски существованию (в любой момент мы можем быть сброшены в мусорный ящик космической истории расширяющимся фронтом вакуумного перехода, запущённого в далёкой галактике миллиард лет назад), использование Максимина в текущем контексте имело бы последствием то, что мы должны были бы выбрать действие, которое имело бы наибольшие преимущества при предположении о неизбежном вымирании. Иными словами, максимин означает, что мы все должны начать развлекаться, как если бы у нас не было завтра.

Хотя этот вариант бесспорно привлекателен, очевидно, что лучше допустить, что может наступить хотя бы завтрашний день, особенно если мы правильно сыграем наши карты.

Выражения признательности.

Я благодарен за комментарии to Curt Adams, Amara Angelica, Brian Atkins, Milan Cirkovic, Douglas Chamberlain, Robert A. Freitas Jr., Mark Gubrud, Robin Hanson, Barbara Lamar, John Leslie, Mike Treder, Ken Olum, Robert Pisani, нескольким анонимным читателям и аудитории на встрече SIG в институте Foresight Institute's Senior Associates Gathering, Palo Alto в апреле 2001. Эта статья также выиграла от дискуссий с Michaela Fistioc, Bill Joy, John Oh, Pat Parker, Keith DeRose, и Peter Singer.

Приложение: очерк эволюционного "всхлипа". (Appendix: The outline of an evolutionary whimper.)

Это приложение даёт очерк того, почему есть риск, что мы кончим эволюционным "всхлипом". Последующая цепь рассуждений из 11 звеньев не предназначена для того, чтобы быть жёстким доказательством какого-либо рода, но скорее наводящим на размышления рассказом без литературных украшений (Более подробную дискуссию по некоторым из этих идей см. [61].)

1. Хотя легко думать об эволюции как о происходящей от простых к более сложным формам жизни, мы не должны некритически предполагать, что это всегда так. Это правда, что здесь, на Земле, простые репликаторы развились в человеческие существа (среди прочего), но по причине эффекта селективности наблюдения, информационная ценность этого одного свидетельства очень ограничена (больше на эту тему в главе о оценке вероятностей рисков существованию) .

2. Мы не наблюдаем в настоящий момент значительного эволюционного развития в человеческом виде. Это связано с тем, что биологическая эволюция действует на временной шкале многих поколений, а не потому что этого больше не происходит [103].

3. Биологическая человеческая эволюция медленная в первую очередь из-за медленности процесса человеческого размножения (с минимальным промежутком между поколениями примерно в полтора десятка лет).

4.Загруженные в компьютер люди и машинные интеллекты могут размножаться практически мгновенно в случае наличия необходимых ресурсов. Также если они могут предсказать некоторые аспекты своей эволюции, они могут модифицировать себя прямо сейчас, вместо того, чтобы ждать, пока их оттеснят на второй план другие. Оба этих фактора могут привести к гораздо более быстрому эволюционному развитию в постчеловеческом мире.

5. Виды деятельности и жизненные пути, которые мы ценим, могут не совпадать с видами деятельности, которые имеют максимальную экономическую ценность в постчеловеческом мире. Деятели, которые выберут тратить некоторую часть своих ресурсов на (непродуктивные или не очень оптимальные) "хобби", будут находится в невыгодном положении в соревновании, и будут потому рисковать быть оттеснёнными на второй план. (Но как тогда игра могла развиться у людей и других приматов? Предположительно, потому что она была адаптивно выгодна и поэтому "продуктивна" в смысле слова используемого здесь. Мы приписываем ценность игре. Но опасность состоит в том, что нет никаких гарантий, что виды деятельности, которые будут адаптивно полезными в будущем, будут теми же, которые мы сейчас считаем полезными - адаптивная деятельность в будущем может быть даже не связана с какой-либо формой осознания.)

6. Мы должны различать два значения слов "оттеснены на второй план" (outcompeted). В первом случае "оттеснены" означает "оттеснены" только в относительном смысле: ресурсы, которыми такие существа обладают, составляют всё меньшую и меньшую часть от всех колонизованных ресурсов с течением времени. Во втором смысле, "оттеснённый" тип испытывает уменьшение в абсолютных терминах, так что, в конечном счёте, это тип становится вымершем.

7. Если права собственности почти совершенно соблюдаются (на космических расстояниях, что кажется непросто сделать), тогда "хоббисты" (то есть те типы, которые тратят часть своих ресурсов на непродуктивные виды деятельности) будут оттеснены только в первом смысле слова. В зависимости от деталей это может быть, а может и не быть классифицировано как "всхлип". Если потеря потенциала (по причине доминирования типов, которые мы не считаем ценными) достаточно велика, это будет "всхлипом".

8. При отсутствии совершенного соблюдения прав собственности, нам следует опасаться того, что хоббисты вымрут, потому что они менее эффективные соревнователи за одни и те же экологические ниши, чем те типы, которые не тратят никаких своих ресурсов активность в духе хобби.

9. Единственный путь избежать этого исхода может состоять в замене естественной эволюции - направленной эволюцией, то есть так сформировать давление социальной селекции, что оно будет потворствовать хоббистам (например, обкладывая налогом нехоббистов) [19,104]. Это может сделать тип хоббистов успешным в соревновании.

10. Направленная эволюция, однако, требует координации. Ничего хорошего не выйдет, если одни общества решат благоволить своим хоббистам, если тем временем другие общества, наоборот, решат максимилизировать свою продуктивность путём прекращения поддержки хоббистов. Последние в конечном счет переиграют первых. Таким образом, единственный путь, на котором направленная эволюция может избежать того, что, в противном случае, обречено быть эволюционным "всхлипом", - может состоять в том, что на высшем уровне организации будет только один независимый деятель. Мы можем назвать такую организацию Синглетон (singleton - единственный, одиночка).

11. Синглетон не должен быть монолитным. Он может содержать в себе высоко разнообразную экологическую среду из независимых групп и индивидуумов. Синглетон может быть, например, всемирным демократическим правительством или дружественным сверхинтеллектом [35]. Остаётся открытым вопрос, сформируется ли, в конце концов, Синглетон. Если Синглетон не сформируется, и если структурный ландшафт будущей эволюции не благоприятствует видам деятельности, которые мы находим ценными, то тогда результатом может быть эволюционный "всхлип".

Примечания:

[1] В других контекстах, понятие о "наилучшей субъективной оценке" может быть представлено как рыночные ставки на соответствующие притязания на Знание о Будущем (Idea Future's claim) [1]. Это замечание может помочь в качестве иллюстрации подразумеваемой концепции, но не может служить определением. Только дурак будет ставить на человеческое вымирание, поскольку здесь нет никаких шансов получить выплату, не зависимо от того, выиграешь ли ты или проиграешь.

[2] Здесь можно увидеть основную идею так называемого Принципа Предосторожности. [2] Любая более сильная интерпретация этого принципа, например, в отношении того, лежит ли тяжесть доказательства о введении некой новой рискованной процедуры на спорах, может стать неразумным упрощением [3].

[3] О различие между объективной и субъективной вероятностью см. например [4-6]. Классический разбор теории решений см. в [7].

[4] Президент Кеннеди, говорят, однажды оценил вероятность ядерной войны между США и СССР как "где-то в районе одной трети" ( "somewhere between one out of three and even") ([8], стр.. 110; см. также [9], гл. 2). Джон фон Нейман (1903-1957), выдающийся математик и один из создателей теории игр и компьютерной науки и председатель Военно-воздушного стратегического ракетного комитета по развитию (Air Force Strategic Missiles Evaluation Committee), был главным архитектором ранней американской ядерной стратегии. Как говорят, он утверждал, что "абсолютно наверняка (1) будет ядерная война и (2) в ней все погибнут". [10], p. 114.

[5] Это так по отношению к человеческому виду. Вымирание других видов - обычное дело. Оценивается, что 99% всех видов, живших на Земле, вымерло. Мы можем также получить некоторое образное знакомство с глобальными окончательными катастрофами из фантастики. Хотя в ней, кажется, есть наклонность к хэппи-энду, есть ряд исключений, таких как фильм "Доктор Стрэйнжлав" (Dr. Strangelove) [11] и горький роман Нейвила Шута (Nevil Shute) "На берегу" ("On the beach") (русский перевод - http://www.lib.ru/INPROZ/SHUT/on_beach.txt). Более того, в отношении некоторых рисков существованию (например, истребляющего весь вид удара метеорита), у нас уже есть опыт более мягких вариантов (то есть ударов меньших метеоритов), что помогает нам вычислить вероятность более крупного события. Но для большинства серьёзных рисков существованию, прецедентов нет.

[6] Эта терминология вдохновлена знаменитыми строками Томаса Элиота:

Вот как кончится мир
Не взрыв, но всхлип.
  Т.С.Элиот "Полые люди"

А также названием книги философа John Earman по общей теории относительности [17]. По вопросам общей классификации (some general desiderata) рисков, см. [18].

[7] Слова "Постчеловечество" и "постчеловеческая цивилизация" используются для определения общества технологически весьма усовершенствованных существ (с гораздо большими интеллектуальными и физическими способностями, гораздо большей продолжительностью жизни и т. д.), которым мы однажды можем стать [19].

[8] Некоторые из них обсуждаются более детально в первых двух главах прекрасной книги John Leslie [9]; некоторые обсуждены кратко в [20]. Недавняя полемика о статье Билла Джоя (Bill Joy) в журнале Wired [21] также привлекла внимание к некоторым из этих проблем.

[9] Нанотехнологии, конечно, также обладают огромным полезным потенциалом в медицине, защите окружающей среды, и в экономике в целом, но здесь мы не рассматриваем эту сторону медали.

[10] Для сравнения, тунгусское событие в 1908 году было вызвано телом примерно 60 метров в диаметре, с силой взрыва в 2 мегатонны ТНТ (Бомба в Хиросиме имела выход в 2 килотонны - (так у автора - прим. пер.)) и повалила деревья в радиусе 40 км.

[11] Остается под вопросом, следует ли считать "всхлипом" плохо запрограммированный суперинтеллект, который решит задерживать человечество неопределённо долго. Этот сверхинтеллект должен быть такой ограниченной природы, чтобы он сам по себе не считался формой пост-человечества; в противном случае это будет "скрип".

[12] Я считаю чрезвычайно маловероятной гипотезу (распространённую в масс-медиа и защищаемую, например, в [55]; см. также [56]) о том, что мы будем истреблены в обычной войне между человеческим видом и популяцией человекоподобных, сделанных людьми роботов.

[13] Это - наиболее убедительные кандидаты для трудных, критических шагов (возможно, требующих одновременных мутаций сразу в нескольких местах или других редких совпадений), в первую очередь потому, что они потребовали очень много времени (в сравнении, например, с эволюцией Homo Sapiens из наших гуманоидных предков). Но длительность некого шага не всегда хорошее основание, чтобы думать, что этот шаг невозможен. Дыхание кислородом стало адаптивно выигрышно, только после того, как в атмосфере появились значительные количества кислорода, и анаэробным организмам потребовалось сотни миллионов лет, чтобы создать достаточно кислорода, чтобы насытить различные виды кислородных утечек и поднять уровни атмосферного кислорода до требуемого уровня. Этот процесс был очень медленным, но почти наверняка должен был рано или поздно завершиться, так что было бы ошибкой считать, что эволюция кислородного дыхания и сопутствующий ему кембрийский взрыв представляют собой чрезвычайно трудный шаг в человеческой эволюции.

[14] Краткий обзор Рассуждения о конце света см. в [74].

[15] Это утверждение верно, если суммарное количество землеподобных планет в космосе достаточно велико, чтобы сделать высоко вероятным то, что, по крайней мере, на части из них разовьются интеллектуальные наблюдатели [77].

[16] Или, во всяком случае, так делают мужчины. Одно исследование [81] предполагает, что женщины недооценивают свои перспективы, хотя и не в той степени, как мужчины переоценивают свои. За дополнительной библиографией см. [82], стр. 489, [83,84].

[17] Для обзора см. главу 12 в [85]. Некоторые из этих исследований пренебрегают тем, что может быть вполне реальным, что 75% водителей лучше, чем среднестатистический водитель; некоторые из исследований стремятся избежать этой проблемы, например [86].

[18] Может ли быть причиной того, что недавние исследования описывают как более точную степень рациональности оценки рисков публикой, - то, что более ранние результаты способствовали обучению публики и рекалибровке (recalibration) её оценок? Исследователи, пытающиеся определить систематические предубеждения в восприятии рисков - могут быть подобны охотникам, стреляющим по движущейся мишени, и во многом подобны тем, кто пытается найти регулярности в движении рыночных индексов.

[19] Сценарий сужения "технологическая остановка" не может правомерно считаться вызванным нашей активностью.

[20] Сложности стратегического планирования наилучшего пути к нанотехнологиям становятся даже больше, если мы учтём возможные меметические (memetic - связанные с саморепликацией идей-мемов в информационном поле) последствия агитации за различные позиции в различные моменты времени. О некоторых других идеях об управлении рисками в сфере нанотехнологий см. [23,25,26,41,96-99].

[21] Разумеется, усиление интеллекта может сделать отрицательных персонажей более способными продвигать свои злостные амбиции, и системы контроля могут быть использованы диктаторским режимами (и молотки можно использовать для разбивания черепов). Чистая благодать редко заходит в гости. (Unmixed blessings are hard to come by). Но в сумме кажется, что эти технологии стоит продвигать. В случае систем контроля, кажется важным стремиться к двухсторонней прозрачности, за которую агитировал Дэвид Брин (David Brin) [100], По этой системе все мы сможем наблюдать агентства, которые наблюдают нас.

[22] При ограниченных ресурсах критическое значение имеет мудрый выбор приоритетов. Миллион долларов сейчас могут значительно увеличить количество исследований по рискам существованию; то же количество денег, потраченное на дело мира во всём мире, будет только каплей в море.

[23] Это было написано до трагедии 11 сентября. С тех пор приоритеты американской обороны сдвинулись в направлении, за которое мы агитируем здесь. Я думаю, что желательно дальнейшее движение в этом направлении.

[24] См., например, [101] и приведённые там ссылки.

[25] Исключение из этого будет в том случае, если мы полагаем, что значительной частью возможного и желательного постчеловеческого будущего является то, что оно будет содержать в себе значительную долю людей, которые сейчас живы. Если принять эту точку зрения, нынешний мировой уровень смертности в 150 000 человек в день является частью происходящей сейчас, потенциально глобальной катастрофы (скрип), которая вызывает огромные человеческие страдания.

[26] Согласно John Rawls [102], термин "максмин" также используется в другом смысле экономике благосостояния, для определения принципа (с учётом ряда важных ограничений), что мы должны выбирать состояние, которое оптимально с точки зрения ожиданий наименее состоятельных классов. Эта версия принципа не затрагивается в последующих рассуждениях.

Ссылки:

1. Hanson, R. (1995). Could Gambling Save Science? Encouraging an Honest Consensus. Social Epistemology, 9:1, 3-33.

2. Tickner, J. et al. (2000). The Precautionary Principle. URL: http://www.biotech-info.net/handbook.pdf.

3. Foster, K.R. et al. (2000). Science and the Precautionary Principle. Science, 288, 979-981. URL: http://www.biotech-info.net/science_and_PP.html.

4. Lewis, D. (1986). Philosophical Papers (Vol. 2). New York: Oxford University Press.

5. Lewis, D. (1994). Humean Supervenience Debugged. Mind, 103(412), 473-490.

6. Bostrom, N. (1999). A Subjectivist Theory of Objective Chance, British Society for the Philosophy of Science Conference, July 8-9, Nottingham, U.K.

7. Jeffrey, R. (1965). The logic of decision: McGraw-Hill.

8. Kennedy, R. (1968). 13 Days. London: Macmillan.

9. Leslie, J. (1996). The End of the World: The Science and Ethics of Human Extinction. London: Routledge.

10. Putnam, H. (1979). The place of facts in a world of values. In D. Huff & O. Prewett (Eds.), The Nature of the Physical Universe (pp. 113-140). New York: John Wiley.

11. Kubrick, S. (1964). Dr. Strangelove or How I Learned to Stop Worrying and Love the Bomb: Columbia/Tristar Studios.

12. Shute, N. (1989). On the Beach: Ballentine Books.

13. Kaul, I. (1999). Global Public Goods: Oxford University Press.

14. Feldman, A. (1980). Welfare Economics and Social Choice Theory. Boston: Martinus Nijhoff Publishing.

15. Caplin, A., & Leahy, J. (2000). The Social Discount Rate. National Bureau of Economic Research, Working paper 7983.

16. Schelling, T.C. (2000). Intergenerational and International Discounting. Risk Analysis, 20(6), 833-837.

17. Earman, J. (1995). Bangs, Crunches, Whimpers, and Shrieks: Singularities and Acausalities in Relativistic Spacetimes: Oxford University Press.

18. Morgan, M.G. (2000). Categorizing Risks for Risk Ranking. Risk Analysis, 20(1), 49-58.

19. Bostrom, N. et al. (1999). The Transhumanist FAQ. URL: http://www.transhumanist.org.

20. Powell, C. (2000). 20 Ways the World Could End. Discover, 21(10). URL: http://www.discover.com/oct_00/featworld.html.

21. Joy, B. (2000). Why the future doesn't need us. Wired, 8.04. URL: http://www.wired.com/wired/archive/8.04/joy_pr.html.

22. Drexler, K.E. (1992). Nanosystems. New York: John Wiley & Sons, Inc.

23. Drexler, K.E. (1985). Engines of Creation: The Coming Era of Nanotechnology. London: Forth Estate. URL: http://www.foresight.org/EOC/index.html.

24. Merkle, R. et al. (1991). Theoretical studies of a hydrogen abstraction tool for nanotechnology. Nanotechnology, 2, 187-195.

25. Freitas (Jr.), R.A. (2000). Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April 2000. URL: http://www.foresight.org/NanoRev/Ecophagy.html.

26. Gubrud, M. (2000). Nanotechnology and International Security, Fifth Foresight Conference on Molecular Nanotechnology. URL:

27. Bostrom, N. (2001). Are You Living in a Simulation? Working-paper. URL: http://www.simulation-argument.com.

28. Moravec, H. (1989). Mind Children. Harvard: Harvard University Press.

29. Moravec, H. (1999). Robot: Mere Machine to Transcendent Mind. New York: Oxford University Press.

30. Vinge, V. (1993). The Coming Technological Singularity. Whole Earth Review, Winter issue.

31. Bostrom, N. (1998). How Long Before Superintelligence? International Journal of Futures Studies, 2. URL: http://www.nickbostrom.com/superintelligence.html.

32. Moravec, H. (1998). When will computer hardware match the human brain? Journal of Transhumanism, 1. URL: http://www.transhumanist.com/volume1/moravec.htm.

33. Kurzweil, R. (1999). The Age of Spiritual Machines: When computers exceed human intelligence. New York: Viking.

34. Hanson, R. et al. (1998). A Critical Discussion of Vinge's Singularity Concept. Extropy Online. URL: http://www.extropy.org/eo/articles/vi.html.

35. Yudkowsky, E. (2001). Friendly AI 0.9. URL: http://singinst.org/CaTAI/friendly/contents.html.

36. National Intelligence Council (2000). Global Trends 2015: A Dialogue about the Future with Nongovernment Experts. URL: http://www.cia.gov/cia/publications/globaltrends2015/.

37. Nowak, R. (2001). Disaster in the making. New Scientist, 13 January 2001. URL:

38. Jackson, R.J. et al. (2001). Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73, 1479-1491.

39. Freitas (Jr.), R.A. (1999). Nanomedicine, Volume 1: Basic Capabilities. Georgetown, TX: Landes Bioscience. URL: http://www.nanomedicine.com.

40. Foresight Institute (2000). Foresight Guidelines on Molecular Nanotechnology, Version 3.7. URL: http://www.foresight.org/guidelines/current.html.

41. Foresight Institute (1997-1991). Accidents, Malice, Progress, and Other Topics. Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background2.html.

42. Schelling, T.C. (1960). The Strategy of Conflict. Cambridge, Mass.: Harvard University Press.

43. Knight, L.U. (2001). The Voluntary Human Extinction Movement. URL: http://www.vhemt.org/.

44. Schopenhauer, A. (1891). Die Welt als Wille und Vorstellung. Leipzig: F, A, Brockhaus.

45. Coleman, S., & Luccia, F. (1980). Gravitational effects on and of vacuum decay. Physical Review D, 21, 3305-3315.

46. Dar, A. et al. (1999). Will relativistic heavy-ion colliders destroy our planet? Physics Letters, B 470, 142-148.

47. Turner, M.S., & Wilczek, F. (1982). Is our vacuum metastable? Nature, August 12, 633-634.

48. Morrison, D. et al. (1994). The Impact Hazard. In T. Gehrels (Ed.), Hazards Due to Comets and Asteroids. Tucson: The University of Arizona Press.

49. Gold, R.E. (1999). SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28, 1999.

50. Huxley, A. (1932). Brave New World. London: Chatto & Windus.

51. Flynn, J.R. (1987). Massive IQ gains in many countries: What IQ tests really measure. Psychological Bulletin, 101, 171-191.

52. Storfer, M. (1999). Myopia, Intelligence, and the Expanding Human Neocortex. International Journal of Neuroscience, 98(3-4).

53. Merkle, R. (1994). The Molecular Repair of the Brain. Cryonics, 15(1 and 2).

54. Hanson, R. (1994). What If Uploads Come First: The crack of a future dawn. Extropy, 6(2). URL: http://hanson.gmu.edu/uploads.html.

55. Warwick, K. (1997). March of the Machines. London: Century.

56. Whitby, B. et al. (2000). How to Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. URL: http://www.cogs.susx.ac.uk/users/blayw/BlayAISB00.html.

57. Ettinger, R. (1964). The prospect of immortality. New York: Doubleday.

58. Zehavi, I., & Dekel, A. (1999). Evidence for a positive cosmological constant from flows of galaxies and distant supernovae. Nature, 401(6750), 252-254.

59. Bostrom, N. (2001). Are Cosmological Theories Compatible With All Possible Evidence? A Missing Methodological Link. In preparation.

60. Cirkovic, M., & Bostrom, N. (2000). Cosmological Constant and the Final Anthropic Hypothesis. Astrophysics and Space Science, 274(4), 675-687. URL: http://xxx.lanl.gov.

61. Bostrom, N. (2001). The Future of Human Evolution. Working paper. URL: http://www.nickbostrom.com.

62. Hanson, R. (1998). Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. URL: http://hanson.gmu.edu/workingpapers.html.

63. Freitas(Jr.), R.A. (1980). A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33, 251-264.

64. Bostrom, N. (2000). Predictions from Philosophy? Coloquia Manilana (PDCIS), 7. URL: http://www.nickbostrom.com/old/predict.html.

65. Chislenko, A. (1996). Networking in the Mind Age. URL: http://www.lucifer.com/~sasha/mindage.html.

66. Barrow, J.D., & Tipler, F.J. (1986). The Anthropic Cosmological Principle. Oxford: Oxford University Press.

67. Tipler, F.J. (1982). Anthropic-principle arguments against steady-state cosmological theories. Observatory, 102, 36-39.

68. Brin, G.D. (1983). The `Great Silence': The Controversy Concerning Extraterrestrial Intelligent Life. Quarterly Journal of the Royal Astronomical Society, 24, 283-309.

69. Hanson, R. (1998). The Great Filter - Are We Almost Past It? Working paper.

70. Carter, B. (1983). The anthropic principle and its implications for biological evolution. Phil. Trans. R. Soc., A 310, 347-363.

71. Carter, B. (1989). The anthropic selection principle and the ultra-Darwinian synthesis. In F. Bertola & U. Curi (Eds.), The anthropic principle (pp. 33-63). Cambridge: Cambridge University Press.

72. Hanson, R. (1998). Must Early Life be Easy? The rhythm of major evolutionary transitions. URL: http://hanson.berkeley.edu/.

73. Leslie, J. (1989). Risking the World's End. Bulletin of the Canadian Nuclear Society, May, 10-15.

74. Bostrom, N. (2000). Is the end nigh?, The philosopher's magazine, Vol. 9 (pp. 19-20). URL: http://www.anthropic-principle.com/primer.html.

75. Bostrom, N. (1999). The Doomsday Argument is Alive and Kicking. Mind, 108(431), 539-550. URL: http://www.anthropic-principle.com/preprints/ali/alive.html.

76. Bostrom, N. (2002). Anthropic Bias: Observation Selection Effects in Science and Philosophy. Routledge, New York. URL: http://www.anthropic-principle.com/book/.

77. Bostrom, N. (2001). Fine-Tuning Arguments in Cosmology. In preparation. URL: http://www.anthropic-principle.com.

78. Bostrom, N. (2000). Observer-relative chances in anthropic reasoning? Erkenntnis, 52, 93-108. URL: http://www.anthropic-principle.com/preprints.html.

79. Bostrom, N. (2001). The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3), 359-387. URL: http://www.anthropic-principle.com.

80. Sjberg, L. (2000). Factors in Risk Perception. Risk Analysis, 20(1), 1-11.

81. Frieze, I. et al. (1978). Women and sex roles. New York: Norton.

82. Waldeman, M. (1994). Systematic Errors and the Theory of Natural Selection. The American Economics Review, 84(3), 482-497.

83. Cowen, T., & Hanson, R. (2001). How YOU Do Not Tell the Truth: Academic Disagreement as Self-Deception. Working paper.

84. Kruger, J., & Dunning, D. (1999). Unskilled and Unaware if It: How Difficulties in Recognizing One's Own Incompetence Lead to Inflated Self-Assessments. Journal of Personality and Social Psychology, 77(6), 1121-1134.

85. Evans, L. (1991). Traffic Safety and the Driver: Leonard Evans. URL: http://www.scienceservingsociety.com/book/.

86. Svenson, O. (1981). Are we less risky and more skillful that our fellow drivers? Acta Psychologica, 47, 143-148.

87. Westie, F.R. (1973). Academic Expectations of Professional Immortality: A Study of Legitimation. The American Sociologists, 8, 19-32.

88. Gilovich, T. (1991). How We Know What Isn't So. New York: Macmillan.

89. Paulhaus, D.L. (1986). Self-Deception and Impression Management in Test Responses. In A. Angeitner & J.S. Wiggins (Eds.), Personality Assessment via Questionnaires: Current Issues in Theory and Measurement. New York: Springer.

90. Roth, D.L., & Ingram, R.E. (1985). Factors in the Self-Deception Questionnaire: Associations with depression. Journal of Personality and Social Psychology, 48, 243-251.

91. Sackheim, H.A., & Gur, R.C. (1979). Self-deception, other-deception, and self-reported psychopathology. Journal of Consulting and Clinical Psychology, 47, 213-215.

92. Sjberg, L. (1994). Stralforskningens Risker: Attityder, Kunskaper och Riskuppfattning. RHIZIKON: Rapport fran Centrum fr Riskforskning, Handelshgskolan i Stockholm, 1.

93. Urguhart, J., & Heilmann, K. (1984). Risk Watch: The Odds of Life. New York: Facts on File Publications.

94. Taylor, H. (1999). Perceptions of Risks. The Harris Poll #7, January 27. URL: http://www.harrisinteractive.com/harris_poll/index.asp?PID=44.

95. Benjamin, D.K. et al. (2001). Individuals' estimates of risks of death: Part II - New evidence. Journal of Risk and Uncertainty, 22(1), 35-57.

96. Drexler, K.E. (1988). A Dialog on Dangers. Foresight Background 2, Rev. 1. URL: http://www.foresight.org/Updates/Background3.html.

97. McCarthy, T. (2000). Molecular Nanotechnology and the World System. . URL: http://www.mccarthy.cx/WorldSystem/intro.htm.

98. Forrest, D. (1989). Regulating Nanotechnology Development. . URL: http://www.foresight.org/NanoRev/Forrest1989.html.

99. Jeremiah, D.E. (1995). Nanotechnology and Global Security. Presented at the Fourth Foresight Conference on Molecular Nanotechnology. URL: http://www.zyvex.com/nanotech/nano4/jeremiahPaper.html.

100. Brin, D. (1998). The Transparent Society. Reading, MA.: Addison-Wesley.

101. Hanson, R. (2000). Showing That You Care: The Evolution of Health Altruism. . URL: http://hanson.gmu.edu/bioerr.pdf.

102. Rawls, J. (1999). A Theory of Justice (Revised Edition ed.). Cambridge, Mass.: Harvard University Press.

103. Kirk, K.M. (2001). Natural Selection and Quantitative Genetics of Life-History Traits in Western Women: A Twin Study. Evolution, 55(2), 432-435. URL:

104. Bostrom, N. (2001). Transhumanist Values. Manuscript. URL: http://www.nickbostrom.com.

Copyright: Алексей Турчин, 2007