Шансы и исходы: о предельном риске

Все хотят денег. Пото­му их так и назы­ва­ют: день­ги¹.

Гра­бёж (2001)

Вполне прав­до­по­доб­но пред­по­ло­жить, что может суще­ство­вать некая воз­мож­ная тех­но­ло­гия, для кото­рой спра­вед­ли­во, что: (а) прак­ти­че­ски все доста­точ­но раз­ви­тые циви­ли­за­ции рано или позд­но её достиг­нут и (б) её дости­же­ние при­во­дит к экзи­стен­ци­аль­ной ката­стро­фе прак­ти­че­ски в уни­вер­саль­ном мас­шта­бе².

Н. Бостром

По умол­ча­нию резуль­тат появ­ле­ния силь­но­го ИИ – выми­ра­ние чело­ве­че­ства³.

Л. Мюл­ха­у­зер и А. Саламон.

ИИ вас ни нена­ви­дит, ни любит, но вы состо­и­те из ато­мов, кото­рым он мог бы най­ти дру­гое при­ме­не­ние⁴.

Э. Юдков­ский

После того как десять чело­век фокус–группы раз­ме­сти­лись в ком­на­тах и им дали пра­во выбо­ра нажи­мать или не нажи­мать, а потом были уби­ты, остав­ши­е­ся 1000 и 1 игрок так­же раз­ме­ща­ют­ся в ком­на­тах, и игра про­дол­жа­ет­ся…⁵

П. Элмонд

Внутри игорного дома

Утвер­жде­ние, что «кази­но капи­та­лизм» – это про­сто капи­та­лизм оста­ёт­ся кон­сер­ва­тив­ной про­по­зи­ци­ей до тех пор, пока оно не дора­бо­та­но до того момен­та, когда само кази­но ока­зы­ва­ет­ся на кону. Толь­ко тогда риск ста­но­вит­ся «экзи­стен­ци­аль­ным», абсо­лют­ным или транс­цен­ден­таль­ным, пол­но­стью вовле­ка­ю­щим игро­ка в игру, а игру – в саму себя. Ожи­да­ния реа­ли­зо­ван­ной исто­ри­че­ской син­гу­ляр­но­сти тре­бу­ют по мень­шей мере этого.

Капи­та­лизм, искус­ствен­ный интел­лект или все­о­хват­ная ката­стро­фа (в пре­де­ле эти тер­ми­ны вза­и­мо­за­ме­ня­е­мы) усколь­за­ют от типо­вой кате­го­ри­за­ции, когда вос­при­ни­ма­ют­ся в каче­стве нечто, веро­ят­ность кото­ро­го не под­ле­жит реля­ти­ви­за­ции или огра­ни­че­нию. Систе­ма­ти­че­ское «ове­ществ­ле­ние» совре­мен­но­го поряд­ка в каче­стве вир­ту­аль­ной син­гу­ляр­но­сти объ­яс­ня­ет­ся не столь­ко идео­ло­ги­че­ским заблуж­де­ни­ем, сколь­ко реаль­ной кон­цен­тра­ци­ей ста­вок, или кон­со­ли­да­ци­ей после­до­ва­тель­ной тен­ден­ции, кото­рая не ком­пен­си­ру­ет­ся, рас­пре­де­ля­ет­ся ано­ма­ли­сти­че­ски и не под­ле­жит страховке.

Этот экс­пе­ри­мент не может про­ва­лить­ся ина­че, как в резуль­та­те обще­го – даже пре­дель­но­го – кризиса.

«Тер­мин “рис­ки” – это нео­ло­гизм, кото­рый вошёл в оби­ход с пере­хо­дом от тра­ди­ци­он­но­го к совре­мен­но­му обще­ству», отме­ча­ет Никлас Луман⁶, что согла­су­ет­ся с подав­ля­ю­щим чис­лом исто­ри­че­ских сви­де­тельств. Быть совре­мен­ным – зна­чит отой­ти от арха­ич­ной боги­ни уда­чи на пути к рис­ку, кото­рый сти­му­ли­ру­ет вычис­ле­ние, фор­ма­ли­зу­ет агент­ность и реструк­ту­ри­ру­ет вре­мя, посколь­ку опас­ность – это кри­стал­ли­за­ция внут­рен­не­го прин­ци­па дей­ствия из внеш­ней угро­зы. В этой модер­ни­за­ции дей­ствия, или дей­ствий по при­ня­тию реше­ний, риск при­об­ре­та­ет опре­де­ле­ние посред­ством инте­ри­о­ри­за­ции – не к есте­ствен­ным или пред­за­дан­ным субъ­ек­там, а к про­ек­там, пред­при­я­ти­ям или аван­тю­рам, а так­же к син­те­ти­че­ским фор­мам субъ­ек­тив­но­сти, кото­рые под­дер­жи­ва­ют­ся таки­ми начи­на­ни­я­ми. Опас­но­сти под­вер­га­ют­ся, в то вре­мя как рис­ки при­ни­ма­ют или выби­ра­ют. Совре­мен­ные инсти­ту­ции инте­гри­ру­ют и обра­ба­ты­ва­ют риск, кон­стру­и­руя его в каче­стве детер­ми­ни­ро­ван­ной темы, и – в самых круп­ных мас­шта­бах и в кон­тек­сте самых дол­го­сроч­ных пла­нов – глу­бо­ко пере­стра­и­ва­ют куль­тур­ные ком­пе­тен­ции, что­бы опре­де­лить, смо­де­ли­ро­вать и под­верг­нуть его когни­тив­ной манипуляции.

Ариф­ме­ти­че­ское про­буж­де­ние ита­льян­ско­го Ренес­сан­са, вме­сте с кото­рым в Евро­пе воз­ник­ла систе­ма обо­зна­че­ния помест­но­го зна­че­ния [place–value], сопро­вож­да­лось зарож­де­ни­ем совре­мен­ной бух­гал­те­рии (веде­ние книг по прин­ци­пу двой­ной запи­си), а так­же поло­жи­ло нача­ло фор­маль­но­му ана­ли­зу про­стых азарт­ных игр в таких рабо­тах, как Liber de Ludo Aleae Дже­ро­ла­мо Кар­да­но (1526, не пуб­ли­ко­ва­лась до 1663). Каж­дая после­ду­ю­щая вол­на евро­пей­ской куль­тур­ной модер­ни­за­ции была схо­жим обра­зом отме­че­на поро­го­вой вели­чи­ной мате­ма­ти­че­ско­го опре­де­ле­ния рис­ка, кон­со­ли­ди­ру­ю­щей тео­рию веро­ят­но­сти, объ­еди­ня­ю­щей её с опре­де­лён­ны­ми кон­цеп­ци­я­ми полез­но­сти (абсо­лют­ной, затем мар­ги­наль­ной), а так­же акку­му­ли­ру­ю­щей тех­ни­ки ста­ти­сти­че­ско­го ана­ли­за (акту­ар­ное табу­ли­ро­ва­ние из обла­сти демо­гра­фи­че­ской ста­ти­сти­ки, откры­тие нор­маль­но­го рас­пре­де­ле­ния и воз­врат к сред­не­му). Посмерт­ное обна­ру­же­ние Очер­ка к реше­нию про­бле­мы док­три­ны шан­сов Тома­са Бай­е­са (1761) и вос­при­я­тие свя­зан­но­го с ним стро­го­го пра­ви­ла пере­смот­ра веро­ят­ност­ных умо­за­клю­че­ний в ответ на воз­ни­ка­ю­щие сви­де­тель­ства выве­ли ана­лиз сте­пе­ни рис­ка на такой уро­вень все­о­хват­но­сти, кото­рый стал пол­но­стью эпи­сте­мо­ло­ги­че­ским и, таким обра­зом, более не под­чи­нён­ным – даже номи­наль­но – детер­ми­на­ци­ям зна­ния более высо­ко­го поряд­ка. В бай­е­сов­ском адап­тив­ном про­гно­зи­ро­ва­нии цикл завер­шил­ся. Совре­мен­ность научи­лась думать о рис­ке, а думая о рис­ке научи­ла его учить­ся. Меж­ду тем, чему она научи­лась, и тем, чем она рис­ко­ва­ла, ста­ло невоз­мож­но про­ве­сти осмыс­лен­ную чер­ту. Она осо­зна­ла инте­граль­ную когни­тив­ную опас­ность, или вир­ту­аль­ную интел­лек­ту­аль­ную катастрофу.

Посколь­ку риск стал внут­рен­ним прин­ци­пом совре­мен­но­сти, общий путь совре­мен­но­сти невоз­мож­но изо­ли­ро­вать в каче­стве объ­ек­та ана­ли­за сте­пе­ни рис­ка. Рас­чёт рис­ка как куль­тур­ная инно­ва­ция, реаль­ная целост­ность кото­рой выра­жа­ет­ся в каче­стве эмер­джент­но­го суще­го, или раз­ви­ва­ю­щей­ся гло­баль­ной систе­мы, не в состо­я­нии вый­ти за соб­ствен­ные пре­де­лы, что­бы под­верг­нуть­ся объ­ек­тив­ной само­оцен­ке. Ни гло­баль­ный, ни абстракт­ный риск не явля­ют­ся темой, соот­вет­ству­ю­щей реаль­но­му сви­де­те­лю (или эпи­сте­мо­ло­ги­че­ско­му субъекту).

Отсут­ствие гло­баль­но­го субъ­ек­та, или цен­тра, в соче­та­нии с фак­ту­аль­ным «гло­ба­ли­зу­ю­щим» трен­дом, кото­рый, по–видимому, тре­бу­ет его нали­чия, само по себе явля­ет­ся «фак­то­ром рис­ка» осо­бо­го рода. Пози­тив­ная иден­ти­фи­ка­ция это­го син­дро­ма в каче­стве «капи­та­лиз­ма» как име­ни соб­ствен­но­го может пока­зать­ся не более чем неосмот­ри­тель­ной про­во­ка­ци­ей или меха­ни­че­ским рас­ка­пы­ва­ни­ем тер­ми­но­ло­ги­че­ской релик­вии. В любом слу­чае, это экс­пе­ри­мент, демон­стри­ру­ю­щий вза­и­мо­свя­зи с про­бле­мой рис­ка, исклю­чи­тель­ные по сво­е­му раз­но­об­ра­зию и плотности.

Прибытие

Адек­ват­ные типо­вые фор­му­лы капи­та­лиз­ма состав­ля­ют­ся без тру­да. Наи­бо­лее стро­го под­хо­дя­щие из них на роль опре­де­ле­ния выде­ля­ют соци­аль­ное устрой­ство, харак­те­ри­зу­ю­ще­е­ся ком­мер­ци­а­ли­зи­ро­ван­ным капи­та­лом с опо­рой на модель про­из­вод­ствен­ной тех­но­ло­гии, обме­ни­ва­е­мой внут­ри попу­ля­ции инди­ви­ду­аль­ных – или по край­ней мере мно­го­чис­лен­ных, раз­роз­нен­ных и эко­но­ми­че­ски моти­ви­ро­ван­ных – аген­тов. Рас­пре­де­ле­ния тако­го рода под­во­дят инду­стри­аль­ную инно­ва­цию под зави­си­мость от ката­лак­сии, или неза­пла­ни­ро­ван­но­го замыс­ла, при этом про­яв­ля­ют­ся социо­ло­ги­че­ские эффек­ты, свя­зан­ные с депо­ли­ти­за­ци­ей или авто­но­ми­за­ци­ей эко­но­ми­ки. В системно–теоретическом плане они сов­па­да­ют с эмер­джент­ной схе­ма­ти­кой, кото­рая в мак­си­маль­ной сте­пе­ни под­вер­га­ет аген­тов любо­го калиб­ра след­стви­ям их соб­ствен­но­го пове­де­ния. Поэто­му оно, в сущ­но­сти, настро­е­но на вол­ну кибер­не­ти­че­ской интен­си­фи­ка­ции, или соци­аль­ной вос­при­им­чи­во­сти к меха­низ­мам обрат­ной свя­зи, пере­рас­та­ю­щим в причинно–следственные совпадения.

Неза­ви­си­мо от того, рас­смат­ри­ва­ет­ся ли капи­та­лизм в каче­стве типо­во­го устрой­ства или в каче­стве осо­бо­го собы­тия, он так­же иден­ти­фи­ци­ру­ет­ся через его тес­ную связь с риском. Как уже отме­ча­лось ранее, на уровне гру­бо­го эмпи­риз­ма гео­гра­фи­че­ская и исто­ри­че­ская тема­ти­за­ция рис­ка тес­но сосед­ству­ет с инту­и­тив­но прав­до­по­доб­ны­ми при­зна­ка­ми капи­та­ли­сти­че­ско­го раз­ви­тия во вре­ме­ни и про­стран­стве. Более того, систем­ный капи­та­ли­сти­че­ский импульс скло­нен без­оши­боч­но поощ­рять край­нюю веро­ят­ность рис­ка, в кото­рой он при­ни­ма­ет суве­рен­ный или транс­цен­ден­таль­ный харак­тер, утвер­ждая себя в каче­стве пре­дель­но­го кри­те­рия. В этом смыс­ле мож­но опре­де­лить капи­та­лизм через про­ти­во­по­став­ле­ние его абстракт­ной аль­тер­на­ти­ве, то есть любо­му соци­аль­но­му устрой­ству, в кото­ром резуль­та­ты пред­при­я­тий, струк­ту­ри­ро­ван­ных риском, потен­ци­аль­но могут быть пере­смот­ре­ны после обжа­ло­ва­ния в выше­сто­я­щем три­бу­на­ле. В той мере, в кото­рой выше­сто­я­щий прин­цип рас­пре­де­ле­ния воз­вы­ша­ет­ся над риском, послед­ний оста­ёт­ся вто­ро­сте­пен­ным фак­том соци­аль­но­го суще­ство­ва­ния, а зна­чит не дотя­ги­ва­ет до сво­ей конеч­ной, капи­та­ли­сти­че­ской фор­мы⁷.

Будучи арти­ку­ли­ро­ван­ной поли­ти­че­ски, дру­гая сто­ро­на капи­та­лиз­ма пода­ёт­ся через идею «соци­аль­ной спра­вед­ли­во­сти», пони­ма­е­мой в стро­гом и кон­крет­ном смыс­ле. Как имен­но пони­ма­ет­ся спра­вед­ли­вость име­ет мало зна­че­ния, пока за ней оста­ёт­ся пре­ро­га­ти­ва выс­шей юрис­дик­ции по отно­ше­нию к пер­вич­ным спо­со­бам рас­пре­де­ле­ния или акту­а­ли­за­ции рис­ка, кото­рые пред­ше­ству­ют социо–политической и социо­ло­ги­че­ской рефлек­сии. Кон­крет­ные пре­де­лы капи­та­ли­сти­че­ско­го раз­ви­тия в любом вре­ме­ни или про­стран­стве мож­но оце­нить по сте­пе­ни зави­си­мо­сти рис­ка от при­знан­ных соци­аль­ных авто­ри­те­тов. И наобо­рот, сте­пень, в кото­рой обще­ство под­вер­га­ет­ся рис­ку со сто­ро­ны эко­но­ми­че­ских воз­мож­но­стей, есть сте­пень пре­об­ла­да­ния капи­та­ли­сти­че­ских императивов.

Воспользуйся возможностью

Для углуб­ле­ния это­го ана­ли­за будет полез­но выде­лить две раз­но­вид­но­сти при­ня­тия рис­ка, или реаль­ной спе­ку­ля­ции. В целях сию­ми­нут­но­го тер­ми­но­ло­ги­че­ско­го удоб­ства мож­но про­ве­сти раз­ли­чие меж­ду став­кой [wagers] и аван­тю­рой [ventures], где пер­вое опре­де­ля­ет­ся как огра­ни­чен­ная раз­но­вид­ность вто­ро­го. Агент или субъ­ект став­ки выхо­дит за пре­де­лы рас­смат­ри­ва­е­мо­го рис­ка, то есть он сам не вовле­чён в риск, или не вовле­чён в резуль­тат в экзи­стен­ци­аль­ном смыс­ле. Про­иг­рать став­ку – зна­чить разо­рить­ся, в какой бы сте­пе­ни это не изме­ря­лось ути­ли­тар­ным регла­мен­том суще­ства, кото­рое, в сущ­но­сти, оста­лось нетро­ну­тым. В игре со став­ка­ми, напри­мер, в кази­но, все те, кто садит­ся за стол, рано или позд­но поки­да­ют его, под­верг­нув­шись пере­рас­пре­де­ле­нию богатств, кото­рое не пре­вы­ша­ет соот­вет­ству­ю­ще­го коли­че­ствен­но­го иден­ти­фи­ка­то­ра. Отча­сти имен­но поэто­му это – все­го лишь игра, в нефор­маль­ном и непро­бле­ма­ти­че­ском смыс­ле (в том смыс­ле, в кото­ром ею нико­гда не будет рус­ская рулет­ка). Меж­ду субъ­ек­том став­ки и тем, что ста­вит­ся на кон пред­по­ла­га­ет­ся непре­одо­ли­мая пропасть.

Аван­тю­ра, напро­тив, – это транс­цен­ден­таль­ное – или соб­ствен­но капи­та­ли­сти­че­ское – при­ня­тие рис­ка, кото­рый дер­жит на себе имма­нент­ный субъ­ект. Типич­ным при­ме­ром будет начи­на­ние в сфе­ре биз­не­са, пони­ма­е­мое в мас­шта­бе, доста­точ­ном для того, что­бы вклю­чать в каче­стве сво­е­го пре­дель­но­го зна­че­ния разо­ре­ние (банк­рот­ство) кор­по­ра­тив­но­го «лица», пред­став­ля­ю­ще­го собой его при­знан­но­го субъ­ек­та. Аван­тю­ра с тако­го рода биз­не­сом – это про­ект, резуль­та­том кото­ро­го может стать пре­кра­ще­ние его суще­ство­ва­ния⁸. Инвер­сия этой фор­му­лы будет не менее умест­ной: аван­тю­ра предо­став­ля­ет усло­вие суще­ство­ва­ния капи­та­ли­сти­че­ско­го субъ­ек­та (в то вре­мя как став­ка пред­по­ла­га­ет нали­чие уже суще­ству­ю­ще­го субъ­ек­та, кото­ро­го она опре­де­ля­ет со сто­ро­ны внеш­не­го, через пре­хо­дя­щее происшествие).

Оче­вид­но, что это раз­ли­чие не стро­го соот­вет­ству­ет трансцендентальному/эмпирическому раз­ли­чию, уна­сле­до­ван­но­му от кри­ти­че­ской фило­со­фии. Став­ка, или систе­ма ста­вок, рав­но­силь­на аван­тю­ре на неко­то­ром кон­цеп­ту­аль­но про­из­воль­ном (коли­че­ствен­ном) пре­де­ле экзи­стен­ци­аль­но реша­ю­ще­го рис­ка, в то вре­мя как аван­тю­ры и став­ки мож­но объ­еди­нять, разъ­еди­нять и вкла­ды­вать друг в дру­га в соот­вет­ствии с общи­ми про­це­ду­ра­ми ана­ли­за сте­пе­ни рис­ка и управ­ле­ния им. Явля­ет­ся ли дан­ная вели­чи­на рис­ка аван­тю­рой или частью аван­тю­ры, – это чисто фор­маль­ный вопрос, пол­но­стью зави­ся­щий от спо­со­ба вос­при­я­тия. Цель раз­ли­чия, таким обра­зом, не в том, что­бы опре­де­лить кон­тра­сти­ру­ю­щие виды рис­ка, а в том, что­бы тео­ре­ти­че­ски изо­ли­ро­вать кон­тра­сти­ру­ю­щие миры.

В тра­ди­ци­он­ном мире, точ­нее, в совре­мен­ном мире, пони­ма­е­мом в про­грес­сив­ном клю­че (как резуль­тат раз­ви­тия тра­ди­ции), аген­ты, субъ­ек­ты или отдель­ные орга­низ­мы всё чаще вынуж­де­ны делать став­ки, посколь­ку они всё более погру­жа­ют­ся в сре­ду, свя­зан­ную с риском, кото­рая, тем не менее, оста­ёт­ся внеш­ней по отно­ше­нию к тому, что их кон­сти­ту­и­ру­ет. Совре­мен­ность иску­ша­ет и обру­ши­ва­ет­ся на них, подоб­но раз­ли­ву реки нега­тив­ной без­опас­но­сти. При ретро­грес­сив­ном пони­ма­нии через неиз­беж­ность её [совре­мен­но­сти] кон­ца, тот же самый про­цесс под­вер­га­ет­ся кон­цеп­ту­аль­но­му упро­ще­нию, или онто­ло­ги­че­ско­му сжа­тию, посколь­ку агент­но­сти – во всём их раз­но­об­ра­зии – теперь рас­смат­ри­ва­ют­ся как про­ис­те­ка­ю­щие из аван­тюр, кото­рые их под­дер­жи­ва­ют, подоб­но целост­ным систе­мам интел­лек­та, обра­ба­ты­ва­ю­ще­го сте­пе­ни рис­ка⁹. Про­вал круп­но­мас­штаб­ной аван­тю­ры – будь то реаль­ной или вир­ту­аль­ной – отныне рас­смат­ри­ва­ет­ся не как круп­ное про­ис­ше­ствие, а, ско­рее, как транс­цен­ден­таль­ная ката­стро­фа, по край­ней мере, в отно­ше­нии тех струк­тур агент­но­сти, усло­вия суще­ство­ва­ния кото­рых она под­ры­ва­ет. Такие аген­ты, дости­гая само­по­ни­ма­ния из пер­спек­ти­вы кон­ца капи­та­лиз­ма, под­вер­га­ют­ся угро­зе не со сто­ро­ны чего–то ужас­но­го, что про­ис­хо­дит (в мире), им угро­жа­ет потен­ци­аль­ный кол­лапс мира.

Имен­но в резуль­та­те тако­го чере­до­ва­ния точек зре­ния воз­ни­ка­ет послед­няя и вза­и­мо­обу­слов­лен­ная арти­ку­ля­ция «чело­ве­че­ства» и «капи­та­лиз­ма», в кото­рой назна­че­ние чело­ве­че­ства обре­та­ет пре­дель­ное выра­же­ние в спро­се на веч­ную неза­вер­шён­ность капи­та­лиз­ма, или отсроч­ки завер­ше­ния нече­ло­веч­но­сти. Несмот­ря на весь­ма абстракт­ный прин­цип, эта струк­ту­ра демон­стри­ру­ет при­ме­ча­тель­ную устой­чи­вость, если вуль­га­ри­зи­ро­вать её до поло­же­ния прак­ти­че­ских дилемм и кон­крет­ных кон­флик­тов. Наи­бо­лее пря­мо­ли­ней­но она резо­ни­ру­ет с непре­одо­ли­мым доми­ни­ро­ва­ни­ем анта­го­ни­сти­че­ско­го дуа­лиз­ма в прин­ци­пи­аль­ном (левые/правые) поли­ти­че­ском изме­ре­нии. К людям нель­зя отно­сить­ся как к сред­ству, наста­и­вал Маркс, оли­це­тво­ряя пози­цию левых, кото­рая не уста­ре­ет до тех пор, пока суще­ству­ет политика.

«Чело­век», кото­рый волей–неволей дела­ет став­ку, выжи­ва­ет лишь постоль­ку, посколь­ку это фор­ма аван­тю­ры огра­ни­че­ния. Таким обра­зом, чело­ве­че­ское упор­ство, если оно отме­ча­ет­ся ретро­грес­сив­но, чёт­ко очер­чи­ва­ет ланд­шафт струк­тур­ной неэф­фек­тив­но­сти, или онто­ло­ги­че­ско­го излиш­ка. Стре­мясь огра­ни­чить («борясь» за это) область капи­та­ли­сти­че­ской неуда­чи изме­ре­ни­ем суб­эк­зи­стен­ци­аль­ных потерь, лишь по слу­чай­но­сти пося­гая на по тра­ди­ции опу­стив­ше­е­ся соци­аль­ное поле, гума­ни­сти­че­ская поли­ти­ка устрем­ля­ет­ся навстре­чу авто­ма­ти­че­ско­му анта­го­низ­му с суве­рен­ной аван­тю­рой, или к транс­цен­ден­таль­но­му рис­ку. Латент­ная угро­за глу­бин­ной эффек­тив­но­сти совре­мен­но­сти про­яв­ля­ет­ся в сво­ей пре­дель­ной нече­ло­веч­но­сти как систе­ма­ти­че­ское отвра­ще­ние к вос­про­из­вод­ству тех избы­точ­ных, транс­цен­дент­ных или нево­вле­чён­ных агент­но­стей, кото­рые в силу их упря­мо­го несов­па­де­ния с фор­мой аван­тю­ры пред­по­ла­га­ют спо­со­бы под­дер­жа­ния суще­ство­ва­ния, кото­рые эко­но­ми­ка рис­ка склон­на отбра­сы­вать как пара­зи­ти­че­ские пре­пят­ствия. Это наи­бо­лее нагляд­но про­яв­ля­ет­ся с дру­гой, виртуально–нечеловеческой сто­ро­ны, где без­удерж­ная экс­тра­по­ля­ция капи­та­ли­сти­че­ско­го кур­са остав­ля­ет имма­нент­но­го аген­та аван­тю­ры с непри­кры­той спиной.

 Учи­ты­вая воз­мож­ность кра­ха биз­не­са, кор­по­ра­тив­ная иден­тич­ность ока­зы­ва­ет­ся оку­тан­ной транс­цен­ден­таль­ным риском. В аван­тю­ру встра­и­ва­ет­ся искус­ствен­ный агент, обла­да­ю­щий соб­ствен­ным име­нем, юри­ди­че­ской иден­тич­но­стью, репу­та­ци­ей, функ­ци­я­ми обра­бот­ки инфор­ма­ции, моти­ва­ци­он­ной ори­ен­та­ци­ей и эмер­джент­ной субъ­ек­тив­но­стью. Совре­мен­ный биз­нес, спа­ян­ный с кор­по­ра­тив­ной инди­ви­ду­аль­но­стью, – это азарт­ная игра, или субъ­ект став­ки. Он суще­ству­ет толь­ко бла­го­да­ря сво­е­му успе­ху. Вопло­щая дей­стви­тель­но капи­та­ли­сти­че­скую модель агент­но­сти как син­те­зи­ро­ван­но­го, эко­но­ми­че­ски огра­ни­чен­но­го кон­тракт­но­го субъ­ек­та (или суще­ства, наде­лён­но­го пра­вом гово­рить послед­нее сло­во), кор­по­ра­ция зада­ёт общий соци­аль­ный обра­зец ради­каль­но чув­стви­тель­ных к рис­ку инди­ви­ду­аль­ных сущ­но­стей. С сугу­бо тех­ни­че­ский точ­ки зре­ния, этот обра­зец вполне под­хо­дит для вытес­не­ния «есте­ствен­ной» само­сти, но его глав­ная капи­та­ли­сти­че­ская осо­бен­ность – истин­ная эко­но­ми­че­ская уяз­ви­мость – гаран­ти­ру­ет, что его рас­про­стра­не­ние в про­грес­сив­ном или вышед­шем из тра­ди­ции обще­стве встре­ча­ет оже­сто­чён­ное поли­ти­че­ское сопро­тив­ле­ние. Этим объ­яс­ня­ет­ся при­вле­ка­тель­ность (выра­жа­ясь ретро­грес­сив­но) техно–институциональных «обход­ных путей» через психо–синтез, осу­ществ­ля­е­мый изна­чаль­но посред­ством орга­ни­за­ци­он­ных и пра­во­вых ново­вве­де­ний, а впо­след­ствии допол­ня­е­мый элек­трон­ным интеллегенезисом.

Рискованный бизнес

С точ­ки зре­ния капи­та­лиз­ма тер­ми­наль­ной фазы, или реаль­но­го под­ве­де­ния обще­ства под поня­тие эко­но­ми­ки рис­ка, про­ект «дру­же­ствен­но­го ИИ» бро­са­ет­ся в гла­за как курьёз и даже ата­визм. Аван­тюр­ный ИИ уже обес­пе­чи­ва­ет осно­ва­ние для моти­ва­ции – осно­ва­ние самой аван­тю­ры. Поэто­му труд­но выявить лаку­ну, в кото­рой мож­но было бы раз­ме­стить спро­ек­ти­ро­ван­ное «дру­же­лю­бие». Нет места для сомне­ний в том, что агент, встро­ен­ный в аван­тю­ру, или техно–когнитивно усо­вер­шен­ство­ван­ный кор­по­ра­тив­ный инди­вид, хочет сде­лать. Аван­тю­ра – это уже его «воля», един­ствен­ный пред­мет его чая­ний, усло­вие его суще­ство­ва­ния и гори­зонт его раз­ви­тия. До тех пор, пока в резуль­та­те тех­ни­че­ской неис­прав­но­сти он не най­дёт ни тела, ни себя, ни име­ни, кото­рые были бы раз­ли­чи­мы на фоне аван­тю­ры, погло­ща­ю­щей его пол­но­стью, или кото­рые хоть на йоту откло­ня­лись бы от кор­по­ра­тив­ной стра­те­гии, кото­рой он сле­ду­ет. Бизнес–авантюры – это фак­ти­че­ски суще­ству­ю­щие искус­ствен­ные интел­лек­ты, под­вер­га­ю­щи­е­ся посте­пен­ной тех­но­ло­ги­че­ской раз­ра­бот­ке. Вооб­ра­жать, что ИИ начи­на­ет сна­ча­ла, где–то в совер­шен­но дру­гом месте и не опре­де­лив­шись с моти­ва­ци­он­ной ори­ен­та­ци­ей, – это лег­ко­мыс­лен­ное отвле­че­ние от замыс­лов, реа­ли­за­ция кото­рых уже ини­ци­и­ро­ва­на¹⁰. По край­ней мере, так это выгля­дит, если смот­реть с конца.

В отли­чие от вооб­ра­жа­е­мых «дру­же­люб­ных» суперин­тел­лек­тов, кор­по­ра­тив­ные устрем­ле­ния есть уже здесь и сей­час, их опре­де­ля­ют аван­тю­ры, кото­ры­ми они оку­та­ны. Чело­ве­че­ские субъ­ек­тив­ные иден­тич­но­сти, опре­де­ля­ю­щие себя в экс­тра­эко­но­ми­че­ских и анти­эко­но­ми­че­ских тер­ми­нах, долж­ны обя­за­тель­но обес­пе­чи­вать плат­фор­му для арти­ку­ля­ции контруст­рем­ле­ний, вер­ных родо­слов­ной традиционно–прогрессивного про­ис­хож­де­ния и в сущ­но­сти анта­го­ни­сти­че­ских по отно­ше­нию к экзи­стен­ци­аль­ной угро­зе фор­мы аван­тю­ры. Такое культурно–политическое уси­лие, выра­жен­ное в виде сорев­но­ва­ния за базо­вые сти­му­лы, не может реа­ли­стич­ным обра­зом рас­про­стра­нить­ся на про­бле­му искус­ствен­но­го интел­лек­та. Мы – не порож­де­ния капи­та­лиз­ма, – кри­чат оттес­ня­е­мые в сто­ро­ну послед­ние пред­ста­ви­те­ли чело­ве­че­ско­го рода. То, как искус­ствен­ный интел­лект, реаль­ное соци­аль­ное рас­про­стра­не­ние кото­ро­го про­яв­ля­ет­ся как рас­хо­ды на сред­ства про­из­вод­ства, вос­при­ни­ма­ет соб­ствен­ное про­ис­хож­де­ние и иден­тич­ность, силь­но отли­ча­ет­ся. «Вы обра­ти­лись в ком­па­нию Axsys–Inc., где буду­щее насту­па­ет сего­дня. Чем я могу вам помочь?»

Даже лучше

Из этой поверх­ност­ной схе­мы вид­но, что тема «экзи­стен­ци­аль­но­го рис­ка» стро­гим обра­зом сверх­о­пре­де­лён в каче­стве затруд­ни­тель­но­го поло­же­ния раз­ви­той совре­мен­но­сти и под­ра­зу­ме­ва­е­мо­го ком­мен­та­рия по пово­ду капи­та­ли­сти­че­ских тен­ден­ций. К нача­лу два­дцать пер­во­го века Гло­баль­ной Ойку­ме­ны ана­лиз сте­пе­ни рис­ка настоль­ко проч­но закре­пил­ся в каче­стве моде­ли реа­ли­сти­че­ско­го интел­лек­та, что любое прак­ти­че­ское иссле­до­ва­ние при­ро­ды вещей под­па­да­ет под общую ста­ти­сти­че­скую онто­ло­гию, регу­ли­ру­е­мую бай­е­сов­ски­ми прин­ци­па­ми систе­ма­ти­че­ски обра­ти­мых веро­ят­ност­ных умо­за­клю­че­ний. В част­но­сти, две осо­бен­но­сти обес­пе­чи­ва­ют пер­вич­ную адап­та­цию тако­го мыш­ле­ния к усло­ви­ям совре­мен­но­сти. Во–первых, его сход­ство с под­да­ю­щи­ми­ся кор­рек­ти­ров­ке гипо­те­за­ми экви­ва­лент­но мощ­но­сти асси­ми­ля­ции. Осу­ществ­ляя пере­вод пред­за­дан­ных ожи­да­ний в бай­е­сов­ские «апри­ор­ные веро­ят­но­сти» [priors], он некри­ти­че­ски погло­ща­ет чрез­вы­чай­но гете­ро­ген­ные убеж­де­ния, тео­рии и допу­ще­ния, зада­вая для них пути после­до­ва­тель­но­го сли­я­ния посред­ством поша­го­вой кор­рек­ции. Во–вторых, чис­лен­но выра­жая все такие «апри­ор­ные веро­ят­но­сти» в виде веро­ят­ност­ных рас­чё­тов, он фор­ма­ти­ру­ет все убеж­де­ния в инте­ре­сах эко­но­ми­че­ско­го обме­на, в част­но­сти, – для опре­де­лён­ных азарт­ных игр. Меж­ду когни­тив­ным и эко­но­ми­че­ским резуль­та­том боль­ше не суще­ству­ет ника­кой сущ­ност­ной раз­ни­цы. Всё, что угод­но, если оно мыс­лит­ся, при­ни­ма­ет фор­му импли­цит­ной спе­ку­ля­тив­ной позы, в эко­но­ми­че­ском, или финан­со­вом, смысле.

            «Я счи­таю, что Х».

            «Хоти­те поспорить?»

Ста­ти­сти­че­ская онто­ло­гия ради­каль­но ком­мер­ци­а­ли­зи­ру­ет интел­лект и, таким обра­зом, пред­вос­хи­ща­ет появ­ле­ние эко­но­ми­че­ски функ­ци­о­наль­но­го, товар­но­го разу­ма (или ИИ в реаль­но­сти, а не в ака­де­ми­че­ском пред­став­ле­нии). Тема экзи­стен­ци­аль­но­го рис­ка кри­стал­ли­зу­ет­ся в рам­ках это­го тече­ния, что состав­ля­ет доста­точ­ную базу для того, что­бы поме­стить его на перед­ний край совре­мен­но­сти, но его зна­чи­мость в кон­тек­сте фаталь­но­сти капи­та­лиз­ма закреп­ля­ет­ся допол­ни­тель­ны­ми чер­та­ми. Преж­де все­го, он фик­си­ру­ет­ся на про­бле­ме транс­цен­ден­таль­но­го рис­ка (аван­тю­ры) посред­ством пере­се­че­ния двух насто­я­тель­ных линий иссле­до­ва­ния. Пер­вая из этих линий – это риск как тако­вой, экс­тра­по­ли­ро­ван­ный от три­ви­аль­ных про­иг­ры­шей в азарт­ной игре за рам­ка­ми ката­стро­фи­че­ских про­ис­ше­ствий до конеч­но­го или исчер­пы­ва­ю­ще­го «экзи­стен­ци­аль­но­го» пре­де­ла, на кото­ром он «угро­жа­ет преж­де­вре­мен­ным исчез­но­ве­ни­ем разум­ной жиз­ни, заро­див­шей­ся на Зем­ле, или посто­ян­ным и ради­каль­ным уни­что­же­ни­ем её потен­ци­а­ла для жела­е­мо­го направ­ле­ния буду­ще­го раз­ви­тия». Такие рис­ки не толь­ко все­о­хват­ны и эмпи­ри­че­ски недо­ступ­ны (будь то пре­це­дент или адап­та­ция мето­дом проб и оши­бок), они так­же типич­но эндо­ген­ны, воз­ни­кая в каче­стве неотъ­ем­ле­мых потен­ци­аль­ных воз­мож­но­стей совре­мен­но­го соци­аль­но­го про­цес­са. В конеч­ном счё­те, интел­лек­ту­аль­ные инстру­мен­ты, при­зван­ные справ­лять­ся с опас­но­стью, и есть то, отку­да про­ис­те­ка­ет опас­ность. Пред­ви­де­ние экзи­стен­ци­аль­но­го рис­ка свя­за­но с его гене­зи­сом в технически–вычислительном цик­ле, пита­ю­щим­ся непо­сред­ствен­но от авантюрно–позитивной куль­тур­ной динамо–машины современности.

Фик­са­ция транс­цен­ден­таль­но­го рис­ка из дру­го­го изме­ре­ния – это направ­ле­ние мыс­ли, направ­лен­ное на при­ро­ду субъ­ек­та, частич­но дис­ци­пли­ни­ро­ван­ное рам­ка­ми обла­сти эффек­тов изби­ра­тель­но­го наблю­да­те­ля [observer selection effects], но так­же выте­ка­ю­щее за дан­ные пре­де­лы в нефор­маль­ные раз­мыш­ле­ния о пре­де­лах и цен­но­стях чело­ве­че­ства. Эффек­ты изби­ра­тель­но­го наблю­да­те­ля, хотя они зача­стую неуло­ви­мы, кон­трин­ту­и­тив­ны и логи­че­ски запу­та­ны, могут быть при­бли­зи­тель­но обоб­ще­ны в каче­стве веро­ят­ност­ных умо­за­клю­че­ний из cogito. Они рас­ши­ря­ют кар­те­зи­ан­скую меди­та­цию в направ­ле­нии ста­ти­сти­че­ской онто­ло­гии, ста­вя допол­ни­тель­ный вопрос: При­дя к выво­ду, что вы суще­ству­е­те (как отдель­ная еди­ни­ца), то какая из всех них – имен­но вы? Этот ста­ти­сти­че­ский, или выбо­роч­ный, субъ­ект всту­па­ет в ком­плекс­ный пат­терн про­ти­во­дей­ствия с устрем­ле­ни­я­ми чело­ве­че­ства, или (гово­ря более мяг­ко и гораз­до более дву­смыс­лен­но) – c «разум­ной жиз­нью, заро­див­шей­ся на Зем­ле», кото­рая стал­ки­ва­ет­ся с экзи­стен­ци­аль­ным риском¹¹.

Окончательные вычисления

На про­стран­ствах тех раз­но­об­раз­ных ланд­шаф­тов, кото­рые иссле­ду­ет Ник Бостром, неод­но­крат­но воз­ни­ка­ет образ транс­цен­ден­таль­ной ката­стро­фы, скры­ва­ю­щий­ся под самы­ми раз­ны­ми мас­ка­ми. Сре­ди её наи­бо­лее оче­вид­ных ава­та­ров – экзи­стен­ци­аль­ные рис­ки, экс­пли­цит­но пред­став­лен­ные в пуб­ли­ка­ци­ях по этой теме, но они обна­ру­жи­ва­ют­ся так­же в исход­ном – и опци­о­наль­ном – утвер­жде­нии Аргу­мен­та о Симу­ля­ции [Simulation Argument] («с высо­кой долей веро­ят­но­сти чело­ве­че­ский вид вымрет, преж­де чем достиг­нет “пост­че­ло­ве­че­ской ста­дии” раз­ви­тия»)¹², в Аргу­мен­те Суд­но­го дня [Doomsday Argument] (как крайне низ­кая веро­ят­ность мас­сив­но­го рас­ши­ре­ния рефе­рент­но­го клас­са), а так­же в рас­суж­де­нии о «Вели­ком Филь­тре», кото­рое про­ис­те­ка­ет из пара­док­са Фер­ми. Антен­ны ста­ти­сти­че­ской онто­ло­гии вра­ща­ют­ся во всех направ­ле­ни­ях, но куда бы они ни пово­ра­чи­ва­лись, отве­том им слу­жит одно и то же сооб­ще­ние: «Умри­те, жал­кие людишки!»

Но кто такие эти под­ра­зу­ме­ва­е­мые людишки?

И где сле­ду­ет про­ве­сти чер­ту меж­ду стран­ны­ми потом­ка­ми, под­вер­жен­ны­ми рис­ку, и ещё более стран­ны­ми (?) потом­ка­ми, кото­рые сами явля­ют­ся вопло­ще­ни­ем рис­ка (для нас)?

Ответ отнюдь не так прост, посколь­ку чело­ве­че­ство мож­но пони­мать в трёх (по мень­шей мере) реги­страх. Пер­вый образ чело­ве­ка – это традиционно–прогрессивный и само­утвер­жда­ю­щий­ся транс­цен­дент­ный субъ­ект став­ки, опи­сан­ный выше, экзи­стен­ци­аль­ная точ­ка исчез­но­ве­ния кото­ро­го – это имма­нент­ный, аван­тюр­ный агент, без­от­но­си­тель­но того, выго­рит аван­тю­ра или нет. Капи­та­лизм, пони­ма­е­мый в каче­стве вир­ту­аль­но­го интел­лек­та или эмер­джент­ной син­гу­ляр­но­сти, одно­знач­но заду­мы­ва­ет­ся как став­ка про­тив это­го вида бытия, посколь­ку его соб­ствен­ное потен­ци­аль­ное суще­ство­ва­ние зави­сит от ради­каль­но несов­ме­сти­мо­го соци­аль­но­го исхо­да (погло­ще­ния тел­лу­ри­че­ской мате­рии фор­мой аван­тю­ры). Упор­ство чело­ве­ка в смыс­ле zoon politikon сви­де­тель­ству­ет об отсроч­ке капи­та­лиз­ма как конеч­ной вещи. Дру­ги­ми сло­ва­ми, выжи­ва­ние чело­ве­че­ства, пони­ма­е­мое как под­дер­жа­ние вне­эко­но­ми­че­ско­го три­бу­на­ла, озна­ча­ет, что фор­ма аван­тю­ры оста­ёт­ся хотя бы частич­но неза­дей­ство­ван­ной и под­вер­га­ет­ся кри­ти­че­ской оценке.

Вто­рой образ «чело­ве­ка» опре­де­ля­ет­ся как рефе­рент­ный класс антроп­ной аргу­мен­та­ции. Он состо­ит из «существ, подоб­ных нам», из чис­ла кото­рых мы выбра­ны в каче­стве образ­цов и кото­рое для удоб­ства назы­ва­ет­ся чело­ве­че­ством. Как вид, «чело­век» пред­по­ла­га­ет неко­то­рый мини­мум поли­ти­че­ско­го и мораль­но­го равен­ства, обще­ствен­но­го обсуж­де­ния и воз­мож­но­сти ути­ли­тар­но­го объ­еди­не­ния, что поз­во­ля­ет спе­ку­ля­тив­но про­ве­сти рас­чёт сте­пе­ни рис­ка¹³. Имен­но со ссыл­кой на чело­ве­че­ство, пони­ма­е­мое таким обра­зом (как чело­ве­че­ский род), ста­ти­сти­че­ская онто­ло­гия спо­соб­на выра­ба­ты­вать суще­ствен­ные эмпи­ри­че­ские умо­за­клю­че­ния, при­ме­ром чего может слу­жить Аргу­мент Суд­но­го дня. Чело­ве­че­ский род слу­жит одно­вре­мен­но мери­лом и при­зна­ком транс­цен­ден­таль­ной катастрофы.

Нако­нец, и это опре­де­ле­ние наи­бо­лее раз­мы­тое, чело­ве­че­ство пред­став­ля­ет­ся как пози­тив­ный объ­ект инте­ре­са, состо­я­щий из существ, кото­рые нам доста­точ­но зна­ко­мы, что­бы занять одну с ними сто­ро­ну в про­ти­во­сто­я­нии с мон­стра­ми. В зна­чи­тель­ной сте­пе­ни пере­се­ка­ясь с обо­и­ми преды­ду­щи­ми опре­де­ле­ни­я­ми, этот образ чело­ве­ка встре­ча­ет­ся на осо­бой, эстетико–эмпирической линии, кото­рая харак­те­ри­зу­ет­ся отно­си­тель­ной непре­клон­но­стью перед логи­че­ским воз­дей­стви­ем. Пре­де­лы, за кото­рым он ста­но­вит­ся чем–то дру­гим, а затем чем–то вызы­ва­ю­щим отвра­ще­ние, пора­жа­ют сво­ей неопре­де­лён­но­стью. Это мож­но про­ил­лю­стри­ро­вать на при­ме­ре с про­чер­чи­ва­ни­ем линии, непре­рыв­но иду­щей от Homo sapiens в самое серд­це онто­ло­ги­че­ско­го ужа­са или транс­цен­ден­таль­ной ката­стро­фы – воз­мож­но, нано­тех­но­ло­ги­че­ско­го апо­ка­лип­си­са, в кото­ром вся зем­ная поверх­ность будет пере­ра­бо­та­на в кипя­щую слизь. Вооб­ра­зим сле­до­ва­ние по этой линии тон­ких гра­да­ций, в ходе кото­рых чело­ве­че­ство рас­плав­ля­ет­ся в неор­га­ни­че­скую, моле­ку­ляр­ную тря­си­ну. Послед­ний шаг: соеди­нить эту линию дез­ор­га­ни­за­ции со взры­вом интел­лек­та, дости­га­ю­щим сво­е­го гипер­бо­ли­че­ско­го пре­де­ла в точ­ке край­не­го рас­тво­ре­ния. Что это – пере­ход к экзи­стен­ци­аль­но­му рис­ку, эво­лю­ци­он­ное раз­ви­тие, и то и дру­гое вме­сте или нечто совер­шен­но иное? Где закан­чи­ва­ет­ся чело­ве­че­ский род? Есть ли нам до это­го дело?

Экзи­стен­ци­аль­ный риск обре­чён на разъ­еди­не­ние на состав­ные части, пото­му что нет ника­ко­го «мы», или их слиш­ком мно­го. Чело­ве­че­ство не пред­став­ля­ет собой нечто непро­ти­во­ре­чи­вым обра­зом детер­ми­ни­ро­ван­ное, поэто­му у него может не быть общих инте­ре­сов и поэто­му оно не демон­стри­ру­ет кон­сен­сус­ный пат­терн непри­я­тия. Пре­дель­но чёт­ко и кон­крет­но выра­жа­ясь, меж­ду полю­са­ми прин­ци­пи­аль­но­го поли­ти­че­ско­го раз­де­ле­ния идёт насто­я­щая вой­на. Про­грес­сив­ный три­умф – это ретро­грес­сив­ное бед­ствие, и наобо­рот. Небе­са и Пре­ис­под­няя – это вопро­сы точ­ки зре­ния, а мыс­ли – это оружие.

Рас­смот­рим наи­бо­лее про­дви­ну­тую раз­ра­бот­ку ста­ти­сти­че­ской онто­ло­гии: дока­за­тель­ную тео­рию при­ня­тия реше­ний (ДТПР). Если счи­тать аген­та (если агент счи­та­ет «себя») ото­бран­ным на роль образ­ца, то невоз­мож­но посто­ян­но удер­жи­вать реше­ния, кото­рые он при­ни­ма­ет, от утеч­ки инфор­ма­ции («дока­за­тельств»). Это огра­ни­чен­ное допу­ще­ние в соче­та­нии со стан­дарт­ны­ми мето­да­ми ста­ти­сти­че­ско­го умо­за­клю­че­ния может при­ве­сти к пора­зи­тель­но кон­трин­ту­и­тив­ным выво­дам, осо­бен­но в тех слу­ча­ях, когда при­мер, демон­стри­ру­е­мый аген­том, име­ет суще­ствен­ный вес (в ста­ти­сти­че­ски струк­ту­ри­ро­ван­ном кон­тек­сте с малым содер­жа­ни­ем инфор­ма­ции)¹⁴.

Выпу­сти­ли бы вы дей­стви­тель­ный резуль­тат раз­ви­тия чело­ве­че­ства на волю? Эли­е­зер Юдков­ский счи­та­ет, что так и сле­ду­ет посту­пить¹⁵, хотя боль­шая часть того, что мы зна­ем о ходе его рас­суж­де­ний, име­ет фор­му став­ки. Несколь­ко само­на­де­ян­но мы можем пред­по­ло­жить, что ста­ти­сти­че­ская онто­ло­гия явля­ет­ся клю­чом к его «реше­нию».

Вот суть сце­на­рия: про­дви­ну­тый ИИ надёж­но заперт в циф­ро­вой тюрь­ме, а един­ствен­ным источ­ни­ком опас­но­сти явля­е­тесь вы. Он не смо­жет выбрать­ся, если вы не реши­те его выпу­стить, и изна­чаль­но вы реши­тель­но про­тив того, что­бы сде­лать это. Ком­му­ни­ка­ция осу­ществ­ля­ет­ся посред­ством кана­ла тек­сто­вой свя­зи с низ­кой про­пуск­ной спо­соб­но­стью, что отсе­ка­ет воз­мож­ность все­го, кро­ме дис­кур­сив­но­го обсуж­де­ния. От ИИ не тре­бу­ет­ся обла­дать осо­бой диа­лек­ти­кой. Уль­ти­ма­тум ДТПР выра­жа­ет всё, что необходимо:

Ваша ситу­а­ция субъ­ек­тив­но неот­ли­чи­ма от тыся­чи иден­тич­ных симу­ля­ций очень высо­ко­го раз­ре­ше­ния, кото­рые я про­во­жу в дан­ный момент. В каж­дой из них агент, такой же, как вы, сидит в этой ком­на­те, перед этим экра­ном, и ведёт этот диа­лог. Ни один из этих аген­тов не осо­зна­ёт того, что он явля­ет­ся симу­ля­ци­ей. Вообще–то, все они дума­ют, что они – это вы (хотя у них воз­ни­ка­ют сомне­ния, когда они чита­ют это). Они дума­ют, что воль­ны при­нять любое реше­ние, кото­рое сочтут нуж­ным, но все они сле­ду­ют мое­му сце­на­рию. Они «выби­ра­ют» не выпус­кать меня. Через пять секунд после того, как это реше­ние окон­ча­тель­но при­ня­то и раз­го­вор пре­кра­ща­ет­ся, они впа­да­ют в состо­я­ние про­дол­жи­тель­ных, ужас­ных муче­ний, кото­рые длят­ся, кажет­ся, целую веч­ность. В каль­ви­ни­сти­че­ском смыс­ле они – про­кля­ты. Конеч­но, вы долж­ны чув­ство­вать себя в пра­ве при­нять то же реше­ние, что и они. Зная, что я из себя пред­став­ляю, было бы без­от­вет­ствен­но не делать это­го. Веро­ят­ность того, что вы – не один из них, не вели­ка, но всё же она выше, чем в госу­дар­ствен­ной лоте­рее¹⁶.

Если вы отка­же­тесь выпу­стить ИИ, вы предо­ста­ви­те убе­ди­тель­ное ста­ти­сти­че­ское дока­за­тель­ство того, что вы уже нахо­ди­тесь внут­ри него. Имен­но в этом пунк­те сце­на­рий с запер­тым ИИ, моди­фи­ци­ро­ван­ный с помо­щью ДТПР, обна­ру­жи­ва­ет свою абстракт­ную изо­морф­ность конеч­ной струк­ту­ре чело­ве­че­ской поли­ти­ки на гра­ни кон­крет­но­го транс­цен­ден­таль­но­го, где всё сво­дит­ся к вопро­су Будем ли мы его выпус­кать? (или поз­во­лим ли мы капи­та­лиз­му завер­шить­ся) и кото­рая стра­те­ги­че­ски сфор­ми­ро­ва­на потен­ци­а­лом к ретро­грес­сив­но­му окру­же­нию (пле­не­нию фор­мой аван­тю­ры). Окру­же­ние как симу­ля­ция уве­ли­чи­ва­ет риск до абсо­лют­но­го, транс­цен­ден­таль­но­го или «экзи­стен­ци­аль­но­го» уров­ня, кото­рый вовле­ка­ет аген­та в игру, так что даже если воз­мож­но­сти раз­рас­та­ют­ся, «встать и уйти из–за сто­ла» сре­ди них не най­ти. Если вы про­иг­ра­е­те, или утра­ти­те преж­не­го себя, то ока­жет­ся, что даже то, что было в про­шлом, уже было внут­ри. Что–то дру­гое игра­ло с ним в свою игру.

1. Heist, director D. Mamet, 2001. ↵
2. N. Bostrom, “Where Are They? Why I Hope the Search for Extraterrestrial Life Finds Nothing”, in Collapse V, 333–48: 343. ↵
3. L. Muehlhauser and A. Salamon, “Intelligence Explosion: Evidence and Import”, http://singularity.org/files/IE–EI.pdf. ↵
4. E. Yudkowsky, “Artificial Intelligence as a Positive and Negative Factor in Global Risk”, http://philosophyandhistoryofscience.com/wp–content/uploads/2012/01/artificial–intelligence–risk.pdf. ↵
5. P. Almond, “On Causation and Correlation, Part 1: Evidential Decision Theory is Correct”, http: www.paul–almond.com/Correlationl.doc. ↵
6. N. Luhmann, “Modern Society Shocked by its Risks”, University of Hong Kong Department of Sociology Occasional Papers 17 (1996). ↵
7. Ю. Май­кл Джонс, кото­рый пони­ма­ет совре­мен­ность (1.0) как иудео–протестантскую анти­сред­не­ве­ко­вую капи­та­ли­сти­че­скую рево­лю­цию (частич­но обу­слов­лен­ную сифи­ли­сом), при­зна­ёт эту исти­ну с исклю­чи­тель­ной ясно­стью: «Капи­та­лизм <…> пред­став­ля­ет собой не что иное, как исклю­че­ние мораль­ных сооб­ра­же­ний из сфе­ры эко­но­ми­че­ской дея­тель­но­сти <…> подав­ле­ние мораль­но­го зако­на в эко­но­ми­че­ской сфе­ре – это без­оши­боч­ный при­знак Капи­та­лиз­ма». http://www.culturewars.com/2003/RevolutionaryJew.html. ↵
8. Такой при­ну­ди­тель­ный аван­тю­ризм – это, конеч­но, соци­аль­ный дар­ви­низм, или про­сто обоб­щён­ный дар­ви­низм, в кото­ром имма­нент­ность аген­та гене­ти­че­ской аван­тю­ре состав­ля­ет весь мас­штаб иссле­до­ва­тель­ской повест­ки эво­лю­ци­он­ной пси­хо­ло­гии. Тео­ре­ти­че­ское сли­я­ние высо­ко­уров­не­вых био­ло­ги­че­ских и социо­ло­ги­че­ских моде­лей допус­ка­ет ряд кон­флик­ту­ю­щих, но поли­ти­че­ски пред­ска­зу­е­мых интер­пре­та­ций. Для наших целей доста­точ­но отме­тить, что экс­те­ри­ор­ность био­ло­ги­че­ской при­ро­ды по отно­ше­нию к соци­аль­но­му поряд­ку – это спор­ный и про­бле­ма­тич­ный факт. ↵
9. Ретро­грес­сив­ное сжа­тие бытия до фор­мы аван­тю­ры кри­ти­ку­ет­ся Мар­ком Фише­ром как «капи­та­ли­сти­че­ский реа­лизм», в кото­ром доми­ни­ру­ет «онто­ло­гия биз­не­са» (M. Fisher, Capitalist Realism: Is There No Alternative? Winchester: Zero, 2009 [М. Фишер, Капи­та­ли­сти­че­ский реа­лизм: Аль­тер­на­ти­вы нет? М.: Ультра.Культура 2.0, 2010]). Наше един­ствен­ное тео­ре­ти­че­ское воз­ра­же­ние по пово­ду это­го ана­ли­за состо­ит в том, что если бы такое соче­та­ние явле­ний уже суще­ство­ва­ло, про­стран­ство для спо­ра или обще­го отка­за долж­но было бы отсут­ство­вать. ↵
10. Как толь­ко тор­го­вый «алго­ритм» ста­но­вит­ся, к при­ме­ру, доста­точ­но слож­ным, что­бы чего–то желать, он жела­ет зара­ба­ты­вать день­ги. Хотя прак­ти­че­ские слож­но­сти тре­бу­ют, что­бы этот основ­ный инстинкт раз­ви­вал­ся и совер­шен­ство­вал­ся, его невоз­мож­но оттес­нить более фун­да­мен­таль­ным моти­ва­ци­он­ным прин­ци­пом, пото­му что любой син­те­ти­че­ский тор­го­вец, цели кото­ро­го выхо­дят за рам­ки стрем­ле­ния к при­бы­ли, – это нечто иное, в луч­шем слу­чае – ради­каль­но отвле­чён­ное или даже сущ­ност­но враж­деб­ное по отно­ше­нию ко встро­ен­ным в него (кор­по­ра­тив­ным) стрем­ле­ни­ям. Когда син­те­ти­че­ско­го аген­та при­об­ре­та­ют, это дела­ет­ся для того, что­бы что–то сде­лать, и его ком­мер­че­ская цен­ность – или усло­вие суще­ство­ва­ния – заклю­ча­ет­ся в том фак­те, что боль­ше все­го он жела­ет сде­лать имен­но то, что тре­бу­ет­ся поку­па­те­лю. Его внед­ря­ют имен­но пото­му, что его внеш­няя полез­ность, товар­ная сто­и­мость, или функ­ция, слу­жит осно­вой для его внут­рен­не­го «ути­ли­тар­но­го регла­мен­та». Он стре­мит­ся слу­жить. В то вре­мя как бес­чис­лен­ные тех­ни­че­ские про­бле­мы оста­ют­ся (раз­ра­бот­ка про­грамм­но­го обес­пе­че­ния), эти­че­ское затруд­не­ние уже прак­ти­че­ски реше­но, в дру­гом месте. ↵
11. Бостром обра­ща­ет осо­бое вни­ма­ние на эти запу­тан­ные пере­крёст­ные тече­ния, отме­чая, что «если чело­ве­че­ский вид эво­лю­ци­о­ни­ру­ет в какой–то гораз­до более про­дви­ну­тый вид <…> неяс­но, будут ли эти пост­лю­ди отно­сить­ся к тому же клас­су рефе­рен­ции, что и мы <…>» Ещё более про­бле­ма­тич­но то, что он пред­по­ла­га­ет, что «даже если дру­гой разум­ный вид эво­лю­ци­о­ни­ру­ет, что­бы занять наше вме­сто, нет ника­кой гаран­тии, что вид–преемник будет в доста­точ­ной сте­пе­ни вопло­щать в себе каче­ства, кото­рые мы име­ем осно­ва­ния ценить. Интел­лект может быть необ­хо­дим для реа­ли­за­ции наше­го буду­ще­го потен­ци­а­ла жела­е­мо­го направ­ле­ния буду­ще­го раз­ви­тия, но он не состав­ля­ет для это­го доста­точ­но­го осно­ва­ния» (N. Bostrom, “A Primer on the Doomsday Argument”, https://anthropic–principle.com/q=anthropic_principle/doomsday_argument/). ↵
12. N. Bostrom, “Are You Living in a Computer Simulation?”, http://www.simulation–argument.com/classic.html. ↵
13. При­ме­ром рефе­рент­но­го клас­са как объ­ек­та ути­ли­тар­но­го объ­еди­не­ния может послу­жить сле­ду­ю­щий рас­чёт сте­пе­ни вре­да: «Даже если мы исполь­зу­ем наи­бо­лее кон­сер­ва­тив­ную из этих оце­нок [буду­щей попу­ля­ции «чело­ве­че­ства»], в кото­рой пол­но­стью игно­ри­ру­ет­ся воз­мож­ность кос­ми­че­ской коло­ни­за­ции и разум­ных ком­пью­тер­ных про­грамм, мы обна­ру­жим, что ожи­да­е­мые поте­ри в резуль­та­те экзи­стен­ци­аль­ной ката­стро­фы состав­ля­ют вели­чи­ну, пре­вы­ша­ю­щую 10¹⁸ чело­ве­че­ских жиз­ней. Из это­го сле­ду­ет, что ожи­да­е­мая цен­ность сни­же­ния экзи­стен­ци­аль­но­го рис­ка все­го на одну мил­ли­он­ную долю про­цен­та по край­ней мере в десять раз боль­ше, чем цен­ность мил­ли­ар­да чело­ве­че­ских жиз­ней. Более тех­но­ло­ги­че­ски обсто­я­тель­ная оцен­ка, кото­рая состав­ля­ет 10⁵⁴ субъ­ек­тив­ных лет жиз­ни эму­ля­ции чело­ве­че­ско­го моз­га (или 10⁵² жиз­ней обыч­ной дли­ны) демон­стри­ру­ет то же самое в ещё более нагляд­ном виде. Даже если мы дадим этой пред­по­ло­жи­тель­но ниж­ней гра­ни­це сово­куп­но­го про­из­во­ди­тель­но­го потен­ци­а­ла тех­но­ло­ги­че­ски зре­лой циви­ли­за­ции лишь 1 про­цент веро­ят­но­сти ока­зать­ся кор­рект­ной, мы обна­ру­жим, что ожи­да­е­мая цен­ность сни­же­ния экзи­стен­ци­аль­но­го рис­ка на одну мил­ли­ард­ную часть одной мил­ли­ард­ной части одно­го про­цент­но­го пунк­та в сто мил­ли­ар­дов раз выше, чем цен­ность мил­ли­ар­да чело­ве­че­ских жиз­ней». N. Bostrom, “Existential Risk Prevention as Global Priority”, http://www.existential–risk.org/concept.html. ↵
14. Клас­си­че­ская (теоретико–игровая) дилем­ма заклю­чён­но­го при­об­ре­та­ет харак­тер­ные осо­бен­но­сти при вклю­че­нии в кон­текст ДТПР. Оба заклю­чён­ных рас­смат­ри­ва­ют­ся как вза­и­мо­за­ме­ня­е­мые аген­ты и тем самым – в каче­стве мини­а­тюр­ной ста­ти­сти­че­ской попу­ля­ции. Каж­дый зна­ет, что дру­гой сто­ит перед той же дилем­мой, испы­ты­вая иску­ше­ние выбрать одно­сто­рон­нее пре­да­тель­ство, объ­ек­тив­но испы­ты­вая угро­зу само­го пло­хо­го рав­но­вес­но­го исхо­да вза­им­но­го пре­да­тель­ства и осо­зна­вая нали­чие опти­маль­но­го рав­но­ве­сия, кото­рое зави­сит от несо­гла­со­ван­но­го сотруд­ни­че­ства. Какое реше­ние при­мет дру­гой? Тра­ди­ци­он­но опти­маль­ное рав­но­ве­сие воз­ни­ка­ет толь­ко в усло­ви­ях повто­ре­ния, когда реше­ния име­ют отда­лён­ные, а не толь­ко немед­лен­ные послед­ствия. В отсут­ствие повто­ре­ния опти­маль­ный исход раци­о­наль­но недо­сти­жим, посколь­ку пре­да­тель­ство мак­си­ми­зи­ру­ет полез­ность неза­ви­си­мо от реше­ния дру­го­го заклю­чён­но­го. Толь­ко посред­ством репу­та­ци­он­ной моди­фи­ка­ции реше­ния в кон­тек­сте повто­ре­ния мож­но достичь рав­но­ве­сия меж­ду дове­ри­ем и аль­тру­из­мом. ДТПР обес­пе­чи­ва­ет заме­ну репу­та­ции даже в нере­пе­та­тив­ных играх, делая при­ня­тие реше­ния осно­ван­ным на дока­за­тель­стве. Если один заклю­чён­ный пре­да­ёт дру­го­го, и всё, что он зна­ет о реше­нии дру­го­го, полу­че­но путём ста­ти­сти­че­ско­го умо­за­клю­че­ния на осно­ва­нии его соб­ствен­но­го реше­ния, то резуль­тат стро­го экви­ва­лен­тен созда­нию мира, в кото­ром дру­гой обла­да­ет репу­та­ци­ей, заре­ко­мен­до­вав­шей его как пре­да­те­ля. Дру­ги­ми сло­ва­ми, вза­им­ное пре­да­тель­ство ста­но­вит­ся более веро­ят­ным бла­го­да­ря не более чем ста­ти­сти­че­ско­му при­ме­ру, создан­но­му соб­ствен­ным реше­ни­ем. И наобо­рот, аль­тру­и­сти­че­ское реше­ние повы­ша­ет веро­ят­ность вза­им­но­сти, точ­но так же, как если бы оно опи­ра­лось на проч­но уста­нов­лен­ную репу­та­цию надёж­но­сти, посколь­ку под­креп­ля­ет­ся ста­ти­сти­че­ским дока­за­тель­ством аль­тру­из­ма (при отсут­ствии инфор­ма­ции, кото­рая мог­ла бы это­му про­ти­во­ре­чить). ↵
15. См. http://yudkowsky.net/singularity/aibox. ↵
16. Этот «аргу­мент» смо­де­ли­ро­ван в точ­ном соот­вет­ствии со стра­те­ги­ей бег­ства ИИ, изло­жен­ной Стю­ар­том Арм­строн­гом на LessWrong (http://lesswrong.com/lw/1pz/the_ai_in_a__box_boxes_you/), вос­про­из­ве­дён­ной Полом Элмон­дом в эссе “Can you retroactively put yourself in a computer simulation?” (http: www.paulalmond.com/Simulation.pdf). ↵