Почему нам нужен дружественный ИИ

Люди не все­гда будут самой разум­ной силой на Зем­ле — теми, кто управ­ля­ет буду­щим. Что слу­чит­ся с нами, когда мы боль­ше не будем играть эту роль, и как мы можем под­го­то­вить­ся к это­му переходу?

Интел­лект чело­ве­че­ско­го уров­ня это эво­лю­ци­он­ная слу­чай­ность, малень­кий базо­вый лагерь на огром­ном гор­ном склоне, намно­го ниже самых высо­ких вер­шин интел­лек­та, поз­во­лен­ных зако­на­ми физи­ки. Если бы нас посе­ти­ли ино­пла­не­тяне, эти суще­ства почти навер­ня­ка были бы куда более разум­ные и тех­но­ло­ги­че­ски про­дви­ну­тые, чем мы, и, сле­до­ва­тель­но, наше буду­щее пол­но­стью зави­се­ло бы от сути их целей и желаний.

Но при­шель­цы вряд ли пой­дут на кон­такт в бли­жай­шее вре­мя. В обо­зри­мой пер­спек­ти­ве более веро­ят­но, что мы созда­дим соб­ствен­ных интел­лек­ту­аль­ных пре­ем­ни­ков. Ком­пью­те­ры намно­го пре­вос­хо­дят людей во мно­гих узких обла­стях (напри­мер, ариф­ме­ти­ка и шах­ма­ты), и есть осно­ва­ния пола­гать, что подоб­ные круп­ные улуч­ше­ния отно­си­тель­но чело­ве­че­ской про­из­во­ди­тель­но­сти воз­мож­ны для обще­го мыш­ле­ния и тех­но­ло­ги­че­ско­го развития.

Хотя неко­то­рые сомне­ва­ют­ся, что маши­ны могут обла­дать опре­де­лен­ны­ми пси­хи­че­ски­ми свой­ства­ми вро­де созна­ния, отсут­ствие таких пси­хи­че­ских свойств не поме­ша­ло бы маши­нам стать гораз­до более уме­лы­ми, чем люди, в эффек­тив­ном управ­ле­нии буду­щим для пре­сле­до­ва­ния сво­их целей. Как писал Алан Тью­ринг, «…кажет­ся веро­ят­ным, что, как толь­ко машин­ный метод мыш­ле­ния запу­стит­ся, ему не потре­бу­ет­ся мно­го вре­ме­ни, что­бы пре­взой­ти наши сла­бые спо­соб­но­сти… На каком-то эта­пе, сле­до­ва­тель­но, нам нуж­но ожи­дать, что маши­ны пере­хва­тят управление…»

Суще­ству­ет, конеч­но, риск в пере­да­че управ­ле­ния буду­щим маши­нам, ведь они могут не раз­де­лять наши цен­но­сти. Этот риск уве­ли­чи­ва­ет­ся дву­мя фак­то­ра­ми, кото­рые могут вызвать пере­ход от чело­ве­че­ской вла­сти к вла­сти машин доволь­но вне­зап­но и быст­ро: воз­мож­но­стя­ми вычис­ли­тель­но­го пере­ве­са и рекур­сив­но­го само­улуч­ше­ния.

Что такое вычис­ли­тель­ный пере­вес? Пред­по­ло­жим, что вычис­ли­тель­ная мощ­ность про­дол­жа­ет удва­и­вать­ся соглас­но зако­ну Мура, но раз­га­дать алго­рит­мы чело­ве­ко­по­доб­но­го обще­го интел­лек­та ока­зы­ва­ет­ся чер­тов­ски труд­но. К тому момен­ту, когда софт для обще­го интел­лек­та будет, нако­нец, раз­ра­бо­тан, может воз­ник­нуть «вычис­ли­тель­ный пере­вес»: огром­ное коли­че­ство дешё­вых вычис­ли­тель­ных мощ­но­стей, доступ­ных для рабо­ты искус­ствен­но­го интел­лек­та (ИИ) чело­ве­че­ско­го уров­ня. ИИ может быть ско­пи­ро­ван на всю аппа­рат­ную базу, в резуль­та­те чего попу­ля­ция ИИ быст­ро пре­взой­дёт чело­ве­че­ское насе­ле­ние. Эти циф­ро­вые умы мог­ли бы рабо­тать в тыся­чи или мил­ли­о­ны раз быст­рее, чем умы чело­ве­че­ские. ИИ могут иметь допол­ни­тель­ные пре­иму­ще­ства, такие как пре­вос­хо­дя­щая ско­рость свя­зи, откры­тость и само­ре­дак­ти­ру­е­мость, коор­ди­на­ция целей и повы­шен­ная рациональность.

Ну а что такое рекур­сив­ное само­улуч­ше­ние? Мы можем пред­ска­зать, что пере­до­вые ИИ будут иметь инстру­мен­таль­ные цели по сохра­не­нию себя, запо­лу­че­нию ресур­сов и само­улуч­ше­нию, пото­му что эти цели явля­ют­ся полез­ны­ми про­ме­жу­точ­ны­ми зве­нья­ми в дости­же­нии почти любой сово­куп­но­сти конеч­ных целей. Таким обра­зом, когда мы созда­дим ИИ, кото­рый так же иску­сен, как и мы, в зада­чах про­ек­ти­ро­ва­ния систем искус­ствен­но­го интел­лек­та, мы тем самым можем ини­ци­и­ро­вать быст­рый, дви­жи­мый самим ИИ кас­кад цик­лов само­улуч­ше­ния. Теперь, когда ИИ улуч­ша­ет себя, он улуч­ша­ет интел­лект, дела­ю­щий улуч­ше­ния, тем самым быст­ро остав­ляя чело­ве­че­ский уро­вень интел­лек­та дале­ко позади.

Сверх­ра­зум­ный ИИ может быст­ро стать выше чело­ве­че­ства в добы­че ресур­сов, про­из­вод­стве, науч­ных откры­ти­ях, соци­аль­ной ода­рён­но­сти и стра­те­ги­че­ских дей­стви­ях, не счи­тая про­чих уме­ний. Мы можем даже не быть в состо­я­нии вести пере­го­во­ры с ним или с его про­из­вод­ны­ми, как шим­пан­зе не в состо­я­нии вести пере­го­во­ры с людьми.

В то же вре­мя сход­ная инстру­мен­таль­ная цель при­об­ре­те­ния ресур­сов пред­став­ля­ет угро­зу для чело­ве­че­ства, ибо это зна­чит, что сверх­ра­зум­ная маши­на с прак­ти­че­ски любой конеч­ной целью (ска­жем, дока­за­тель­ство гипо­те­зы Рима­на) захо­те­ла бы запо­лу­чить ресур­сы, от кото­рых мы зави­сим, в своё соб­ствен­ное поль­зо­ва­ние. Такой ИИ «не любит вас, не нена­ви­дит вас, но вы сде­ла­ны из ато­мов, кото­рые он может исполь­зо­вать для чего-то дру­го­го».¹ Более того, ИИ может пра­виль­но рас­су­дить, что люди не хотят, что­бы их ресур­сы исполь­зо­ва­лись для целей ИИ, и что люди, сле­до­ва­тель­но, пред­став­ля­ют угро­зу для выпол­не­ния его целей — угро­зу, кото­рую нуж­но умень­шить, насколь­ко это толь­ко возможно.

Но посколь­ку мы сами созда­дим наших пре­ем­ни­ков, мы можем быть в состо­я­нии повли­ять на их цели и сде­лать их дру­же­ствен­ны­ми к нашим инте­ре­сам. Про­бле­ма коди­ро­ва­ния чело­ве­че­ских (или хотя бы чело­веч­ных) цен­но­стей в функ­цию полез­но­сти ИИ явля­ет­ся слож­ной, но потен­ци­аль­но реша­е­мой. И если мы можем создать такой «Дру­же­ствен­ный ИИ», мы смог­ли бы не толь­ко предот­вра­тить ката­стро­фу, но так­же исполь­зо­вать мощь машин­но­го суперин­тел­лек­та для огром­но­го чис­ла хоро­ших вещей.

Мно­гие науч­ные нату­ра­ли­сты при­зна­ют, что маши­ны могут быть гораз­до умнее и силь­нее людей, и что это может пред­став­лять опас­ность для вещей, кото­рые мы ценим. Тем не менее, они могут иметь воз­ра­же­ния про­тив той линии мыс­ли, кото­рую мы раз­ви­ва­ли до сих пор. Фило­соф Дэвид Чал­мерс уже отве­тил на мно­гие из этих воз­ра­же­ний;² мы отве­тим здесь лишь на неко­то­рые из них.

Во-пер­вых: поче­му бы про­сто не дер­жать потен­ци­аль­но опас­ные ИИ надёж­но огра­ни­чен­ны­ми, напри­мер без досту­па к Интер­не­ту? Это зву­чит мно­го­обе­ща­ю­ще, но здесь нема­ло слож­но­стей.³ Вооб­ще, такие реше­ния будут страв­ли­вать чело­ве­че­ский интел­лект и сверх­че­ло­ве­че­ский разум, и мы не долж­ны быть так уве­ре­ны, что пер­вый одер­жит побе­ду. Кро­ме того, подоб­ные мето­ды могут лишь отсро­чить риск ИИ без его предот­вра­ще­ния. Если одна коман­да раз­ра­бот­чи­ков постро­ит чело­ве­ко­по­доб­ный или сверх­ра­зум­ный ИИ и успеш­но огра­ни­чит его, тогда дру­гие коман­ды раз­ра­бот­чи­ков ИИ долж­ны, веро­ят­но, быть не так дале­ко поза­ди них, и эти дру­гие коман­ды могут быть не столь осто­рож­ны. Пра­ви­тель­ства осо­зна­ют, что ИИ чело­ве­че­ско­го уров­ня это мощ­ный инстру­мент, и гон­ка за то, что­бы быть пер­вой стра­ной с таким зна­чи­тель­ным пре­иму­ще­ством, может сти­му­ли­ро­вать боль­ше тем­пы раз­ра­бот­ки, чем совер­шен­ство­ва­ние без­опас­но­сти. (Огра­ни­чи­ва­ю­щие меры могут, одна­ко, быть полез­ны­ми в каче­стве допол­ни­тель­ной предо­сто­рож­но­сти во вре­мя раз­ра­бот­ки без­опас­но­го ИИ.)

Во-вто­рых: неко­то­рые пола­га­ют, что боль­ший интел­лект пере­до­вых ИИ заста­вит их быть нрав­ствен­нее нас; в этом слу­чае кто мы такие, что­бы про­те­сто­вать, когда они не ува­жа­ют наши при­ми­тив­ные цен­но­сти? Это было бы совер­шен­но без­нрав­ствен­но!

Одна­ко интел­лек­ту­аль­ный поиск инстру­мен­таль­но опти­маль­ных пла­нов может быть выпол­нен в уго­ду любой цели. Интел­лект и моти­ва­ция в этом смыс­ле суть логи­че­ски орто­го­наль­ные оси, вдоль кото­рых воз­мож­ные искус­ствен­ные умы могут сво­бод­но варьи­ро­вать­ся. При­пи­сан­ная связь меж­ду интел­лек­том и мора­лью явля­ет­ся поэто­му чистым антро­по­мор­физ­мом. (Это антро­по­мор­физм, кото­рый неве­рен даже для чело­ве­ка: лег­ко най­ти людей, кото­рые вполне интел­лек­ту­аль­ны, но без­нрав­ствен­ны, или неум­ны, но совер­шен­но порядочны.)

Эко­но­мист Робин Хэн­сон пред­по­ла­га­ет, что меж­по­ко­лен­ные кон­флик­ты, ана­ло­гич­ные тем, кото­рые могут воз­ник­нуть меж­ду людь­ми и маши­на­ми, явля­ют­ся широ­ко рас­про­стра­нён­ны­ми. Ста­рое и новое поко­ле­ния кон­ку­ри­ру­ют за ресур­сы, и стар­шее поко­ле­ние часто хочет кон­тро­ли­ро­вать цен­но­сти млад­ше­го. Цен­но­сти моло­до­го поко­ле­ния в конеч­ном ито­ге начи­на­ют доми­ни­ро­вать, когда стар­шее поко­ле­ние ухо­дит. Долж­ны ли мы быть столь эго­и­стич­ны и наста­и­вать, что­бы цен­но­сти Homo sapiens доми­ни­ро­ва­ли в Сол­неч­ной систе­ме вечно?

По схо­же­му пути идёт робо­то­тех­ник Ханс Мора­век, одна­жды пред­по­ло­жив­ший, что хотя мы и долж­ны ожи­дать, что буду­щие кор­по­ра­ции робо­тов в конеч­ном ито­ге захва­тят чело­ве­че­ство и экс­про­при­и­ру­ют наши ресур­сы, мы долж­ны думать об этих робо­тах-потом­ках как о наших «детях разу­ма». Сфор­му­ли­ро­ван­ная таким обра­зом пер­спек­ти­ва, раз­мыш­лял Мора­век, может пока­зать­ся более привлекательной.

Надо ска­зать, что сце­на­рий, в кото­ром дети уби­ва­ют и поеда­ют сво­их роди­те­лей, не явля­ет­ся пред­став­ле­ни­ем каж­до­го о жиз­ни счаст­ли­вой семьи. Но даже если бы мы были гото­вы при­не­сти в жерт­ву себя (и дру­гих людей?) ради како­го-то «выс­ше­го бла­га», мы бы всё ещё были долж­ны при­ло­жить мас­су уси­лий, дабы гаран­ти­ро­вать, что резуль­та­том будет нечто более сто­я­щее, чем мас­сы ком­пью­те­ров, исполь­зу­е­мые толь­ко для оцен­ки гипо­те­зы Рима­на (или вычис­ле­ния деся­тич­но­го выра­же­ния чис­ла пи, или изго­тов­ле­ния тако­го чис­ла скре­пок, какое толь­ко воз­мож­но, или какой-нибудь дру­гой про­из­воль­ной цели, кото­рую может быть про­ще опре­де­лить, чем цен­но­сти людей).

Есть, одна­ко, одна убе­ди­тель­ная при­чи­на не наста­и­вать на том, что­бы сверх­че­ло­ве­че­ские маши­ны раз­де­ля­ли все наши теку­щие цен­но­сти. Пред­по­ло­жим, что древ­ние гре­ки были теми, кто столк­нул­ся с пере­хо­дом от чело­ве­че­ско­го к машин­но­му управ­ле­нию, и они зако­ди­ро­ва­ли свои соб­ствен­ные цен­но­сти в каче­стве конеч­ной цели машин. С нашей точ­ки зре­ния, это при­ве­ло бы к тра­ге­дии, посколь­ку мы склон­ны счи­тать, что наблю­да­ли нрав­ствен­ный про­гресс после древ­них гре­ков (напри­мер, запрет раб­ства). Но, по-види­мо­му, мы всё ещё дале­ки от совер­шен­ства. Поэто­му нам нуж­но при­нять даль­ней­ший нрав­ствен­ный прогресс.

Одно из пред­ло­жен­ных реше­ний — дать маши­нам алго­ритм для выяс­не­ния, чем наши цен­но­сти мог­ли бы быть, если бы мы зна­ли боль­ше, были муд­рее, в боль­шей мере были теми, кем хоте­ли бы быть, и так далее. Фило­со­фы над­ры­ва­лись над этим под­хо­дом к тео­рии цен­но­стей на про­тя­же­нии деся­ти­ле­тий, и это может быть про­дук­тив­ным реше­ни­ем для машин­ной этики.

В‑третьих: дру­гие воз­ра­жа­ют, что мы ещё слиш­ком дале­ко от пере­хо­да от чело­ве­че­ской к машин­ной вла­сти, что­бы рабо­тать над про­бле­мой уже сей­час. Но мы долж­ны пом­нить, что эко­но­ми­че­ские сти­му­лы бла­го­при­ят­ству­ют тем­пам раз­ра­бот­ки боль­ше, чем совер­шен­ство­ва­нию без­опас­но­сти. Кро­ме того, наше науч­ное любо­пыт­ство может ино­гда пере­ве­ши­вать дру­гие сооб­ра­же­ния, такие как без­опас­ность. По сло­вам Робер­та Оппен­гей­ме­ра, физи­ка, кото­рый воз­глав­лял Ман­х­эт­тен­ский про­ект: «Когда вы види­те что-то тех­ни­че­ски оча­ро­ва­тель­ное, вы идё­те впе­ред и дела­е­те это, и вы обсуж­да­е­те, что с этим делать, толь­ко после ваше­го тех­ни­че­ско­го успе­ха. Так это было и с атом­ной бом­бой».⁴

Тем не менее, кто-то мог бы спро­сить: что мы можем сде­лать с про­бле­мой рис­ков ИИ, когда мы так мало зна­ем о дизайне буду­щих ИИ? Для нача­ла мы можем занять­ся рабо­той тако­го рода, какая осу­ществ­ля­ет­ся сей­час дву­мя иссле­до­ва­тель­ски­ми инсти­ту­та­ми, в насто­я­щее вре­мя наи­бо­лее плот­но рабо­та­ю­щи­ми над этой труд­ной про­бле­мой: Иссле­до­ва­тель­ский инсти­тут машин­но­го интел­лек­та в Берк­ли и Инсти­тут буду­ще­го чело­ве­че­ства в Окс­форд­ском уни­вер­си­те­те. Это включает:

1. Стра­те­ги­че­ские иссле­до­ва­ния. Какие типы тех­ни­че­ско­го раз­ви­тия уве­ли­чи­ва­ют риск и какие умень­ша­ют, и как мы можем сти­му­ли­ро­вать пра­ви­тель­ства и кор­по­ра­ции пере­но­сить финан­си­ро­ва­ние от пер­вых ко вто­рым? Како­ва ожи­да­е­мая полез­ность кон­крет­ных видов иссле­до­ва­ний или опре­де­лен­ных форм вовле­че­ния пра­ви­тельств и обще­ствен­но­сти? Что мы можем сде­лать, что­бы умень­шить риск гон­ки ИИ-воору­же­ний? Как срав­ни­вать риск ИИ с рис­ка­ми от ядер­но­го ору­жия, био­тех­но­ло­гий, око­ло­зем­ных объ­ек­тов и так далее? Могут ли эко­но­ми­че­ские моде­ли пред­ска­зы­вать что-нибудь о вли­я­нии тех­но­ло­гий искус­ствен­но­го интел­лек­та? Можем ли мы раз­ра­бо­тать мето­ды тех­но­ло­ги­че­ско­го про­гно­зи­ро­ва­ния, спо­соб­ные давать забла­го­вре­мен­ное пре­ду­пре­жде­ние об изоб­ре­те­нии ИИ?
2. Тех­ни­че­ские иссле­до­ва­ния. Можем ли мы раз­ра­бо­тать без­опас­ные огра­ни­чи­ва­ю­щие мето­ды для мощ­ных ИИ? Как агент с жела­тель­ной для людей функ­ци­ей полез­но­сти может сохра­нить свои цели в про­цес­се совер­шен­ство­ва­ния онто­ло­гии, отно­си­тель­но кото­рой он име­ет пред­по­чте­ния? Как мы можем извлечь согла­со­ван­ную функ­цию полез­но­сти из про­ти­во­ре­чи­во­го чело­ве­че­ско­го пове­де­ния и исполь­зо­вать её для напол­не­ния соб­ствен­ной функ­ции полез­но­сти ИИ? Можем ли мы раз­ра­бо­тать про­дви­ну­тый ИИ, кото­рый будет отве­чать на вопро­сы, но не ста­нет про­яв­лять опас­ные спо­соб­но­сти сверх­ра­зум­но­го агента?
3. Повы­ше­ние осве­дом­лён­но­сти. Рас­про­стра­не­ние инфор­ма­ции сре­ди иссле­до­ва­те­лей, бла­го­тво­ри­те­лей и обще­ствен­но­сти может при­влечь боль­ше денеж­но­го и чело­ве­че­ско­го капи­та­ла для интен­сив­ной рабо­ты над проблемой.

Поис­ки ИИ про­шли дол­гий путь. Ком­пью­тер­ные учё­ные и дру­гие иссле­до­ва­те­ли долж­ны начать вос­при­ни­мать зна­чи­мость ИИ более серьезно.

Примечания

1. E. Yudkowsky, ‘AI as a positive and a negative factor in global risk’, Global Catastrophic Risks (eds) N. Bostrom and M. Cirkovic (New York: Oxford University Press, 2008). ↵
2. D. Chalmers, ‘The Singularity: a reply to commentators’, Journal of Consciousness Studies, vol. 19, nos. 7–8 (2012), 141–167. ↵
3. S. Armstrong, A. Sandberg, N. Bostrom, ‘Thinking inside the box: Using and controlling Oracle AI’, Minds and Machines, vol. 22, no. 4 (2012), 299–324. ↵
4. Robert Jungk, Brighter than a Thousand Suns: A Personal History of the Atomic Scientists, trans. Lames Cleugh (New York: Harcourt Harvest, 1958), 296. ↵