Против сингулярности

Ком­мен­та­рий редак­то­ра: Тим Тай­лер не слиш­ком широ­ко извест­ный футу­ро­лог, транс­гу­ма­нист и олдскуль­ный носи­тель боро­ды. Он кри­ти­ку­ет кон­цеп­цию тех­но­ло­ги­че­ской син­гу­ляр­но­сти — и места­ми дела­ет это доволь­но хоро­шо. Видео со сво­им раз­бо­ром Тай­лер запи­сал в далё­ком 2009 году, когда Machine Intelligence Research Institute ещё назы­вал­ся Singularity Institute, и экс­плу­а­та­ция тер­ми­на была куда шире. Впро­чем, для рус­ско­языч­ной ауди­то­рии объ­яс­не­ния Тай­ле­ра всё ещё актуальны.

При­вет, я Тим Тай­лер — и сего­дня я буду обсуж­дать свой вызов «син­гу­ляр­но­сти».

Я заме­тил, что неко­то­рые люди взя­ли при­выч­ку назы­вать надви­га­ю­щий­ся вос­ход машин­но­го интел­лек­та «син­гу­ляр­но­стью».

Исполь­зо­ва­ние это­го тер­ми­на нача­лось с писа­те­ля-фан­та­ста, но рас­про­стра­ни­лось на более широ­кое сооб­ще­ство, и теперь есть инсти­тут син­гу­ляр­но­сти, уни­вер­си­тет син­гу­ляр­но­сти, кон­фе­рен­ции о син­гу­ляр­но­сти, фильм о син­гу­ляр­но­сти и кни­га о сингулярности.

Я вижу здесь про­бле­му. Про­бле­ма в том, что, как я счи­таю, этот тер­мин неле­пый. Нет ни одно­го пре­це­ден­та исполь­зо­ва­ния тако­го тер­ми­на для опи­са­ния исто­ри­че­ских собы­тий. Он пере­гру­жен мно­же­ством про­ти­во­ре­чи­вых зна­че­ний, и ни одно из них не име­ет боль­шо­го смысла.

Исто­ри­ки обыч­но исполь­зу­ют тер­мин «рево­лю­ция» для обо­зна­че­ния ради­каль­ных изме­не­ний в исто­рии чело­ве­че­ства. Так, у нас есть «аграр­ная рево­лю­ция», «про­мыш­лен­ная рево­лю­ция», «инфор­ма­ци­он­ная рево­лю­ция» и так далее. В буду­щем мы можем уви­деть «интел­лек­ту­аль­ную рево­лю­цию» и, воз­мож­но, «нано­тех­но­ло­ги­че­скую рево­лю­цию» вско­ре после это­го. Такая тер­ми­но­ло­гия про­ста, понят­на и согла­су­ет­ся с исто­ри­ей. Шанс же того, что какой-либо заслу­жи­ва­ю­щий ува­же­ния исто­рик буду­ще­го ста­нет назы­вать про­шед­шие собы­тия «тех­но­ло­ги­че­ской син­гу­ляр­но­стью», выгля­дит незначительным.

Итак, что не так с тер­ми­ном «син­гу­ляр­ность»? Насколь­ко я могу судить, нет ника­ких серьёз­ных науч­ных аргу­мен­тов. Ско­рее это что-то вышед­шее из науч­ной фантастики.

Тер­мин син­гу­ляр­ность идёт из мате­ма­ти­ки, где он озна­ча­ет точ­ку раз­ры­ва, в кото­рой воз­ни­ка­ет стран­ное, лишён­ное непре­рыв­но­сти пове­де­ние функ­ции. Клас­си­че­ским при­ме­ром явля­ет­ся деле­ние на ноль, при­во­дя­щее не к дру­го­му зна­че­нию, а к бесконечности.

Неко­то­рые сто­рон­ни­ки при­шли к выво­ду, что тем­пы про­грес­са дей­стви­тель­но про­де­мон­стри­ру­ют что-то подоб­ное. Вот при­мер тако­го рас­суж­де­ния от одно­го из защит­ни­ков син­гу­ляр­но­сти:

Если ско­рость ком­пью­тер­ных вычис­ле­ний удва­и­ва­ет­ся каж­дые два года, что слу­чит­ся, когда иссле­до­ва­ния будет про­во­дить ИИ?

• Ско­рость вычис­ле­ний удва­и­ва­ет­ся каж­дые два года.
• Ско­рость вычис­ле­ний удва­и­ва­ет­ся каж­дые два года работы.
• Ско­рость вычис­ле­ний удва­и­ва­ет­ся каж­дые два субъ­ек­тив­ных года работы.

Через два года после того, как искус­ствен­ный интел­лект достиг­нет чело­ве­че­ско­го уров­ня, его ско­рость удво­ит­ся. Годом поз­же его ско­рость удво­ит­ся снова.

Шесть меся­цев, три меся­ца, пол­то­ра меся­ца… Сингулярность.

Хотя маши­ны и будут созда­вать более умные маши­ны, пред­ло­жен­ная здесь шка­ла вре­ме­ни выгля­дит слиш­ком опти­ми­стич­ной. Одна из про­блем в тре­тьем шаге рас­суж­де­ния. Про­гресс зави­сит не толь­ко от мыш­ле­ния. Он так­же зави­сит от спо­соб­но­сти вос­при­ни­мать и изме­нять мир (для того, что­бы про­во­дить экс­пе­ри­мен­ты), и спо­соб­но­сти робо­тов не удва­и­ва­ют­ся каж­дые два года. Дру­гая про­бле­ма заклю­ча­ет­ся в пред­по­ло­же­нии, что теку­щий рост не зави­сит в зна­чи­тель­ной сте­пе­ни от вкла­да ком­пью­те­ров в про­ек­ти­ро­ва­ние ком­пью­те­ров. В дей­стви­тель­но­сти, про­ек­ти­ро­ва­ние и опти­ми­за­ция инте­граль­ных схем явля­ет­ся неве­ро­ят­но вычис­ли­тель­но-ёмкой зада­чей, и вовле­чён­ность ком­пью­те­ров в этот про­цесс уже огром­на. Маши­ны ещё не дела­ют всё, но они уже дела­ют мно­го, и их воз­мож­но­сти существенны.

Хотя быст­рый про­гресс идёт, он нико­гда не ста­нет «бес­ко­неч­но» быст­рым. Мы дой­дём до физи­че­ских огра­ни­че­ний рань­ше. Таким обра­зом, гипо­те­ти­че­ская «син­гу­ляр­ность» нико­гда на деле не будет достигнута.

Тер­мин «син­гу­ляр­ность» был впо­след­ствии мно­же­ство раз пере­опре­де­лён и исполь­зо­ван повтор­но. Это не обя­за­тель­но пло­хо, но это даёт кри­ти­кам нечто вро­де дви­жу­щей­ся цели. Слож­но быть кри­тич­ным, когда вы не пони­ма­е­те, о чём имен­но кто-то гово­рит. Здесь Эли­е­зер Юдков­ский опи­сы­ва­ет неко­то­рые из раз­лич­ных пред­ло­жен­ных интер­пре­та­ций идеи:

Есть три основ­ные шко­лы мыс­ли, кото­рые ста­ли ассо­ци­и­ро­вать­ся с этим словом:

• Рей­монд Курцвейл: уско­ря­ю­ще­е­ся изменение;
• Вер­нор Виндж: гори­зонт событий;
• Ирвинг Джон Гуд: интел­лек­ту­аль­ный взрыв.

Юдков­ский пишет:

Ситу­а­ция с эти­ми тре­мя логи­че­ски раз­лич­ны­ми шко­ла­ми син­гу­ляр­но­сти тако­ва, что хотя все три на базо­вом уровне под­дер­жи­ва­ют друг дру­га, в стро­гом опре­де­ле­нии они ско­рее про­ти­во­ре­чат друг другу.

И дей­стви­тель­но.

Горизонт прогноза

Одна из идей в том, что син­гу­ляр­ность пред­став­ля­ет собой сво­е­го рода «гори­зонт про­гно­за». Рей Курцвейл так осве­ща­ет тему:

К 2045 году мы разо­вьём интел­лект нашей чело­ве­ко-машин­ной циви­ли­за­ции в мил­ли­ард раз. Это и будет син­гу­ляр­но­стью. Мы заим­ству­ем эту мета­фо­ру из физи­ки и гово­рим о гори­зон­те собы­тий. Слож­но загля­нуть по ту сторону.

Это прав­да, что далё­кое буду­щее труд­но пред­ска­зать. Про­бле­ма здесь в том, что раз­ные вещи непред­ска­зу­е­мы на раз­ных вре­мен­ных мас­шта­бах. Кро­ме того, дета­ли далё­ко­го буду­ще­го все­гда были непред­ска­зу­е­мы, и, веро­ят­но, будут слож­ны­ми для про­гно­зи­ро­ва­ния ещё дол­гое вре­мя. Таким обра­зом, «гори­зонт про­гно­за» пред­став­ля­ет­ся отсту­па­ю­щим по мере наше­го при­бли­же­ния к нему, и, сле­до­ва­тель­но, он не отно­сит­ся ни к како­му кон­крет­но­му буду­ще­му событию.

Дру­гая про­бле­ма идеи «гори­зон­та про­гно­за» в том, что она ско­рее бли­же к гори­зон­ту собы­тий, неже­ли к син­гу­ляр­но­сти, и это выгля­дит пло­хим оправ­да­ни­ем для исполь­зо­ва­ния послед­не­го термина.

Излом будущего

Дру­гая идея заклю­ча­ет­ся в том, что наша «модель буду­ще­го» при­дёт в негод­ность. Люди пред­ска­зы­ва­ют буду­щее, исполь­зуя мно­го раз­лич­ных видов моде­лей, и не очень мно­гие из них выгля­дят так, буд­то их «сло­ма­ет» появ­ле­ние высо­ко­ин­тел­лек­ту­аль­ных машин. А может ли такое собы­тие в дей­стви­тель­но­сти произойти?

Робин Хэн­сон отве­ча­ет на вопрос:

— Не дума­е­те ли вы, что после осу­ществ­ле­ния пер­вой загруз­ки, когда гра­ни­цы чело­ве­че­ско­го тела будут, нако­нец, пре­одо­ле­ны, насту­пит game over, кон­цеп­ции эко­но­ми­ки, соци­аль­ной струк­ту­ры, поли­ти­че­ско­го устрой­ства — всё это поле­тит к чер­тям, и нас ждёт буду­щее, пол­но­стью отли­ча­ю­ще­е­ся от того, что мы спо­соб­ны пони­мать на дан­ный момент?

— Веро­ят­нее все­го, нет. Я пола­гаю, это мен­таль­ный блок, удер­жи­ва­ю­щий мно­гих людей от раз­мыш­ле­ний о тако­го рода вещах.

С моей точ­ки зре­ния, спо­соб­ность пред­ска­зы­вать буду­щее пред­ста­ёт улуч­ша­ю­щей­ся со вре­ме­нем, по мере того как улуч­ша­ет­ся наша спо­соб­ность соби­рать дан­ные, совер­шен­ству­ют­ся наши моде­ли, и мы раз­ра­ба­ты­ва­ем более мощ­ные ком­пью­те­ры. Этот эффект выгля­дит более суще­ствен­ным, чем тот факт, что неко­то­рые моде­ли­ру­е­мые явле­ния сами ста­но­вят­ся слож­нее. С ходом вре­ме­ни этот эффект будет стре­мить­ся ото­дви­нуть точ­ку, даль­ше кото­рой мы не можем пред­ска­зы­вать, и, таким обра­зом, она нико­гда не будет достиг­ну­та. Наши моде­ли буду­ще­го не «сло­ма­ют­ся». Напро­тив, они будут всё луч­ше и лучше.

То же самое в физи­ке. В физи­ке тер­мин «син­гу­ляр­ность» исполь­зу­ет­ся для опи­са­ния того, как зако­ны физи­ки, каки­ми они пони­ма­лись в 1950‑х, пере­ста­ют дей­ство­вать (слов­но при деле­нии на ноль), будучи при­ме­нён­ны­ми к чёр­ным дырам. Одна­ко, доволь­но оче­вид­но, это был недо­ста­ток в самих тео­ри­ях, а не реаль­ный физи­че­ский фено­мен. Совре­мен­ные тео­рии, объ­еди­ня­ю­щие тео­рию отно­си­тель­но­сти и кван­то­вую меха­ни­ку, не име­ют подоб­ных сингулярностей.

Отдель­ные мыс­ли­те­ли, воз­мож­но, обна­ру­жи­ли, что их мозг пла­вит­ся при обду­мы­ва­нии собы­тий далё­ко­го буду­ще­го, но это боль­ше харак­те­ри­зу­ет свой­ства их моз­га, а не само буду­щее. Если ваша модель лома­ет­ся, то это про­бле­ма с вашей моде­лью, а не какое-то собы­тие в будущем.

Экспоненциальный рост

Как насчёт идеи, что экс­по­нен­ци­аль­ный рост при­ве­дёт к стре­ми­тель­ным тех­но­ло­ги­че­ским пере­ме­нам? Теренс Мак­кен­на опи­сы­вал это так:

Наста­нет день, когда мы будем пере­жи­вать боль­ше изме­не­ний за один час, чем мы пере­жи­ли за про­шед­шие 20–30 тысяч лет. Такая ситу­а­ция нево­об­ра­зи­ма, и мы назы­ва­ем это син­гу­ляр­но­стью. Это место, где обыч­ные пра­ви­ла моде­ли­ро­ва­ния пере­ста­ют работать.

Веро­ят­но, это прав­да, что буду­щее про­де­мон­стри­ру­ет стре­ми­тель­ные изме­не­ния, но в экс­по­нен­ци­аль­ном росте нет ниче­го «син­гу­ляр­но­го». Экс­по­нен­ци­аль­ный рост это то, что вы полу­ча­е­те, когда мыши нахо­дят кучу зер­на — в этом нет ника­кой сингулярности.

Интеллектуальный взрыв

Как насчёт мне­ния, что будет интел­лек­ту­аль­ный взрыв, и само­раз­ви­ва­ю­щи­е­ся систе­мы стре­ми­тель­но разо­вьют­ся и захва­тят мир?

Я думаю, что «интел­лек­ту­аль­ный взрыв» это разум­ный кон­цепт, и, обра­ти­те вни­ма­ние, уже име­ю­щий вполне при­лич­ное назва­ние. Одна­ко, если вы посмот­ри­те на смысл, он уже реа­ли­зу­ет­ся. Маши­ны уже зна­чи­тель­но уси­ли­ва­ют чело­ве­че­ский интел­лект, и дела­ют это уже неко­то­рое вре­мя. Боль­шая часть машин­но­го кода в мире напи­са­на ком­пью­те­ра­ми. Боль­шая часть рефак­то­рин­га тоже дела­ет­ся с помо­щью ком­пью­те­ров. Ком­па­нии это само­раз­ви­ва­ю­щи­е­ся интел­лек­ту­аль­ные систе­мы. Интел­лек­ту­аль­ный взрыв в дей­стви­тель­но­сти не явля­ет­ся собы­ти­ем, лока­ли­зо­ван­ным в буду­щем, он гораз­до шире рас­пре­де­лён, и мы можем ясно видеть его началь­ную ста­дию, иду­щую сей­час. Я сде­лал отдель­ное видео об этом: The intelligence explosion is happening now.

Пред­ла­га­е­мый «син­гу­ляр­ный» под­ход, оче­вид­но, вклю­ча­ет в себя ком­пью­тер­ный интел­лект, вне­зап­но дости­га­ю­щий чело­ве­че­ско­го уров­ня, и затем пре­вос­хо­дя­щий его. Про­бле­ма здесь в том, что нет такой вещи как интел­лект «чело­ве­че­ско­го уров­ня». Работ­ни­ки име­ют раз­лич­ные уров­ни интел­лек­та, необ­хо­ди­мые для их работ, и, сле­до­ва­тель­но, авто­ма­ти­за­ция заби­ра­ет их рабо­чие места посте­пен­но. Мы уже авто­ма­ти­зи­ро­ва­ли бан­ков­ских слу­жа­щих, кас­си­ров, убор­щи­ков, завод­ских рабо­чих, теле­фон­ных опе­ра­то­ров и так далее. На рын­ке тру­да маши­ны будут посте­пен­но дого­нять людей, а не обго­нять их вне­зап­но. С функ­ци­о­наль­ной точ­ки зре­ния, чело­ве­че­ский интел­лект про­сти­ра­ет­ся от Эйн­штей­на вплоть до тяже­ло­боль­ных лиц, кото­рые прак­ти­че­ски в коме. Рас­пре­де­ле­ние чело­ве­че­ско­го интел­лек­та фор­ми­ру­ет коло­ко­ло­об­раз­ную кри­вую, а не рез­кий пик, и на рын­ке тру­да (на кото­ром люди и маши­ны кон­ку­ри­ру­ют) раз­брос интел­лек­та, необ­хо­ди­мо­го для выпол­не­ния задач, даже шире. Мно­гие люди в насто­я­щее вре­мя дела­ют рабо­ту, кото­рая мог­ла бы выпол­нять­ся гораз­до менее интел­лек­ту­аль­ны­ми машинами.

«Сингулярный» просто означает «уникальный»

Как насчёт сооб­ра­же­ния, что насту­па­ю­щие собы­тия «син­гу­ляр­ны», пото­му что они уни­каль­ны и нико­гда не слу­ча­лись рань­ше? Мно­гие собы­тия под­хо­дят под опи­са­ние уни­каль­ных. Вто­рая миро­вая вой­на была уни­каль­на. Сме­на тыся­че­ле­тий была уни­каль­на. Высад­ки на Луну были уни­каль­ны. Откры­тие ДНК было уни­каль­ным. Тем не менее, мы не харак­те­ри­зу­ем эти собы­тия как син­гу­ляр­но­сти, да и не долж­ны это­го делать.

Робин Хэн­сон даже пытал­ся про­ве­сти реб­рен­динг аграр­ной и про­мыш­лен­ной рево­лю­ций как син­гу­ляр­но­стей в недав­ней статье.

Он напи­сал:

Чем бы про­мыш­лен­ная рево­лю­ция ни была, несо­мнен­но, это было собы­тие, достой­ное назы­вать­ся сингулярностью.

Я не согла­сен, я счи­таю, что назы­ва­ние про­мыш­лен­ной рево­лю­ции син­гу­ляр­но­стью пред­став­ля­ет собой потвор­ство псев­до­на­у­ке. Я вижу всё ту же про­бле­му, как и в дру­гих слу­ча­ях исполь­зо­ва­ния тер­ми­на — это сло­во попро­сту неточ­ное и неумест­ное. «Рево­лю­ция» — гораз­до луч­ше обос­но­ван­ный тер­мин. Если собы­тия доста­точ­но рез­кие, то мы име­ем пре­це­дент для исполь­зо­ва­ния тер­ми­на «пере­во­рот», и есть раз­лич­ные дру­гие тер­ми­ны, нахо­дя­щи­е­ся в рам­ках суще­ству­ю­щих науч­ных традиций.

Я думаю, что луч­шая точ­ка зре­ния на фено­мен «син­гу­ляр­но­сти» состо­ит в том, что это не нау­ка, а мар­ке­тинг. Обыч­но око­ло­син­гу­ляр­ное сооб­ще­ство име­ет, что про­дать. Пой­дёт ли буду­щее по пло­хо­му сце­на­рию, и мы долж­ны рабо­тать на его предот­вра­ще­ние, или же буду­щее будет пре­крас­ным, и нам нуж­но объ­еди­нить­ся для его осу­ществ­ле­ния, либо же буду­щее ста­но­вит­ся стран­ным, и вам нуж­на помощь в его пони­ма­нии — обыч­но есть нечто, во что мы долж­ны вне­сти свой вклад или сде­лать инвестицию.

Я нахо­жу это всё доволь­но отвра­ти­тель­ным. Я бы пред­по­чёл, что­бы люди исполь­зо­ва­ли уста­но­вив­шу­ю­ся, осмыс­лен­ную, науч­ную тер­ми­но­ло­гию вме­сто абсурд­ных, ска­зоч­ных кон­цеп­ций из науч­ной фан­та­сти­ки. Вся­кий раз, когда я слы­шу людей, гово­ря­щих о син­гу­ляр­но­сти, я зада­юсь вопро­сом, пони­ма­ют ли они вооб­ще, о чём гово­рят? Каж­дый раз, когда я вижу учре­жде­ния, ассо­ци­и­ру­ю­щие себя с син­гу­ляр­но­стью, моя оцен­ка их спо­соб­но­сти вну­шать дове­рие стре­ми­тель­но пада­ет. Этот тер­мин застав­ля­ет меня зада­вать­ся вопро­сом, что же люди продают.

Я не имею в виду мар­ке­тинг, здесь мы в основ­ном гово­рим об иде­ях, кото­рые либо спу­та­ны, сби­ва­ют с тол­ку, вво­дят в заблуж­де­ние и оши­боч­ны, либо про­сто не име­ют ниче­го обще­го с исполь­зу­е­мым тер­ми­ном. «Син­гу­ляр­ность» это псев­до­на­уч­ное, мисти­че­ски зву­ча­щее мамбо-джамбо.

Мой совет для люби­те­лей син­гу­ляр­но­сти — пере­смот­ри­те свою пози­цию. Гово­ря по-науч­но­му, ваша тер­ми­но­ло­гия отстой. Это не кру­то и не мод­но, это в основ­ном про­сто пло­хой мар­ке­тинг, выда­ю­щий себя за нау­ку. Ради вашей же убе­ди­тель­но­сти я реко­мен­дую отбро­сить этот термин.

Enjoy.

Ссылки

1. Tim Tyler — The Singularity is Nonsense;
2. Michael Anissimov — The Word “Singularity” Has Lost All Meaning;
3. Bob Mottram — Some thoughts on the Singularity;
4. Kevin Kelly — The Singularity Is Always Near;
5. Eliezer Yudkowsky — Introducing the “Singularity”: Three Major Schools of Thought;
6. Robin Hanson — Economics Of The Singularity.