Против сингулярности

Автор: Tim Tyler
Оригинал публикации: Against The Singularity
Перевод: Сергей Морякин

Комментарий редактора: Тим Тайлер не слишком широко известный футуролог, трансгуманист и олдскульный носитель бороды. Он критикует концепцию технологической сингулярности — и местами делает это довольно хорошо. Видео со своим разбором Тайлер записал в далёком 2009 году, когда Machine Intelligence Research Institute ещё назывался Singularity Institute, и эксплуатация термина была куда шире. Впрочем, для русскоязычной аудитории объяснения Тайлера всё ещё актуальны.


Привет, я Тим Тайлер — и сегодня я буду обсуждать свой вызов «сингулярности».

Я заметил, что некоторые люди взяли привычку называть надвигающийся восход машинного интеллекта «сингулярностью».

Использование этого термина началось с писателя-фантаста, но распространилось на более широкое сообщество, и теперь есть институт сингулярности, университет сингулярности, конференции о сингулярности, фильм о сингулярности и книга о сингулярности.

Я вижу здесь проблему. Проблема в том, что, как я считаю, этот термин нелепый. Нет ни одного прецедента использования такого термина для описания исторических событий. Он перегружен множеством противоречивых значений, и ни одно из них не имеет большого смысла.

Историки обычно используют термин «революция» для обозначения радикальных изменений в истории человечества. Так, у нас есть «аграрная революция», «промышленная революция», «информационная революция» и так далее. В будущем мы можем увидеть «интеллектуальную революцию» и, возможно, «нанотехнологическую революцию» вскоре после этого. Такая терминология проста, понятна и согласуется с историей. Шанс же того, что какой-либо заслуживающий уважения историк будущего станет называть прошедшие события «технологической сингулярностью», выглядит незначительным.

Итак, что не так с термином «сингулярность»? Насколько я могу судить, нет никаких серьёзных научных аргументов. Скорее это что-то вышедшее из научной фантастики.

Термин сингулярность идёт из математики, где он означает точку разрыва, в которой возникает странное, лишённое непрерывности поведение функции. Классическим примером является деление на ноль, приводящее не к другому значению, а к бесконечности.

Некоторые сторонники пришли к выводу, что темпы прогресса действительно продемонстрируют что-то подобное. Вот пример такого рассуждения от одного из защитников сингулярности:

Если скорость компьютерных вычислений удваивается каждые два года, что случится, когда исследования будет проводить ИИ?

  • Скорость вычислений удваивается каждые два года.
  • Скорость вычислений удваивается каждые два года работы.
  • Скорость вычислений удваивается каждые два субъективных года работы.

Через два года после того, как искусственный интеллект достигнет человеческого уровня, его скорость удвоится. Годом позже его скорость удвоится снова.

Шесть месяцев, три месяца, полтора месяца… Сингулярность.

Хотя машины и будут создавать более умные машины, предложенная здесь шкала времени выглядит слишком оптимистичной. Одна из проблем в третьем шаге рассуждения. Прогресс зависит не только от мышления. Он также зависит от способности воспринимать и изменять мир (для того, чтобы проводить эксперименты), и способности роботов не удваиваются каждые два года. Другая проблема заключается в предположении, что текущий рост не зависит в значительной степени от вклада компьютеров в проектирование компьютеров. В действительности, проектирование и оптимизация интегральных схем является невероятно вычислительно-ёмкой задачей, и вовлечённость компьютеров в этот процесс уже огромна. Машины ещё не делают всё, но они уже делают много, и их возможности существенны.

Хотя быстрый прогресс идёт, он никогда не станет «бесконечно» быстрым. Мы дойдём до физических ограничений раньше. Таким образом, гипотетическая «сингулярность» никогда на деле не будет достигнута.

Термин «сингулярность» был впоследствии множество раз переопределён и использован повторно. Это не обязательно плохо, но это даёт критикам нечто вроде движущейся цели. Сложно быть критичным, когда вы не понимаете, о чём именно кто-то говорит. Здесь Элиезер Юдковский описывает некоторые из различных предложенных интерпретаций идеи:

Есть три основные школы мысли, которые стали ассоциироваться с этим словом:

  • Реймонд Курцвейл: ускоряющееся изменение;
  • Вернор Виндж: горизонт событий;
  • Ирвинг Джон Гуд: интеллектуальный взрыв.

Юдковский пишет:

Ситуация с этими тремя логически различными школами сингулярности такова, что хотя все три на базовом уровне поддерживают друг друга, в строгом определении они скорее противоречат друг другу.

И действительно.

Горизонт прогноза

Одна из идей в том, что сингулярность представляет собой своего рода «горизонт прогноза». Рей Курцвейл так освещает тему:

К 2045 году мы разовьём интеллект нашей человеко-машинной цивилизации в миллиард раз. Это и будет сингулярностью. Мы заимствуем эту метафору из физики и говорим о горизонте событий. Сложно заглянуть по ту сторону.

Это правда, что далёкое будущее трудно предсказать. Проблема здесь в том, что разные вещи непредсказуемы на разных временных масштабах. Кроме того, детали далёкого будущего всегда были непредсказуемы, и, вероятно, будут сложными для прогнозирования ещё долгое время. Таким образом, «горизонт прогноза» представляется отступающим по мере нашего приближения к нему, и, следовательно, он не относится ни к какому конкретному будущему событию.

Другая проблема идеи «горизонта прогноза» в том, что она скорее ближе к горизонту событий, нежели к сингулярности, и это выглядит плохим оправданием для использования последнего термина.

Излом будущего

Другая идея заключается в том, что наша «модель будущего» придёт в негодность. Люди предсказывают будущее, используя много различных видов моделей, и не очень многие из них выглядят так, будто их «сломает» появление высокоинтеллектуальных машин. А может ли такое событие в действительности произойти?

Робин Хэнсон отвечает на вопрос:

— Не думаете ли вы, что после осуществления первой загрузки, когда границы человеческого тела будут, наконец, преодолены, наступит game over, концепции экономики, социальной структуры, политического устройства — всё это полетит к чертям, и нас ждёт будущее, полностью отличающееся от того, что мы способны понимать на данный момент?

— Вероятнее всего, нет. Я полагаю, это ментальный блок, удерживающий многих людей от размышлений о такого рода вещах.

С моей точки зрения, способность предсказывать будущее предстаёт улучшающейся со временем, по мере того как улучшается наша способность собирать данные, совершенствуются наши модели, и мы разрабатываем более мощные компьютеры. Этот эффект выглядит более существенным, чем тот факт, что некоторые моделируемые явления сами становятся сложнее. С ходом времени этот эффект будет стремиться отодвинуть точку, дальше которой мы не можем предсказывать, и, таким образом, она никогда не будет достигнута. Наши модели будущего не «сломаются». Напротив, они будут всё лучше и лучше.

То же самое в физике. В физике термин «сингулярность» используется для описания того, как законы физики, какими они понимались в 1950-х, перестают действовать (словно при делении на ноль), будучи применёнными к чёрным дырам. Однако, довольно очевидно, это был недостаток в самих теориях, а не реальный физический феномен. Современные теории, объединяющие теорию относительности и квантовую механику, не имеют подобных сингулярностей.

Отдельные мыслители, возможно, обнаружили, что их мозг плавится при обдумывании событий далёкого будущего, но это больше характеризует свойства их мозга, а не само будущее. Если ваша модель ломается, то это проблема с вашей моделью, а не какое-то событие в будущем.

Экспоненциальный рост

Как насчёт идеи, что экспоненциальный рост приведёт к стремительным технологическим переменам? Теренс Маккенна описывал это так:

Настанет день, когда мы будем переживать больше изменений за один час, чем мы пережили за прошедшие 20–30 тысяч лет. Такая ситуация невообразима, и мы называем это сингулярностью. Это место, где обычные правила моделирования перестают работать.

Вероятно, это правда, что будущее продемонстрирует стремительные изменения, но в экспоненциальном росте нет ничего «сингулярного». Экспоненциальный рост это то, что вы получаете, когда мыши находят кучу зерна — в этом нет никакой сингулярности.

Интеллектуальный взрыв

Как насчёт мнения, что будет интеллектуальный взрыв, и саморазвивающиеся системы стремительно разовьются и захватят мир?

Я думаю, что «интеллектуальный взрыв» это разумный концепт, и, обратите внимание, уже имеющий вполне приличное название. Однако, если вы посмотрите на смысл, он уже реализуется. Машины уже значительно усиливают человеческий интеллект, и делают это уже некоторое время. Большая часть машинного кода в мире написана компьютерами. Большая часть рефакторинга тоже делается с помощью компьютеров. Компании это саморазвивающиеся интеллектуальные системы. Интеллектуальный взрыв в действительности не является событием, локализованным в будущем, он гораздо шире распределён, и мы можем ясно видеть его начальную стадию, идущую сейчас. Я сделал отдельное видео об этом: The intelligence explosion is happening now.

Предлагаемый «сингулярный» подход, очевидно, включает в себя компьютерный интеллект, внезапно достигающий человеческого уровня, и затем превосходящий его. Проблема здесь в том, что нет такой вещи как интеллект «человеческого уровня». Работники имеют различные уровни интеллекта, необходимые для их работ, и, следовательно, автоматизация забирает их рабочие места постепенно. Мы уже автоматизировали банковских служащих, кассиров, уборщиков, заводских рабочих, телефонных операторов и так далее. На рынке труда машины будут постепенно догонять людей, а не обгонять их внезапно. С функциональной точки зрения, человеческий интеллект простирается от Эйнштейна вплоть до тяжелобольных лиц, которые практически в коме. Распределение человеческого интеллекта формирует колоколообразную кривую, а не резкий пик, и на рынке труда (на котором люди и машины конкурируют) разброс интеллекта, необходимого для выполнения задач, даже шире. Многие люди в настоящее время делают работу, которая могла бы выполняться гораздо менее интеллектуальными машинами.

«Сингулярный» просто означает «уникальный»

Как насчёт соображения, что наступающие события «сингулярны», потому что они уникальны и никогда не случались раньше? Многие события подходят под описание уникальных. Вторая мировая война была уникальна. Смена тысячелетий была уникальна. Высадки на Луну были уникальны. Открытие ДНК было уникальным. Тем не менее, мы не характеризуем эти события как сингулярности, да и не должны этого делать.

Робин Хэнсон даже пытался провести ребрендинг аграрной и промышленной революций как сингулярностей в недавней статье.

Он написал:

Чем бы промышленная революция ни была, несомненно, это было событие, достойное называться сингулярностью.

Я не согласен, я считаю, что называние промышленной революции сингулярностью представляет собой потворство псевдонауке. Я вижу всё ту же проблему, как и в других случаях использования термина — это слово попросту неточное и неуместное. «Революция» — гораздо лучше обоснованный термин. Если события достаточно резкие, то мы имеем прецедент для использования термина «переворот», и есть различные другие термины, находящиеся в рамках существующих научных традиций.

Я думаю, что лучшая точка зрения на феномен «сингулярности» состоит в том, что это не наука, а маркетинг. Обычно околосингулярное сообщество имеет, что продать. Пойдёт ли будущее по плохому сценарию, и мы должны работать на его предотвращение, или же будущее будет прекрасным, и нам нужно объединиться для его осуществления, либо же будущее становится странным, и вам нужна помощь в его понимании — обычно есть нечто, во что мы должны внести свой вклад или сделать инвестицию.

Я нахожу это всё довольно отвратительным. Я бы предпочёл, чтобы люди использовали установившуюся, осмысленную, научную терминологию вместо абсурдных, сказочных концепций из научной фантастики. Всякий раз, когда я слышу людей, говорящих о сингулярности, я задаюсь вопросом, понимают ли они вообще, о чём говорят? Каждый раз, когда я вижу учреждения, ассоциирующие себя с сингулярностью, моя оценка их способности внушать доверие стремительно падает. Этот термин заставляет меня задаваться вопросом, что же люди продают.

Я не имею в виду маркетинг, здесь мы в основном говорим об идеях, которые либо спутаны, сбивают с толку, вводят в заблуждение и ошибочны, либо просто не имеют ничего общего с используемым термином. «Сингулярность» это псевдонаучное, мистически звучащее мамбо-джамбо.

Мой совет для любителей сингулярности — пересмотрите свою позицию. Говоря по-научному, ваша терминология отстой. Это не круто и не модно, это в основном просто плохой маркетинг, выдающий себя за науку. Ради вашей же убедительности я рекомендую отбросить этот термин.

Enjoy.

Ссылки

  1. Tim Tyler — The Singularity is Nonsense;
  2. Michael Anissimov — The Word “Singularity” Has Lost All Meaning;
  3. Bob Mottram — Some thoughts on the Singularity;
  4. Kevin Kelly — The Singularity Is Always Near;
  5. Eliezer Yudkowsky — Introducing the “Singularity”: Three Major Schools of Thought;
  6. Robin Hanson — Economics Of The Singularity.

Последние посты

Архивы

Категории