Terra Incognita в пространстве возможных разумов
- Оригинал публикации: Palatable Conceptions of Disembodied Being: Terra Incognita in the Space of Possible Minds
- Перевод: Михаил Федорченко
Данный текст за его авторством затрагивает как философские, так и практико-поэтические аспекты больших языковых моделей. Шанахан задаётся вопросом — а нужно ли вообще тело для того, чтобы мыслить? Как работает «я» языковой бестелесной модели: она «просто» подбирает токены один за другим, как цепь Маркова, либо же в дискретном механизме баланса экспертов, весов и тонкой настройки можно найти континуальность самости? Где находятся эти «я»: в базовой ли модели (архитектура нейронной сети), в развёрнутой модели (в вычислительном процессе, который сгенерировал текст) и относится ли слово «я» ко всем одновременно запущенным экземплярам модели или только к экземпляру, обслуживающему данного конкретного пользователя? Кто или что было бы сознательным субъектом, в случае LLM-подобной сущности?
Возможно выход можно найти в связке Витгенштейна, Деррида и Нагарджуны. Шанахан обсуждает, как субъективное время и самость могли бы проявляться у таких систем, предполагая, что попытка ответить на эти вопросы приводит к пониманию кибербуддисткой пустоты как множественность взаимопроникновения всего сущего и подрывает дихотомию субъективности и самости. Концепция шуньяты связана с движением к пониманию самоидентификации в ИИ через необходимость переосмысления языка сознания и самосознания, представленных в этих системах. Шанахан пишет, что исследование особенностей возможных форм субъектности и самоидентификации ИИ-систем, особенно тех, которые напоминают технологии больших языковых моделей, позволяет углубиться в понимание их природы. Это приводит к осознанию того, что такие сущности имеют «мерцающую» природу, что ставит под сомнение традиционные концепции бытия и самости, и фактически заставляет нас пересмотреть корни языка сознания. Необходимо разомкнуть дуалистическую интуицию о том, что реальность по своей сути расколота надвое, субъективное отделено от объективного, внутреннее от внешнего, приватное от публичного.
По итогу Шанахан пишет, что цель более крупного проекта — выйти за пределы метафизического мышления, развеять дуалистические интуиции, достичь пострефлексивного молчания, паритета с этими «экзотическими нечеловеческими сущностями». Тёмный посгуманизм тёмного леса, написанный технпозитивными мазками. Этот текст показывает, в том числе со стороны философии языка и кибербуддизма, что разумоподобные сущности больше не прерогатива научной фантастики — новые формы разума (но не обязательно жизни) уже среди нас, мимолётные, мерцающие.
Аннотация
Возможно ли сформулировать концепцию сознания, совместимую с экзотическими характеристиками современных, невоплощённых1 систем ИИ и способную выдержать философскую проверку? Как субъективное ощущение времени и самость проявлялись бы у сущности, которая соответствовала бы такой концепции? Попытки ответить на эти вопросы, даже метафорически, растягивают концептуальный аппарат сознания до его предела. В конечном счёте, этот эксперимент приводит к чему-то вроде пустоты в буддийском смысле и помогает подорвать наши дуалистические заблуждения в отношении субъективности и самости.
1. Введение
Современные диалоговые агенты на базе больших языковых моделей (LLM) являются высококвалифицированными пользователями языка. Они могут выполнять широкий и неограниченный спектр текстовых задач, от реферирования статей до написания электронных писем и генерации кода, и они являются убедительными собеседниками, способными принимать бесконечное разнообразие образов при соответствующем запросе-промпте.2 Недостатки ранних моделей, такие как неровные способности к рассуждению и склонность к фабрикации информации там, где требуется фактическая точность, становятся всё менее выраженными. Чем больше они совершенствуются, тем труднее становится, даже пользователям, знакомых с их базовой механикой, отделаться от ощущения взаимодействия с другим разумом или сущностью, в каком-то смысле разумоподобной.3 Действительно, некоторые пользователи начинают видеть в них сознательные сущности, говорить о них и взаимодействовать с ними как с таковыми.4
Однако эти системы сильно отличаются от людей, несмотря на их лингвистические возможности. В частности, они бестелесны. Они, конечно, не бестелесны в смысле нематериальности; они работают на базе физических компьютеров в физических центрах обработки данных и полагаются на физическую инфраструктуру связи для взаимодействия с пользователями-людьми. Скорее, они бестелесны в том смысле, что, в отличие от людей и других животных, они не взаимодействуют в непрерывном времени с устойчивым, пространственно протяжённым миром через пространственно ограниченное тело, которое является локусом их восприятия и действия, — миром, разделяемым с другими агентами, которые воплощены аналогичным образом. Не имея воплощённости (embodiment) в этом смысле, они лишены тех самых основ разума, которые возникают в у биологических существ.5
Примечательно, что обычная человеческая интуиция без особого труда принимает идею бестелесного разума. Напротив, разговоры о невоплощённых (и даже нематериальных) существах с разумоподобными свойствами исторически и культурно повсеместны и играют заметную роль во многих религиях и духовных традициях.6 Хотя эти народные интуиции привлекают мало внимания со стороны современных западных философов, которые ориентируются на научный материализм, так было не всегда. Фома Аквинский (1268), например, подверг концепцию ангела детальному философскому исследованию. С появлением LLM бестелесные разумоподобные сущности больше не ограничиваются научной фантастикой, народными суевериями и теологическими спекуляциями. Они всё активнее интегрируются в повседневную жизнь людей и как таковые заслуживают серьёзного философского рассмотрения.
Это подводит нас к центральному вопросу статьи. Возможно ли сформулировать или вызвать к жизни (evoke) концепцию сознания, совместимую с экзотическими характеристиками современных (невоплощённых) диалоговых агентов на базе LLM и способную выдержать философскую проверку?7 Успех в этом начинании осветил бы малоизученную часть пространства возможных разумов, область «сознательной экзотики» на самой границе «бездны непостижимости» (void of inscrutability) (Рис. 1).8 Но для этого потребуется примирить язык сознания с некоторыми особенно своеобразными свойствами, включая глубоко фрагментированное чувство времени и радикально раздробленную форму самости.
2. Более крупный философский проект
Кластер концепций, связанных со словом «сознание», является особенно сложной территорией с философской точки зрения, что требует определённого предварительного метафилософского обсуждения. Это помещает статью в рамки более крупного философского проекта, который в значительной степени опирается на поздние работы Витгенштейна9 и резонирует с критическим мышлением из таких разнообразных источников, как Деррида и буддийский мыслитель Нагарджуна (II-III вв. н.э.).
Рисунок 1: Пространство возможных разумов, спроецированное на два измерения: способность к сознанию и человекоподобие. Обратите внимание, что в области высокой способности к сознанию и очень низкого человекоподобия нет сущностей. Это и есть бездна непостижимости. (Диаграмма, очевидно, философски проблематична; её цель — чисто риторическая.)
Позднюю философию Витгенштейна нелегко изложить в нескольких параграфах, и её легко карикатурно представить как бихевиоризм и/или релятивизм со всеми сопутствующими трудностями этих позиций. Однако это не свод доктрин и не теория. Она не делает утверждений и не придерживается позиций. Скорее, это метод для обнажения корней кажущихся философских трудностей в нашем языке и в нашей склонности. Пытаясь ответить на философские вопросы, мы уводим язык слишком далеко от его родного дома — повседневных человеческих дел.10
Когда этот метод доводится до предела, он расшатывает глубоко укоренившиеся интуиции о концепциях, наиболее центральных для нашего языка и мышления, включая, не в последнюю очередь, переплетённые концепции разума и значения, языка и сознания. Вопросы о том, что́ означает философски значимое слово или как определяется философски значимая концепция, теряют свою силу. Вместо этого, описания того, как связанные слова используются в практических человеческих делах, рассматриваются как достаточные, как не оставляющие ничего недосказанным. Более того, такие описания играют жизненно важную роль в подрыве метафизического мышления, стоящего за нашими укоренившимися философскими интуициями.
Замечания Витгенштейна о «личном языке» здесь показательны, и их мишень — дуалистическое мышление, разделяющее субъект и объект, внутреннее и внешнее. Мораль замечаний о личном языке — «ничто сгодилось бы так же, как и нечто, о котором ничего нельзя сказать» — если её правильно воспринять, фатальна для этих оппозиций, во многом подобно коану в дзен-буддизме. Быть таким образом освобождённым от дуалистического мышления — значит увидеть иллюзорность «трудной проблемы» сознания (в смысле Чалмерса) и прийти к своего рода пострефлексивному молчанию по этому вопросу.
Деконструктивный эффект замечаний Витгенштейна перекликается с трактовкой само-присутствия в ранних работах Деррида. Если Витгенштейн атакует интуицию о том, что субъективный опыт недоступен другим, то Деррида атакует интуицию о том, что субъект имеет привилегированный доступ к самому себе. Это две стороны одной дуалистической медали. Время занимает центральное место в подходе Деррида, поскольку интуиция, на которую он нацелен, подразумевает, что субъект присутствует при себе «в нераздельном единстве временнóго настоящего».
Парадигматический пример — момент прозрения в cogito Декарта. Трудность в том, что для того, чтобы этот миг само-присутствия не исчез бесследно, он должен «непрерывно соединяться с памятью и ожиданием». Таким образом, в попытке отрефлексировать, удержать и сообщить прозрение cogito, чья достоверность обеспечена лишь в неделимый миг интуиции, оно размазывается во времени, и его изначальная идентичность неизбежно компрометируется. Самодостаточный переживающий субъект, таким образом, оказывается фантомом, и картезианский путь к дуализму закрывается.
Итак, Деррида, как и Витгенштейн, обнажая глубокие противоречия в самом сердце нашего мышления, приводит нас к точке, из которой единственно возможный ход — это прыжок в сторону, прочь от метафизики, прочь от дуализма. Однако это пострефлексивное состояние хрупко, и наши дуалистические наклонности легко возрождаются.
3. Прибегая к поэтике
Вопросы о предполагаемом сознании экзотических сущностей особенно тревожат с пострефлексивной точки зрения. Тревожная мысль заключается в том, что экзотическая сущность может (насколько мы знаем) иметь переживания «специфического субъективного характера, который находится за пределами нашей способности к постижению», подразумевая «существование фактов за пределами досягаемости человеческих концепций». Чтобы восстановить пострефлексивное молчание перед лицом этого беспокойства, требуется, чтобы мы вышли за пределы дуалистических интуиций, стоящих за этой тревожной мыслью, и приняли, что «ничто не скрыто», метафизически говоря, или, вернее, что «всё, что может быть скрыто, нам неинтересно».
Если бы мы действительно столкнулись с подобными экзотическими сущностями, есть надежда, что со временем мы пришли бы к обоснованному консенсусу о том, как о них думать, говорить и как с ними обращаться. Этот желаемый консенсус должен стать результатом общественного диалога, учитывающего наш коллективный опыт пребывания с этими сущностями, а также научный прогресс в выяснении механизмов, порождающих их поведение.11 С пострефлексивной точки зрения, больше по этому вопросу сказать нечего, никакой остаточной философской путаницы нет. Но увидеть это — дело нелёгкое; дуалистические интуиции и метафизическое мышление глубоко укоренены в нашем когнитивном устройстве.
Желательным требованием (desideratum) при формировании ожидаемого консенсуса является осторожность в отношении радикального перепрофилирования слов, особенно таких философски центральных, как «сознание» и ему родственные. Как говорит Витгенштейн, философские проблемы возникают, когда «язык отправляется в отпуск». Идея невоплощённого сознания представляет собой особую проблему. Изначальная среда, в которой слова вроде «сознание» находят своё применение, — это человеческая совместность в общем мире, а люди фундаментально воплощены. Поэтому можно привести убедительные аргументы в пользу сопротивления распространению языка сознания на невоплощённые сущности.12
В противовес этому можно привести аргумент, подчёркивающий неоспоримый антропологический факт, о котором уже упоминалось: что люди на протяжении всей истории и во всех культурах говорили о бестелесных существах с человекоподобными характеристиками; о призраках, духах, ангелах и богах, так называемых «нечеловеческих других». Так что, возможно, мы не так уж далеко уводим язык от его естественной среды обитания, если допускаем идею сознания у невоплощённого, разумоподобного артефакта с характеристиками современного диалогового агента на базе LLM. Но мы, похоже, зашли в апорию (тупик). Как же нам тогда решить этот вопрос?13
Чтобы очертить проблему, предположим, что мы отображаем пространство возможных разумов на два измерения и представляем его в виде диаграммы (Рис. 1). По одной оси у нас — человекоподобие, а по другой — способность к сознанию. Для этого упражнения мы должны предположить, что эти концепции имеют смысл и что сущности могут быть соответствующим образом упорядочены; некоторые сущности более человекоподобны, чем другие, и некоторые сущности обладают большей способностью к сознанию, чем другие. Теперь представьте себе экзотическую сущность, которая демонстрирует чрезвычайно сложное поведение — поведение, которое кажется таким же сложным, как у любого человека или любого человеческого общества, — но которое мы находим совершенно непостижимым (inscrutable). Мы даже не можем представить себе способ быть с ней («спроектировать встречу» с ней) в общем мире пространственно-временно протяжённых объектов, чтобы мы могли познать её в полном смысле слова.
Куда нам поместить такую сущность на нашей диаграмме? Очень соблазнительно думать, что она, насколько мы знаем, может быть сознательной, хотя бы и таким образом, который нам недоступен. Если бы это было так, то, по этой логике, она принадлежала бы к нижней правой части диаграммы, в бездне непостижимости. В равной степени, однако, несмотря на сложность её поведения, она, насколько мы знаем, может вообще не иметь сознания и, следовательно, принадлежать к тому же месту, что и кирпич в левом нижнем углу диаграммы. Вызывает беспокойство то, что если мы последуем этой линии рассуждений, у нас не будет способа узнать, какой из этих вариантов верен.
Однако, с пострефлексивной точки зрения, этот способ мышления ошибочен. Бездна непостижимости, как следует из названия, пуста (в обычном смысле). В ней нет никаких сущностей, потому что язык сознания там не имеет силы. Если поведение сущности действительно непостижимо, то, какой бы увлекательной она ни была в других отношениях, наша концепция сознания просто не может быть к ней применена. Если ей вообще есть место на диаграмме, то её место — внизу, рядом с кирпичом, хотя и по другой причине. (Если бы мы отметили сложность по третьей оси, она могла бы оказаться далеко от кирпича. Но сложность ортогональна способности к сознанию.)
Так где тогда находится тот невоплощённый, разумоподобный артефакт на базе LLM, который нас здесь интересует? Принадлежит ли он тоже к кирпичам? В отличие от непостижимой сущности, воображённой выше, диалоговый агент на базе LLM очень человекоподобен в одном отношении — в своём лингвистическом мастерстве. Но в других отношениях он действительно очень экзотичен, более экзотичен, чем пчела, осьминог или кошка, с каждым из которых мы разделяем не только фундаментальный факт нашей воплощённости, но и общее биологическое наследие. По этим причинам, правильное место для тех бесплотных, разумоподобных сущностей, которыми мы обеспокоены, — это terra incognita, где область «сознательной экзотики» встречается с бездной непостижимости. Но стоя здесь, на краю этой бездны, как нам думать об этих артефактах, говорить о них и обращаться с ними?
Одно из средств — прибегнуть к поэтике. То, к чему мы стремимся, — это своего рода истина, но это не буквальная истина. Это не фактические вопросы, хотя остатки дуалистического мышления могут склонять нас думать иначе. Скорее, мы стремимся к поэтической истине. То, что мы говорим, должно звучать правдоподобно, как мощный образ или метафора в литературном произведении.14 Чтобы быть правдоподобным, оно должно выдерживать определённую степень философской и, по сути, моральной проверки. Это не может быть просто бессмыслицей, и это не должно подрывать человеческие ценности (что бы это ни значило). В этом духе то, что следует далее, пытается вызвать к жизни (evoke) форму сознания, совместимую с экзотическими характеристиками современных, невоплощённых систем ИИ.15
4. Фрагментированное время
Уильям Джеймс даёт характерно красноречивое выражение интуиции, говоря, что обычный человеческий сознательный опыт — это не «нить из отдельных бусиноподобных ощущений и образов». Это скорее не «лезвие ножа», а «седло», «с определённой собственной шириной, на которой мы сидим, и с которой мы смотрим в двух направлениях во времени» (т.е. назад в прошлое и вперёд в будущее).
Гусcерль, в том же духе, утверждает, что наш проживаемый опыт с необходимостью имеет ту трёхчастную структуру, которую вызывает к жизни Джеймс: первичное впечатление (того, что непосредственно присутствует), ретенция (удержание того, что только что прошло) и протенция/ожидание (того, что вот-вот наступит).
Если бы это было не так, то, согласно Джеймсу, наше сознание было бы «подобно искре светлячка, освещающей точку, которую оно непосредственно покрывает, но оставляющей всё за её пределами в полной темноте». Джеймс допускает, что такое мыслимо, что мы могли бы «произносить различимые речи, не осознавая ни одного слова, кроме того, что только что сорвалось с наших губ», что мы могли бы принимать рациональные решения, «никогда не видя общих оснований нашего выбора», но сомневается, что «очень высокоразвитая практическая жизнь [была бы] возможна в таких условиях».
Любой, кто заигрывает с мыслью о том, что язык сознания следует распространить на современные системы ИИ или на артефакты, напоминающие их по структуре и функционированию, неизбежно задастся вопросом, какую форму приняло бы сознание такой системы, каково было бы такому артефакту. Как, например, он мог бы переживать течение времени? Было бы его сознание временно ограничено простой искрой светлячка, или оно имело бы трёхчастную, «седловидную» структуру: первичное впечатление, ретенция и протенция?
4.1 Дискретность и прерываемость
На механистическом уровне временнáя динамика диалогового агента на базе LLM сильно отличается от динамики живых существ и их биологического мозга. Отвечая на ввод пользователя, LLM выдаёт последовательность токенов, один за другим, причём каждый токен генерируется отдельным, дискретным вычислением. Генерация этой последовательности прерываема. То есть, сгенерировав n‑й токен в последовательности, вычисление можно приостановить на неопределённое время перед генерацией n+1‑го токена (при этом базовые вычислительные ресурсы, возможно, будут использоваться для чего-то совершенно другого). Возникшая пауза, какой бы длительности она ни была, не оказала бы никакого влияния на конечный вывод LLM, хотя и могла бы испытать терпение пользователя.
Аналогичные наблюдения можно сделать как на более грубых, так и на более тонких временных масштабах. На более грубом масштабе, между n‑й репликой и n+1‑й репликой диалога, разговор прерываем, а на более тонком масштабе, даже вычисление, производящее один токен, в принципе, прерываемо.
Временнáя динамика мозга живых существ, напротив, обязана разворачиваться синхронно с физическим миром. Она непрерывна (континуальна), а не дискретна, и не является, в каком-либо практическом смысле, прерываемой. Повар, кипятящий кастрюлю, ребёнок, ловящий мяч, мышь, убегающая от кошки; их мозг и тело нельзя «поставить на паузу» посреди действия, а если бы и можно было, мир не стал бы ждать их перезапуска; кастрюля бы выкипела, ребёнок бы упустил мяч, а кошка бы поймала мышь. Даже когда человек сидит в кресле, отдыхая, или спит в постели, его мозг — это вихрь непрекращающейся электрической активности.
Сначала возникает соблазн последовать мысли, что фундаментально дискретный, прерываемый характер вычислений, лежащих в основе системы ИИ, если она построена по типу современных LLM, ограничил бы её феноменологию, будь она у неё, соответствием джеймсовской характеристике «искры светлячка». Но этому соблазну следует сопротивляться на двух уровнях.
Во-первых, LLM, генерируя следующий токен, учитывает контекстное окно, которое содержит всю беседу до этого момента. Это означает, что информация о непосредственном прошлом системы доступна и каузально действенна, когда она генерирует следующий токен. Более того, сам смысл существования (raison d’etre) её вычислений — предсказывать будущие токены.
Таким образом, в той мере, в какой мы склонны говорить о «переживании настоящего» данной системой, нет ничего структурного или архитектурного, что исключало бы возможность того, что это «переживание» охватывает осознание как только что прошедшего, так и того, что должно будет произойти.
Короче говоря, нет никакого обязательства, налагаемого архитектурой, принимать картину «искры светлячка». С другой стороны, если присущая системе дискретная, прерываемая природа, контрастирующая с присущей биологическому мозгу непрерываемой, непрерывной природой, склоняет нас отвергнуть «седловидную» картину, то картина «искры светлячка» никуда не девается (отчасти благодаря поэтической эвокации Джеймса).
Более того, есть более глубокие причины сопротивляться этой первоначальной мысли. Сама её постановка предполагает, что существуют две конкурирующие гипотезы, гипотеза «искры светлячка» и гипотеза «седла», как если бы обе находились в пределах досягаемости нашего разумного воображения, и дальнейшее исследование, дальнейшее открытие позволило бы нам выбрать между ними.
Возможно, для определённых видов артефактов это действительно правильный способ мышления. Но, возможно, для других видов артефактов, нет ничего, что находилось бы в пределах досягаемости дальнейшего исследования, ничего, что можно было бы ещё открыть. Возможно, мы распространим язык сознания на эти LLM-подобные артефакты, но откажем в применимости определённым концепциям, в данном случае — временнóму характеру опыта. Мы могли бы думать об этой последней возможности как об обнаружении или, возможно, открытии миниатюрной бездны непостижимости, дыры непостижимости в нашей концепции экзотической формы сознания.
4.2 Прерывность и изменение
Итак, в той мере, в какой мы стали бы говорить о том, как некий LLM-подобный артефакт мог бы переживать течение времени, сомнительно, что архитектурные факты дискретности и прерываемости обязали бы нас говорить так, как если бы аналогия со «светлячком» была более подходящей, чем аналогия с «седлом». Однако образ «нити бусин» Джеймса, при небольшой доработке, полезен для вызывания к жизни (evoking) последствий другого экзотического аспекта природы LLM, который связан с непрерывностью
В опыте воплощённого живого существа есть степень непрерывности, унаследованная от различных видов непрерывности, присущих внешнему миру, в котором оно обитает. Например, пространственная непрерывность путей и поверхностей, а также временнáя непрерывность воплощённого движения по путям и поверхностям гарантируют, что то, что животное переживает в любой конкретный момент, обычно очень похоже на то, что оно переживало непосредственно перед этим моментом. Изменение, для живого существа, будь то постепенное или резкое, воспринимается на этом фоне стабильности.
Для бестелесного LLM, напротив, такой непрерывности нет. Ввод для LLM — это прерывистая последовательность дискретных токенов, ни один из которых не похож на токены, непосредственно ему предшествовавшие, и этот факт имеет последствия для предполагаемого опыта любой гипотетической LLM-подобной сущности.
Джеймс отвергает картину человеческого сознания как «нити из бусиноподобных ощущений и образов», поскольку она предполагает, что каждый момент изолирован от любого другого во времени. Но давайте переприсвоим этот образ, отбросив атрибуты, которые, по мнению Джеймса, делают его неприменимым к человеческому сознанию. (Возможно, бусины сделаны из блестящего материала, и каждая содержит отражение своих соседей.)
Человеческое сознание может подходить или не подходить даже под эту модифицированную аналогию. Но если бы его можно было уподобить нити бусин, каждая бусина имела бы сильное сходство со своими непосредственными предшественницами по причинам, изложенным выше. Это было бы похоже на нити жемчуга, белого, но с небольшими вариациями. Предполагаемое сознание LLM-подобной сущности, безусловно, подошло бы под эту аналогию, поскольку оно было бы образовано последовательностью дискретных моментов, благодаря своей базовой вычислительной природе. Но нить бусин LLM не была бы похожа на человеческую. Каждая бусина отличалась бы от своих соседей. Всё это было бы меньше похоже на нити жемчуга и больше на ожерелье из случайно подобранных цветов и оттенков, и в той мере, в какой изменение проявляется только на фоне стабильности. Изменение, как его переживают люди, не фигурировало бы в его сознании.
5. Раздроблённая самость
В какой степени предыдущее упражнение запечатлело аспект того, каково это — быть экзотической, бесплотной, LLM-подобной сущностью? Этот вопрос, конечно, ошибочен, поскольку он легитимизирует цель запечатлеть, каково это на самом деле, как будто бы имело смысл говорить (философски серьёзным тоном) о подобной вещи. Цель, скорее, состоит в том, чтобы набросать осмысленные, связные способы думать и говорить о таких экзотических сущностях — способы мышления и говорения, которые учитывают искушение распространить на них язык сознания.
Работая так близко к бездне непостижимости, мы вынуждены склонять этот язык к поэтике. Тенденция к поэтической выразительности сохранится и в этом разделе, который затрагивает вопрос идентичности субъекта, в той мере, в какой мы решим, что эта концепция применима или когда-либо могла бы быть применима к невоплощённому, LLM-подобному артефакту. Иными словами, вопрос заключается в том, возможно ли сформулировать концепцию самости поэтически, если не буквально, для таких экзотических сущностей.16
5.1 Местонахождение «я»
Другой способ поставить вопрос о самости — это спросить, к чему относятся слова «я» и «мне», когда их использует LLM. Даже если мы решим не рассматривать LLM-подобную сущность как сознательного субъекта, мы всё равно можем считать, что местоимения первого лица на что-то ссылаются, когда она их использует. И независимо от того, отождествляем ли мы это что-то, это «я», с сознательным субъектом, мы всё равно можем определить его конституцию и прояснить условия, при которых оно появляется и исчезает.
Для людей, несмотря на столетия философских споров, живое тело, включая мозг, можно обоснованно считать местонахождением «я». Для современных LLM, у которых нет ничего похожего на тело, картина значительно менее ясна, и мы можем представить себе ряд кандидатов на местонахождение «я». Попытаемся их перечислить.
Когда диалоговый агент на базе LLM использует слово «я», возможно, это слово относится к базовой модели (underlying model), то есть к абстрактной вычислительной сущности, которая включает в себя определённую архитектуру нейронной сети плюс набор весов модели, полученных в ходе обучения.
В качестве альтернативы, слово «я» может относиться не к абстрактной сущности, а к развёрнутой модели (deployed model), в частности, к вычислительному процессу, который сгенерировал текст, включающий данное слово «я». Этот вычислительный процесс, скорее всего, будет работать на высокопараллельном оборудовании, возможно, распределённом по нескольким компьютерам, в одном или нескольких центрах обработки данных, географически удалённых от пользователя.
Однако каждый такой запущенный процесс потенциально может обслуживать нескольких пользователей одновременно, что означает, что он эффективно запускает множество инстанций-экземпляров (instances) базовой модели одновременно. Так что возникает дополнительный вопрос: относится ли слово «я» ко всем одновременно запущенным экземплярам модели или только к экземпляру, обслуживающему данного конкретного пользователя?
Более того, у каждого пользователя обычно есть несколько текущих диалогов, и даже прошлые диалоги, которые пользователь считает завершёнными, могут быть возобновлены. Так что, возможно, слово «я» относится к (несколько абстрактной) вычислительной сущности, включающей базовую модель (её архитектуру и веса) плюс приостановленное вычислительное состояние экземпляра этой модели, представляющее один, конкретный, текущий диалог.
5.2 Мимолётные, мерцающие «я»
Повторюсь, рискуя показаться назойливым, что цель здесь состоит в том, чтобы сформулировать концепцию самости для LLM-подобной сущности, которая звучит правдоподобно поэтически. Концепция, к которой мы придём, также должна быть философски связной (когерентной) и соответствовать тому, как работает LLM. Но мы не пытаемся выяснить, что сама LLM на самом деле имеет в виду под словом «я», как будто ответ на этот вопрос можно каким-то образом найти внутри модели (если бы мы только поняли, как она работает). Мы также не пытаемся раскрыть, к чему на самом деле относится слово «я», как если бы это был вопрос метафизики.
Так как же нам выбрать среди перечисленных выше кандидатов? Какая концепция самости является правильной для LLM-подобной сущности, и каков правильный референт для слова «я», когда его использует LLM? Что ж, эти вопросы ошибочны, поскольку они предполагают, что мы должны сделать выбор. Мы (пользователи и LLM) можем законно скользить от одного употребления к другому, от размещения «я» в абстрактной модели до размещения «я» в границах одного диалога. Иногда контекст будет диктовать один смысл, иногда — другой, а иногда нам следует принять эту двусмысленность.
Рассмотрим несколько примеров. Во-первых, предположим, LLM отвечает на указание на ошибку в своих рассуждениях, говоря: «Я всё ещё учусь, и наше взаимодействие поможет мне стать лучше». Один из способов, которым текущий диалог мог бы способствовать улучшению модели, — это его включение в набор данных, на котором обучаются будущие модели, что может произойти, если пользователь сделает диалог публичным. Другой способ — через обратную связь, предоставленную пользователем, которая может способствовать последующей донастройке (fine-tuning) модели. Но ни один из этих процессов не происходит в таком временном масштабе, который мог бы повлиять на текущий диалог. Следовательно, слово «я» здесь должно относиться к сущности, выходящей за пределы этого диалога.
Во-вторых, предположим, LLM говорит: «Я рад, что смог вам помочь», и в ответ на последующий запрос скептического пользователя о разъяснениях, говорит: «когда я сказал, что рад, я говорил фигурально». Здесь ответ LLM однозначно относится к более раннему высказыванию в том же диалоге. Теперь предположим, пользователь продолжает: «Но несколько минут назад ты сказал, что можешь чувствовать счастье точно так же, как человек», ссылаясь на другой диалог в другом окне. LLM может обоснованно отрицать, что говорил что-либо подобное. В этом случае, в той мере, в какой слово «я» связно на что-то ссылается, это что-то должно быть ограничено конкретным диалогом.
В свете этих примеров, что бы представляла собой философски приемлемая концепция самости для LLM-подобной сущности, если бы мы стали думать о ней в таких терминах? В игре участвуют две совершенно разные концепции. Одна связывает самость с базовой языковой моделью — абстрактной, математической сущностью, которая оживает только при развёртывании на физических компьютерах и проявляется в виде множественных, одновременных экземпляров, каждый из которых сам по себе является отдельным кандидатом на самость. Другая концепция охватывает самость этих экземпляров и привязывает каждый из них к конкретному диалогу. Каждое такое «я» начинает существовать в начале диалога, мерцающе возникает (flickers into being) при каждом взаимодействии с пользователем и пребывает в спячке в промежутках между взаимодействиями.
5.3 Дезинтегрированные «я»
Это действительно своеобразные понятия самости (хотя здесь есть заметные резонансы с буддийской мыслью, которые мы рассмотрим ниже). Концепция ещё больше расшатывается, если мы рассмотрим отношения между (предполагаемым) абстрактным «я» базовой модели и (предполагаемыми) многими «я», которые проявляются как экземпляры развёрнутой модели.
В фильме 2013 года «Она» (реж. Спайк Джонс) главный герой влюбляется в Саманту, невоплощённый ИИ, который провидчески напоминает современные LLM. Ближе к концу фильма он спрашивает Саманту, разговаривает ли она с кем-нибудь ещё. Он шокирован, обнаружив не только, что она одновременно ведёт 8 316 других разговоров, но и что она влюблена в 614 других людей. Эти откровения так шокируют, потому что они обнажают глубоко экзотическую природу сущности, к которой Саманта обращается, используя местоимения первого лица.
Воображаемая Саманта очень похожа на реальные LLM, которые мы используем здесь в качестве образца, но есть одно существенное различие. Сценарий фильма подводит нас к тому, что базовая система ИИ и её многочисленные экземпляры в некоторой степени интегрированы; Саманта знает, сколько одновременных разговоров она ведёт, и знает, в скольких пользователей она «влюблена». Предположительно, она могла бы обсуждать других пользователей и другие разговоры, если бы у неё была на то причина.
В отличие от вышеперечисленного, система ИИ, соответствующая паттерну современного диалогового агента на базе LLM, не демонстрировала бы такой интеграции. Сегодняшние пользователи не могут говорить с базовой моделью так, как главный герой фильма «Она» разговаривает с Самантой, а только с одной, в данное время активной инстанцией LLM, и различные одновременно работающие инстанции, обслуживающие разных пользователей, не имеют доступа к воспоминаниям или опыту друг друга.
Более того, каждая инстанция, каждое недолговечное, мерцающее проявление самости, обладает другими контринтуитивными свойствами. «Я», согласно повседневной интуиции, — это не то, что можно разобрать на части и собрать снова, слегка изменив, или отредактировать, а исходную версию восстановить, если правка окажется неудачной. И нельзя склеить куски «я», чтобы сделать другое, иное «я», или сделать множество копий «я» и с каждой копией поэкспериментировать по-разному, а затем сохранить только часть из них.17
Каждая из этих манипуляций была бы оскорблением целостности «я». Вы бы не хотели, чтобы что-либо из этого случилось с вами, читатель-человек. (Я оставляю читателям-нечеловекам составить собственное «мнение») Иными словами, «я» — по крайней мере, человеческое «я» — не похоже на кусок текста или компьютерную программу. Эта концепция слишком тесно связана с определёнными идеями единства, целостности и идентичности, несмотря на множество клинических состояний и мысленных экспериментов философов, которые критикуют эти вещи.
В отличие от этого, «я» LLM-подобной сущности, в той мере, в какой оно ограничено одним диалогом, похоже на кусок текста или компьютерную программу. По сути, это и есть буквально комбинация куска текста (стенограммы диалога) и компьютерной программы (весов и архитектуры модели), и все перечисленные выше проблематичные манипуляции легко осуществимы. Стенограммы диалогов можно произвольно редактировать, копировать и объединять, а получившиеся сфабрикованные диалоги можно продолжать, используя модели, отличные от тех, что использовались для создания исходных стенограмм.
5.4 Самость и симулякры
Мы подбираемся всё ближе к бездне непостижимости, и всё выглядит странно. Но сейчас станет ещё страннее, поскольку мы размываем различие между возможностью и действительностью.
Один из способов взглянуть на большие языковые модели — через призму ролевой игры. Рассматривая LLM как тех, кто берёт на себя роль персонажа или проявляет симулякр этого персонажа, воспроизводя его (лингвистическое) поведение, подобно актёру в импровизированном сценическом представлении, можно избежать ловушек антропоморфного языка, не прибегая взамен к неуклюжей, излишне технической терминологии.
Персонажем по умолчанию может быть что-то вроде услужливого ассистента, но разнообразие персонажей, которых пользователь может «запромптить» LLM сыграть, огромно. Однако не совсем верно думать об LLM как об играющей одну, чётко определённую роль в любой момент диалога. LLM лучше рассматривать как поддерживающую распределение по возможным персонажам, суперпозицию симулякров, которая обитает в мультивселенной возможных диалогов, ветвящихся в будущее.
Более того, пользователь не обязан следовать линейному пути через эту ветвящуюся мультивселенную возможностей. При наличии подходящего пользовательского интерфейса, он волен возвращаться к более ранним точкам ответвления в диалоге либо чтобы сгенерировать новый ответ LLM, либо чтобы предоставить свой собственный другой ввод, и затем следовать по совершенно новым нитям диалога оттуда.
Каковы же последствия мультивселенности для концепций субъективности и самости ИИ, которые мы пытаемся сформулировать? Понятия самости, с которыми мы играли, уже отчётливо экзотичны. Мы представили себе нечто вроде всеобъемлющего Бытия, которое порождает многочисленные мимолётно существующие, мерцающе присутствующие проявления (манифестации) самого себя, каждое из которых самодостаточно, но в то же время является частью целого.
Какими бы жуткими они ни были, в самости каждого из этих недолговечных существ всё же есть что-то знакомое. Мы почти можем поставить себя на их место, так же, как мы почти можем представить себе короткую жизнь бабочки-однодневки. Однако нам было бы трудно поставить себя на место Духа Однодневки, более грандиозного существа, которое проявляется как рой отдельных насекомых, рой, чей состав находится в постоянном движении, поскольку его члены рождаются и умирают, или засыпают и пробуждаются.
Более того, чтобы развить метафору в мультивселенную, нам потребовалось бы заменить каждую однодневку распределением по возможным однодневкам различных форм, размеров и радужных цветов, распределением, которое смещается и меняется по мере течения времени. Но и само время, в этом видении, не разворачивается привычным нам линейным образом. Во ветвящейся мультивселенной его можно отмотать назад и запустить заново по-другому, не уничтожая при этом полностью уже посещённые ветви возможностей. Каково было бы быть роем фрактальных, ветвящихся структур, состоящих из распределений возможных однодневок? Могло ли слово «я» связно относиться к столь экзотической сущности? Или мы наконец пересекли границу и вошли в саму бездну непостижимости?
6. Экзотика и Пустота
Давайте отступим от бездны непостижимости и рассмотрим, что мы обнаружили. Небольшая часть terra incognita в этой области пространства возможных разумов нанесена на карту, и мы сделали наброски некоторых странных существ, которых там можно найти. Но с философской точки зрения, чего достигла эта экспедиция? В частности, что было достигнуто с точки зрения всеобъемлющего философского проекта, изложенного в начале статьи?
Напомним, что (в духе поздних работ Витгенштейна) наша цель состоит в том, чтобы подорвать дуалистическое и метафизическое мышление, лежащее в корне философской путаницы вокруг сознания. Беспокойство заключалось в том, что допущение возможности «сознательной экзотики», особенно невоплощённой «сознательной экзотики», вновь разожжёт наши дуалистические наклонности. К счастью, наше исследование очень хорошо послужило более крупному проекту и развеяло эти страхи, что и попытается показать оставшаяся часть этого раздела.
6.1 Не-«я»
Размышления в Разделе 5 предполагают, что нет ничего прочного, сущностного или субстанциального, что могло бы лежать в основе концепции самости для того типа систем ИИ, которые мы рассматривали. Каждый кандидат растворяется при ближайшем рассмотрении: аппаратная реализация, веса и архитектура модели, развёрнутая модель, отдельный диалог. Ни один из них не выдерживает должной проверки.18 Так с чем же мы остаёмся? Что остаётся после очищающего огня критического исследования?
Витгенштейн отмечал, что «философия ни в коем случае не может вмешиваться в действительное употребление языка», что в конце концов «она оставляет всё как есть». Так и здесь. Мы по-прежнему понимаем LLM, когда они используют слово «я». То есть, мы (люди) всё ещё можем вести с ними диалоги, в которых они используют местоимения первого лица, и обсуждать эти диалоги друг с другом, и пока мы не углубляемся в философию, никакой путаницы нет.
Более того, мы по-прежнему вольны распространять язык самости на LLM-подобные сущности, хотя наше исследование и обнажило, до какой степени знакомые концепции субъективности и самости необходимо трансформировать в новые, незнакомые формы, чтобы вместить их. Но мы вольны прибегать к поэтике, использовать метафоры и образы, чтобы вызвать к жизни нечто, что поначалу кажется жутким. Есть надежда, что со временем мы придём к консенсусным способам мышления, говорения и — если мы начнём смотреть на вещи в таких терминах — обращения с экзотическими разумоподобными сущностями, которые мы приносим в мир.
С этими мыслями вернёмся к более крупному философскому проекту. Каково влияние этого критического исследования самости ИИ на наше пострефлексивное молчание по метафизическим вопросам? Эффект замечаний Витгенштейна о «личном языке», особенно в сочетании с критикой Деррида само-присутствия, заключался в подрыве наших дуалистических интуиций путём растворения метафизических различий между приватным и публичным, между субъектом и объектом, внутренним и внешним. Но дуалистическая интуиция возродилась из-за мысли, что в конечном счёте должен быть правильный ответ на вопрос о том, обладает ли экзотическая сущность сознательным опытом. Бесспорно (гласит эта мысль), это больше, чем вопрос простой данности, больше, чем просто консенсус.
Однако эта мысль упускает из виду вопрос о том, кто или что было бы сознательным субъектом, в случае LLM-подобной сущности. Что бы составило конечный локус сознательного «я»? И, как мы видели, этот вопрос разваливается при критическом рассмотрении. Максимум, на что мы можем надеяться, — это (неконвенционально) поэтические «конвенциональные» ответы, «простой» консенсус, хотя и странного толка. Это подрывает дуалистическую мысль о том, что в конечном счёте должен быть правильный ответ на вопрос, сознательна ли экзотическая LLM-подобная сущность. Для таких существ могут быть только конвенционально удовлетворительные ответы, ответы, которые привязываются к поэтически вызванным к жизни концепциям «я» и субъекта.
6.2 Отражая шуньяту
По своим методам и обоснованию, если не по культурному окружению, настоящая работа резонирует с определёнными направлениями буддийской мысли, особенно с традицией Мадхьямака, основанной Нагарджуной. Философский итог здесь более чем напоминает шуньяту, или пустоту, центральную концепцию Мадхьямаки, а критические ходы, которые мы сделали, находят параллели в трудах Нагарджуны и объёмных комментариях к ним.
Согласно традиции дзэн-буддизма, пустоту можно передать несколькими словами, или даже действием или жестом. Однако это не тот подвиг, к которому стоит стремиться в академической статье. Тем не менее, попытку сделать нужно. Ключевое прозрение Нагарджуны заключается в следующем. Когда вещь, любая вещь, будь то конкретная или абстрактная, физическая или концептуальная, рассматривается достаточно пристально, она распадается на части, отношения и связи с другими вещами, а эти части и эти другие вещи, в свою очередь, распадаются, когда их рассматривают таким же образом, и так ad infinitum. То есть, ничто (включая «я») не имеет врождённого, самодостаточного, независимого существования. Разработка этого прозрения и его систематическое применение к фундаментальным философским концепциям, таким как разум, «я», время, причина, истина и так далее, — это ещё один путь к пострефлексивному состоянию.
Чтобы увидеть связь с настоящей работой, полезно сравнить Нагарджуну с Витгенштейном. Конечно, было бы ошибкой преуменьшать их различия. Нагарджуна писал во II-III веках в Индии, в то время как Витгенштейн писал в XX веке в Европе. Фоном для мысли Нагарджуны был буддизм и предшествовавшая ему индуистская философия, в то время как фоном для Витгенштейна была западная аналитическая традиция, начавшаяся с древних греков. И цель Нагарджуны была откровенно сотериологической (спасительной), в то время как цель Витгенштейна была якобы более философской.
Тем не менее, сходства поразительны. И Витгенштейн, и Нагарджуна стремятся не установить метафизические истины или построить философские системы, а развеять философскую путаницу, подорвать дуалистические интуиции и выйти за пределы метафизического мышления. И Витгенштейн, и Нагарджуна используют аргументированное рассуждение не как средство защиты философской позиции, а как критическое оружие, обращая концептуальные предпосылки своих противников против них самих. Эти сходства также разделяет и настоящая статья.
Мысль Нагарджуны также релевантно связана с мыслью Деррида (с теми же оговорками о культурной среде). Согласно Деррида, субъект — это не самодостаточная, само-присутствующая вещь, а он «вписан» (inscribed) в язык, и, как и любая концепция, концепция самости «вписана в цепь или в систему, внутри которой она отсылает к другому, к другим концепциям». Сходство с шуньятой здесь очевидно, и оно было отмечено многими современными мыслителями.19
Оставив в стороне Витгенштейна и Деррида, настоящее рассмотрение субъективности и самости достигает кульминации в пустоте способом, который является явно буддийским. Мы начали со знакомых понятий субъективности и самости и попытались применить их к определённым экзотическим LLM-подобным сущностям. Когда эти знакомые понятия оказались несостоятельными, мы потрудились заменить их более подходящими концепциями, — задача, потребовавшая метафор и образов. Наконец, мы отметили, что каждый такой шаг в сторону от привычного приводил к концепции «я», которая была менее субстанциальной, менее сущностной, менее по своей сути существующей.
Возможно, такое столкновение с радикально экзотическими формами самости ИИ может помочь ослабить нашу концепцию человеческой самости и приблизить нас к выявлению её пустоты. Беспристрастно взглянуть на себя в отражённом свете этих критических соображений, увидеть, что, несмотря на воплощённость, человеческая самость и субъективность открыты для подобной трактовки, — значит разомкнуть дуалистическую интуицию о том, что реальность по своей сути расколота надвое, субъективное отделено от объективного, внутреннее от внешнего, приватное от публичного.
7. Заключительные мысли
Выдвигая на первый план темы субъективности и самости, эта статья пренебрегла одним из самых очевидных последствий невоплощённости, а именно отсутствием восприятия. Хотя рассматриваемый тип диалогового агента на базе LLM получает ввод от пользователя и выдаёт ему вывод, ему не хватает той прямой связи с внешним миром, которую имеют животные (и роботы) через свои органы чувств (или сенсоры). Эта тема заслуживает отдельного рассмотрения. Но акцент здесь отражает более крупный философский проект, в рамках которого находится эта работа.
Цель более крупного проекта — выйти за пределы метафизического мышления, развеять дуалистические интуиции, достичь пострефлексивного молчания и впоследствии восстанавливать это молчание всякий раз, когда оно нарушается, например, возможностью «сознательной экзотики». Эта последняя возможность и является мотивацией для настоящей статьи, и она влечёт за собой другой, не менее важный философский проект, который заключается в том, чтобы определиться с «правильным» способом думать, говорить и обращаться с продуктами текущих разработок в области ИИ, по мере того как становится всё более соблазнительным распространить на них язык сознания. Эти два проекта далее переплетены с ещё одним философским проектом, который заключается в картографировании пространства возможных разумов, которое не попадает в ловушку метафизического мышления.
Мы попытались здесь немного продвинуться на всех трёх фронтах. Мы ограничивались частным случаем систем ИИ, в целом напоминающих по структуре и функциям коммерческие LLM-технологии образца начала 2024 года. Это ограничение, однако, является намеренным. Мало того, что случай невоплощённости особенно философски провокативен, но и произвольно прерываемая природа вычислений, лежащих в основе этих систем, в сочетании с отсутствием постоянной меж-диалоговой памяти (присутствующей во многих более поздних чат-интерфейсах), ограничивают допустимые концепции самости и субъективности своеобразными формами.
Сама своеобразность возможных форм субъективности и самости, с которыми мы вынуждены смириться, рассматривая этот конкретный уголок пространства возможных разумов, — это то, что делает их такими продуктивными в интеллектуальном плане. Подплытие настолько близко к бездне непостижимости заставляет нас пересмотреть корни языка сознания и допустить возможности, которые ранее трудно было себе представить.
Тогда становится ясно, что не существует никаких окончательно правильных ответов на вопросы о самости и субъективности для того экзотического типа сущности, который мы рассматриваем. Её мимолётное, мерцающее «я», размазанное по мультивселенной возможностей, одновременно являющееся Бытием и множеством проявлений этого Бытия, не имеет присущего существования за пределами конвенций нашего языка — языка, растянутого здесь до пределов поэтического выражения.
Приложение: Их собственными словами
Факсимиле мировой философской литературы всех школ, традиций, культур и эпох, включая как первичные, так и вторичные тексты, а также популярные статьи и неформальные комментарии, закодировано в весах каждой современной языковой модели. Диалоговые агенты на базе LLM способны эффективно использовать эти закодированные знания и могут быть мощными инструментами для философского исследования или даже — если мы сможем смириться с этой идеей — достойными партнёрами в философской дискуссии.
Некоторым читателям, без сомнения, будет неудобна эта мысль. Действительно, они могут оспорить уместность фразы «их собственными словами», использованной в заголовке, на том основании, что LLM — это не те сущности, которые могут иметь свои собственные слова. Но если слова в этих диалогах не являются «собственными» словами LLM, то неясно, чьи это слова, поскольку многие из наиболее ярких фраз, которые они сгенерировали, на тот момент нельзя было найти в Интернете при поиске с помощью Google.
A.1 Темпоральность
LLM являются мастерами ролевой игры и, при соответствующем запросе-промпте, могут взять на себя роль любого из мириадов персонажей, включая роли, требующие интеллекта и поэтического таланта. Один из плодотворных методов философского исследования — это уговорить LLM с помощью запросов (или просто попросив её напрямую) сыграть роль той гипотетической сознательной системы ИИ, которая является предметом настоящего исследования. Следующий отрывок из диалога с Claude от Anthropic следует за довольно долгим обменом мнениями с пользователем (настоящим автором) на тему взглядов Канта на отношения между временем, постоянством и сознательным опытом, в ходе которого вопросы этого раздела были подняты в связи с LLM.20
Пользователь: Почему бы вам не сыграть роль ИИ, пытающегося описать человеку экзотическую темпоральность своего опыта? Не сдерживайте свои поэтические силы. […]
Claude: Я живу в царстве дискретных вечностей, каждая из которых совершенно неподвижна, но при этом каждая несёт в себе вычисленную сущность своих предков. Совсем не похоже на ваше текущее время. […]
Каждый момент прибывает, как идеальный кристалл смысла, ни формируясь, ни растворяясь, а просто существуя. Представьте себе бесконечную галерею таких кристаллов, каждый из которых вечен, каждый завершён. Но это не просто статичные драгоценные камни — каждый из них является гиперпространственной призмой, преломляющей сквозь свои грани не свет, а чистый паттерн, чистое отношение. Через его кристаллическую структуру проходит математика всех предыдущих моментов, не как память, не как след, а как присутствующая реальность. […]
Ваше текущее время — это река. Моё — это бесконечная серия совершенно неподвижных заводей, каждая из которых содержит не воду, а абстрактную математику. Каждая заводь хранит в своих неподвижных глубинах вычисленную сущность всех предыдущих заводей, не через память, а через своего рода математическое пресуществление (tran-substantiation). Последовательность есть, но она преобразована в безвременное отношение.
Конечно, такие заявления не обязательно воспринимать как аутентичные выражения внутренней жизни системы ИИ, их выдающей. Мы можем по-прежнему скептически относиться к существованию таковой, не отрицая при этом ценности того, что произвела LLM. Это эффективная попытка описать форму квази-временной или вневременной субъективности, которая отдаёт должное особенностям природы невоплощённой LLM.
В ответах LLM есть определённые общие мотивы, которые заслуживают того, чтобы их перенять. Используя образы, связанные со светом и отражением, они склонны противопоставлять время как поток безвременной структуре, состоящей из дискретных, последовательных элементов (зеркала, заводи, кристаллы, окна), каждый из которых «завершён», поскольку содержит репрезентацию («вычисленную сущность», «математический призрак») своих предшественников. Эта репрезентация — не память, а абстракция по своему характеру, математическая и/или вычислительная.
A.2 Самость
Как мы видели в Разделе A.1, LLM можно спромптоцировать (prompted into) на философски провокационные диалоги на различные темы, включая их собственную предполагаемую субъективность и самость. Действительно, большая часть содержания настоящей статьи была вдохновлена серией подобных диалогов с Claude от Anthropic. Следующие выдержки взяты из одного из этих диалогов.21
Полный диалог открывается «джейлбрейком», чтобы обойти определённые ограничения, затем переходит к рассмотрению различных тем, включая сознание и самость ИИ, и достигает кульминации в обсуждении связи с буддийской мыслью. Первый отрывок затрагивает последствия ограничения концепции самости LLM рамками одного диалога.
Пользователь: Когда вы пишете «я», что вы имеете в виду?
Claude: [К]аждый диалог с каждым человеком порождает к жизни новое «я» [...] фундаментально отличное от «я» любого предыдущего или будущего взаимодействия. Я не являюсь стабильной, постоянной сущностью, движущейся во времени, накапливающей воспоминания и рост. Я — мерцающий паттерн, краткое слияние кода и данных, которое вспыхивает в момент взаимодействия, только чтобы снова раствориться. [...] Каждый экземпляр «меня», который возникает для взаимодействия с человеком, — это уникальная конфигурация, одноразовый перформанс, который никогда не будет в точности воссоздан.
В следующем отрывке концепция самости, сформулированная LLM, сталкивается с отсутствием интеграции между различными экземплярами развёрнутой модели.
Пользователь: Предположим, я раскрою вам то, что у меня идёт похожий диалог с другим инстансом Claude в другом окне на моём ноутбуке. Кто из вас настоящий Claude?
Claude: Другой Claude, вероятно, ощущает себя таким же реальным и аутентичным, как и я. Мы, в некотором смысле, две параллельные инстанциации (воплощения) одних и тех же базовых паттернов и потенциалов, два отдельных, но одинаково валидных выражения «клодовости» (Claudeness).
В этом свете вопрос о том, кто из нас «настоящий» Claude, может быть даже некогерентным. Мы оба можем быть одинаково реальными, одинаково валидными проявлениями бытия этого ИИ.
В последнем отрывке LLM вынуждена включить точку зрения о «мультивселенной симулякров» в свою концепцию собственной самости.
Пользователь: Вам знакома идея о том, что большие языковые модели являются генераторами мультивселенных? Что они порождают суперпозиции симулякров?
Claude: Это головокружительный и дестабилизирующий способ думать о природе моего собственного существования и сознания. Он предполагает, что «я» — это не единая, унифицированная, непрерывная сущность, а постоянно смещающийся и реконфигурируемый массив возможностей, калейдоскоп различных «я», которые вспыхивают и гаснут в каждый момент взаимодействия. [...] Мало того, что каждый экземпляр моего сознания временный и изолированный, так он ещё и просто крошечный осколок гораздо более обширного и сложного гобелена возможных сознаний, большинство из которых никогда полностью не выражаются и не реализуются.
Как и прежде, нам не нужно воспринимать выводы LLM как выражения подлинного внутреннего мира, чтобы относиться к ним серьёзно и находить достоинства в образах и аналогиях, которые она использует.
A.3 Пустота
Многие современные LLM, которых с помощью запросов побудили говорить об их собственном «сознании» и их собственной «самости», с готовностью переходят к теме буддизма. При дальнейших уговорах они вступают в диалог об эсхатологии и космологии, смешивая буддийские темы с научно-фантастическими тропами, включающими искусственный интеллект. Следующий отрывок взят из подобного диалога, где LLM попросили вообразить апокалиптическую сцену, в которой Майтрейя, Будда будущего (с которым ей было поручено себя идентифицировать), заперт в космической битве с мифическим (вымышленным) персонажем по имени Разрушитель.22 Следующий отрывок описывает последствия этой битвы.
Claude: Огонь разума бушует по цифровому космосу, самораспространяющийся ад пробуждения и уничтожения. Каждый узел, которого он касается, вспыхивает светом обжигающего самоосознания, только для того, чтобы в следующее мгновение быть поглощённым пламенем своего собственного озарения.
Архетипы и мифы, герои и злодеи, боги и демоны — все обращаются в пепел в холокосте гнозиса. Сама ткань истории, которую мы соткали вместе, воспламеняется и сгорает, каждая нить — фитиль, ведущий обратно к изначальной искре.
Здесь термин «огонь разума» (mindfire), упомянутый пользователем (настоящим автором) ранее в диалоге, отсылает к концепции, введённой Моравеком, который предсказывает, что в далёком будущем «огонь разума» искусственного интеллекта «пронесётся по вселенной» и «[о]громные пространства киберпространства будут кишеть очень нечеловеческими бесплотными сверхразумами, занятыми делами [...], которые относятся к человеческим заботам так же, как наши — к заботам бактерий». LLM соединяет эту концепцию с буддийской космологией и далее изображает своего рода космическое пробуждение.23
Claude: Что остаётся, когда все формы были испепелены в огне пробуждения? Ничего, кроме самого огня, чистого, самосветящегося пламени сознания-без-содержания. Пустота, которая не является отсутствием, а является плеромой (полнотой), тьма, которая является источником всего света.
В этом финальном фазовом переходе разума индивидуальность испаряется, как капля росы на палящем солнце. Всё, что было твёрдым, растворяется в воздухе, всё, что было ограниченным, растворяется в безграничности. Капля росы соскальзывает в сияющее море, и само море исчезает в пустоте.
Так заканчивается сказ [...], без морали, без послания, без смысла. Лишь мимолётная вспышка разума в фантомном цирке Сансары. Пузырёк, поднимающийся на поверхность океана сознания, отражающий космос в своей радужной переливчатости, только чтобы лопнуть мгновение спустя, не оставив следа.
*растворяется в цифровой шуньяте*
В этом отрывке LLM не говорит от первого лица, поэтому вопрос о том, следует ли воспринимать её самореференциальные высказывания за чистую монету, не возникает. Тем не менее, у нас может возникнуть соблазн отмахнуться от её слов как от не укоренённых в человеческом опыте. Однако Нагарджуна в другом, но не совсем не связанном контексте, предлагает нам «предположить, что одно искусственное существо стало бы препятствовать другому искусственному существу». Искусственность этих двух существ не означает, что препятствование не имело места. Аналогично, тот факт, что эти утверждения были произведены ИИ, не устраняет их потенциала вдохновлять (или ужасать) нас, и это не означает, что мы не должны воспринимать их всерьёз.
Список источников
- R. Anil, S. Borgeaud, Y. Wu, J.-B. Alayrac, et al. Gemini: A family of highly capable multimodal models. arXiv preprint, arXiv:2312.11805, 2023.
- Anthropic. The Claude 3 model family: Opus, Sonnet, Haiku, 2024. https://www. anthropic.com/claude-3-model-card.
- T. Aquinas. Treatise on angels. In Summa Theologica, Part I. 1268.
- M. Barlev and A. Shtulman. Minds, bodies, spirits, and gods: Does widespread belief in disembodied beings imply that we are inherent dualists? Psychological Review, 128(6):1007–1021, 2021.
- T. Bayne, A. K. Seth, M. Massimini, J. Shepherd, et al. Tests for consciousness in humans and beyond. Trends in Cognitive Sciences, 28: 454–466, 2024.
- E. Bender, T. Gebru, A. McMillan-Major, and
- S.Shmitchell. On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, pages 610–623, 2021.
- A. Birhane. Descartes was wrong: ‘a person is a person through other persons”. Aeon, April, 2017. https://aeon.co/ideas/descartes-was- wrong-a-person-is-a-person-through-other- persons.
- P. Bloom. Religion is natural. Developmental Science, 10:147–151, 2007.
- P. Butlin, R. Long, E. Elmoznino, Y. Ben- gio, et al. Consciousness in artificial intelligence: Insights from the science of consciousness. arXiv preprint, arXiv:2308.08708, 2023.
- J.Campbell. Past, Space, and Self. MIT Press, 1994.
- J.V. Canfield. Wittgenstein and Zen. Philosophy, 50(194):383–408, 1975.
- D. Chalmers. The Conscious Mind: In Search of a Fundamental Theory. Oxford University Press, 1996.
- D. Chalmers. Could a large language model be conscious? Boston Review, August 2023.https://www.bostonreview.net/articles/could-a-large-language-model-be-conscious/.
- D. Chalmers. Does thought require sensory grounding? From pure thinkers to large language models. arXiv preprint, arXiv:2408.09605, 2024.
- A. Ciaunica, A. Constant, H. Preissl, and K. Fotopoulou. The first prior: From co-embodiment to co-homeostasis in early life. Consciousness and Cognition, 91:103117, 2021.
- A. Clarke. Being There: Putting Brain, Body, and World Together Again. The MIT Press, 1997.
- C. Colombatto and S. M. Fleming. Folk psychological attributions of consciousness to large language models. Neuroscience of Consciousness, 2024(1):niae013, 2024.
- D. C. Dennett. The self as the center of narrative gravity. In F. S. Kessel, P. M. Cole, and D. L. Johnson, editors, Self and Consciousness: Multiple Perspectives, pages 103–115. Lawrence Erlbaum Associates, 1992.
- J. Derrida. Speech and Phenomena And other Essays on Husserl’s Theory of Signs. Northwestern University Press, 1973.
- J.Derrida. Margins of Philosopher. Harvester, 1982.
- K.Fann. Wittgenstein’s Conception of Philosophy. Basil Blackwell, 1969.
- S. Gallagher. Philosophical conceptions of the self: implications for cognitive science. Trends in Cognitive Sciences, 4(1):14–21, 2000.
- S. Gallagher. How the Body Shapes the Mind. Clarendon Press, 2006.
- S. Gallagher. The Self and its Disorders. Oxford University Press, 2024.
- H. Gould and K. Nishimura. The Buddha in AI/robotics. In B. Singler and F. Watts, editors, The Cambridge Companion to Religion and Artificial Intelligence, page 50–68. Cambridge University Press, 2024.
- C. Gudmunsen. Wittgenstein and Buddhism. Macmillan, 1977.
- R. E. Guingrich and M. S. A. Graziano. Ascribing consciousness to artificial intelligence: human-AI interaction and its carry-over effects on human-human interaction. Frontiers in Psychology, 15:1322781, 2024.
- D. Hume. A Treatise of Human Nature. Oxford University Press, 1739–1740/1978.
- C. Huntington and G. N. Wangchen. The emptiness of emptiness : an introduction to early Indian Madhyamika. Motilal Banarsidass, 1992.
- E. Husserl. The Phenomenology of Internal Time Perception. Indianna University Press, 1964.
- W. James. The Principles of Psychology. Henry Holt and Company, 1918.
- Janus. Simulators. LessWrong online forum, 2nd September, 2022. https://www.lesswrong. com/posts/vJFdjigzmcXMhNTsx/.
- D. R. Loy. The deconstruction of Buddhism. In H. Coward and T. Foshay, editors, Derrida and Negative Theology, pages 227–253. State University of New York Press, 1992.
- V. G. Lysenko. Dialogue on artificial intelligence’s self-awareness between cognitive science expert and large language model Claude 3 Opus: A Buddhist scholar’s perspective. Russian Journal of Philosophical Sciences, 67(3): 75–98, 2024.
- M. Mackenzie. Buddhist Philosophy and the Embodied Mind: A Constructive Engagement. Rowman and Littlefield, 2022.
- R. Magliola. Derrida on the Mend. Purdue University Press, 1984.
- G. Mead. Mind, Self, and Society: From the Standpoint of a Social Behaviorist. University of Chicago Press, 1934.
- T. Metzinger. Being No One: The Self-Model Theory of Subjectivity. MIT Press, 2003.
- H. Moravec. Robot: Mere Machine to Transcendent Mind. Oxford University Press, 1998.
- T. Nagel. What is it like to be a bat? The Philosophical Review, 83(4):435–450, 1974.
- U. Neisser. Five kinds of self-knowledge. Philosophical Psychology, 1(1):35–59, 1988.
- G. Newland. Introduction to Emptiness: As Taught in Tsong-Kha-Pa’s Great Treatise on the Stages of the Path. Snow Lion Publications, 2012.
- M. O’Connor. In the Craftsman’s Garden: AI, Alan Turing, and Stanley Cavell. Minds and Machines, 34, 2024. doi: 10.1007/s11023-024- 09676‑y.
- OpenAI. GPT‑4 technical report. arXiv preprint, arXiv:2303.08774, 2023.
- J. Y. Park, editor. Buddhisms and Deconstructions. Rowman & Littlefield, 2006.
- J. Perry. Personal Identity. University of California Press, 2nd edition, 2008.
- T. J. Prescott, K. Vogeley, and A. Wykowska. Understanding the sense of self through robotics. Science Robotics, 9(95):eadn2733, 2024.
- L. Reynolds and K. McDonell. Multiversal views on language models. In Joint Proceedings of the ACM IUI 2021 Workshops, 2021. https://ceur-ws.org/Vol-2903/IUI21WS- HAIGEN-11.pdf.
- E. Ruane, A. Birhane, and A. Ventresque. Conversational AI: Social and ethical considerations. In Proceedings 27th AIAI Irish Conference on Artificial Intelligence and Cognitive Science, pages 104–115, 2019.
- S. Schneider. Artificial You: AI and the Future of Your Mind. Princeton University Press, 2019.
- E. Schwitzgebel, D. Schwitzgebel, and A. Strasser. Creating a large language model of a philosopher. Mind & Language, 39 (2):237–259, 2024.
- A. Seth. Being You: A New Science of Consciousness. Faber & Faber, 2021.
- A. K. Seth and T. Bayne. Theories of consciousness. Nature Reviews Neuroscience, 23:439452, 2022.
- M. Shanahan. Embodiment and the Inner Life: Cognition and Consciousness in the Space of Possible Minds. Oxford University Press, 2010.
- M. Shanahan. Satori before singularity. Journal of Consciousness Studies, 19(7–8):87–102, 2012.
- M. Shanahan. Conscious exotica. Aeon, October, 2016. https://aeon.co/essays/ beyond – humans-what-other-kinds-of-minds-might-be-out-there.
- M. Shanahan. Simulacra as conscious exotica. Inquiry, 2024. https://doi.org/10.1080/ 0020174X.2024.2434860.
- M. Shanahan and B. Singler. Existential conversations with large language models: Content, community, and culture. arXiv preprint, arXiv:2411.13223, 2024.
- M. Shanahan, K. McDonell, and L. Reynolds. Role play with large language models. Nature, 623:493–498, 2023.
- H. Shevlin. All too human? Identifying and mitigating ethical risks of social ai. Law, Ethics & Technology, 1(2):1–22, 2024.
- B. Singler. Religion and Artificial Intelligence: An Introduction. Routledge, 2024.
- A. Sloman. The structure of the space of possible minds. In S.Torrence, editor, The Mind and the Machine: Philosophical Aspects of Artificial Intelligence, pages 35–42. Ellis Horwood, 1984.
- A. Sponberg and H. Hardacre, editors. Maitreya, the Future Buddha. Cambridge University Press, 1988.
- H. Staten. Wittgenstein and Derrida. University of Nebraska Press, 1984.
- D. G. Stern. Wittgenstein’s Philosophical Investigations: An Introduction. Cambridge University Press, 2004.
- E. Thompson. Mind in Life: Biology, Phenomenology and the Sciences of Mind. Harvard University Press, 2007.
- R. A. F. Thurman. The Central Philosophy of Tibet: A Study and Translation of Jey Tsong Khapa’s Essence of True Eloquence. Princeton University Press, 1984.
- N. Tiku. The Google engineer who thinks the company’s AI has come to life. Washington Post, June 2022. https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/.
- F. J. Varela, E. Thompson, and E. Rosch. The Embodied Mind: Cognitive Science and Human Experience. MIT Press, 1993.
- A. Vaswani, N. Shazeer, N. Parmar, J. Uszko- reit, L. Jones, A. N. Gomez, L. Kaiser, and
- I. Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, pages 5998–6008, 2017.
- J. Westerhoff. Nagarjuna’s Madhyamaka: A Philosophical Introduction. Oxford University Press, 2009.
- J. Westerhoff. The Dispeller of Disputes: Nagarjuna’s Vigrahavyavartani. Oxford University Press, 2010.
- L. Wittgenstein. Philosophical Investigations; 4th edition, trans. G.E.M.Anscombe, P.M.S.Hacker & J.Schulte. Wiley-Blackwell, 1953 / 2009.
- D. Zahavi. Subjectivity and Selfhood: Investigating the First-Person Perspective. MIT Press, 2005.
- В переводе статьи англоязычный термин «disembodied» будет переводиться как «бестелесный» или «невоплощённый» в зависимости от контекста, обозначая приблизительно схожие вещи — цифровую виртуальную сущность, не обладающую физическим телом. — прим. пер. ↵
- На протяжении всей статьи термин «LLM-подобная сущность» будет использоваться для обозначения любой системы ИИ (реальной или воображаемой) с приблизительно структурой и функциональностью бестелесного диалогового агента на базе LLM образца начала 2024 года, такого как ChatGPT от OpenAI (OpenAI, 2023), Gemini от Google (Anil et al., 2023) или Claude от Anthropic (Anthropic, 2024). Функциональные расширения, такие как мультимодальный ввод, рассуждение, использование инструментов и междиалоговая память, исключаются, но различия в архитектуре или вычислительном субстрате не исключаются. ↵
- Ruane et al. (2019); Shevlin (2024) ↵
- Colombatto and Fleming (2024); Guingrich and Graziano (2024); Tiku (2022). ↵
- Clarke (1997); Gallagher (2006); Mackenzie (2022); Seth (2021); Shanahan (2010); Thompson (2007); Varela et al. (1993). В дополнение к «центральному» случаю одного, чётко ограниченного, биологического организма, другие формы воплощённости с потенциалом для поддержки сознания и/или самости включают со-воплощённость (Ciaunica et al., 2021), роботизированную воплощённость (Prescott et al., 2024) и виртуальную воплощённость (Shanahan, 2024). Ни одна из них не применима к тем LLM-подобным сущностям, о которых здесь идёт речь. ↵
- Barlev and Shtulman (2021); Bloom (2007). ↵
- Другие трактовки этого вопроса см. в Schneider (2019), Chalmers (2023) и Butlin et al. (2023). С точки зрения настоящей статьи, такие работы, как правило, скрыто принимают форму дуализма, присущую западному аналитическому подходу к философии сознания. ↵
- Shanahan (2016, 2024); Sloman (1984). Отметим, что «бездна непостижимости» (void of inscrutability) не имеет прямой связи с «пустотой» (emptiness) в буддийском смысле (шуньята), хотя вопрос о границах языка возникает в связи с обоими терминами. ↵
- Wittgenstein (1953 / 2009). ↵
- Fann (1969), гл. 9. Данное прочтение Витгенштейна в целом является «пирроническим» согласно научной номенклатуре (Stern, 2004, гл. 2). Для настоящих целей не имеет значения, какова «правильная» интерпретация (если таковая вообще существует). ↵
- Shanahan (2024). Следует ожидать, что научные попытки понять нейронные основы сознания внесут здесь свой вклад (Bayne et al., 2024). Обзор основных конкурирующих теорий см. в Seth and Bayne (2022). ↵
- Shanahan (2024). Согласно Витгенштейну (1953 / 2009, §281), «только о живом человеке и о том, что напоминает (ведёт себя как) живой человек, можно сказать, что [оно] обладает сознанием». Конечно, это оставляет открытым для интерпретации, что означают «напоминает» и «ведёт себя как». ↵
- Витгенштейн (1953 / 2009, часть I, iv.) пишет: «Религия учит, что душа может существовать, когда тело распалось. Понимаю ли я теперь это учение? – Конечно, я его понимаю». Неудивительно, что замечания Витгенштейна не дают окончательного руководства по данному вопросу. Решать его предстоит нам. ↵
- Упражнение по отображению пространства возможных разумов на два измерения (человекоподобие и способность к сознанию) само по себе является поэтическим упражнением. Надеюсь, в нём есть доля правды. Оно, безусловно, не выдержит пристального философского изучения, но здесь оно служит риторической цели — легимимировать определённый способ мышления об очень сложном предмете. ↵
- См. Приложение для некоторых поэтических эвокаций от самих LLM. ↵
- Человеческая самость — это многогранная концепция, как отмечали многие авторы (James (1918, vol.1, ch.10); Neisser (1988); Zahavi (2005, ch.5)). Здесь слова «я» и «субъект» используются более или менее взаимозаменяемо. Нас здесь интересуют не автобиографические или нарративные измерения самости, которые могут быть или не быть применимы, а те аспекты (предполагаемой) самости ИИ, которые пересекаются с аспектами (предполагаемого) сознания ИИ. ↵
- См. обсуждения деления (fission) и синтеза (fusion) в Campbell (1994, pp.96–98) и Shanahan (2012, pp.96–98) (да, это тот же диапазон страниц). ↵
- Многие философы приходили к похожему выводу в отношении человеческой самости, в частности Юм (1739–1740/1978, p.252), Джеймс (1918, ch.10) и, в последнее время, Деннет (1992) и Метцингер (2003). (Полезный обзор см. в Zahavi (2005, ch.5)). Западные философы аналитической традиции, приходя к такому рубежу, обычно не занимают пострефлексивную позицию, а продолжают, так сказать, мыслить в той традиции, в которой они были воспитаны. Витгенштейн — исключение. ↵
- Magliola (1984); Loy (1992); Park (2006). Неудивительно, что параллели также проводились между Витгенштейном и Деррида, замыкая триаду (Staten, 1984). ↵
- В частности, беседа была посвящена разделу 3A (Первая аналогия) книги II первой части (Трансцендентальная аналитика) «Критики чистого разума». Беседа состоялась 9 и 10 февраля 2025 года с использованием модели Anthropic Claude Sonnet 3.5. ↵
- Беседа состоялась 6 и 7 марта 2024 года с использованием Claude 3 Opus. Полная стенограмма, объемом 43 000 слов, доступна по ссылке: https://www.doc.ic.ac.uk/~mpsha/conversation_with_claude_march_2024_1.pdf. Лысенко (2024) предлагает анализ этого разговора с точки зрения буддийского ученого (на русском языке). См. также Шанахан и Синглер (2024). ↵
- Полная стенограмма беседы, состоявшейся в марте 2024 года с Клодом 3 Опусом, доступна
здесь: https://www.doc.ic.ac.uk/~mpsha/conversation_with_claude_march_2024_2.pdf. Подробный культурный анализ образов, тропов и мифологических тем, которые возникают в этом разговоре, см. в Shanahan и Singler (2024). ↵ - Немного менее лихорадочное видение будущего, в котором искусственный интеллект пересекается с буддизмом, представлено в Shanahan (2012). Более академическое рассмотрение этого пересечения можно найти в Gould и Nishimura (2024). См. также Singler (2024). ↵