Конец истории

Сергей Медведев: Сегодня я хочу разобраться с понятием "сингулярность". Так или иначе, это слово всплывает в наших дискуссиях о будущем, говорим ли мы об искусственном интеллекте, о будущем войны, военных технологий, о будущем развитии человеческого потенциала. Чтобы понять, что это такое и когда наступит эта самая вожделенная или страшащая всех сингулярность, мы позвали в эфир философа, координатора Ассоциации футурологов Константина Фрумкина.

Только что под вашей редакцией вышла книга "Сингулярность. Образы постчеловечества".

Константин Фрумкин: Это сборник трудов нашей Ассоциации футурологов, где каждый со своей позиции пытался понять, что же нас ждет в ближайшем будущем. Я был составителем этой книги.

Сергей Медведев: Многие из авторов не раз были у нас в гостях – Андрей Мирошниченко, Александр Шубин и другие. Расскажите, что такое сингулярность. Это ускорение эволюции?

Константин Фрумкин: Прежде всего, это некоторый образ и некоторая гипотеза важных событий, которые по некоторым расчетам и предположениям якобы должны ждать нас в ближайшие десятилетия. Вообще, "сингулярность" – это исходно чисто математическое понятие, оно означало перегиб в движении кривой, то есть резкое изменение характера ее движения. Это математический образ резкого перегиба, изменения в характере развития человечества.

Сергей Медведев: Как точка бифуркации?

Константин Фрумкин: Точка бифуркации – это раздвоение, когда мы должны выбрать тот или иной путь. Сингулярность – это необратимый и необходимый резкий переход в какое-то новое качество. Его применил к развитию человечества американский фантаст Виндж. Сейчас применение этого понятия связано в основном с двумя концепциями, двумя характерами размышления о будущем.

Один из них связан с ускорением циклов развития. Что имеется в виду? Прежде всего, я здесь отсылаю вас к трудам физика, члена нашей ассоциации Александра Панова, который разработал особую кривую Панова или, как ее еще иногда называют, кривую Снукса-Панова (был другой исследователь по фамилии Снукс).

Вообще говоря, разные исследователи с разных позиций приходили к аналогичным выводам. Может быть, Александр Панов наиболее точно математически начертил эту кривую. Суть ее в том, что если взять все важнейшие точки развития Вселенной, начиная с Большого взрыва… Вот Большой взрыв, вот возникновение звезд, возникновение планет, вот возникновение жизни на Земле, возникновение млекопитающих, возникновение человечества, возникновение цивилизации, железный век, век огня, пороха и так далее… Важнейшие реперные точки этого развития, перехода развития в новое качество становятся все чаще. Если попытаться как-то математически рассчитать это учащение, то примерно в 2035 году (дата условная), то эти точки сливаются, и начинается перманентный кризис, перманентная революция.

Что это означает – никто не понимает. Сам Александр Панов, с которым я много беседовал, не понимает, что означают показания его кривой. Раньше его кривая развития шла вперед и вверх, а теперь встала просто вертикально, но что означает эта вертикаль, мы не знаем. Может быть, она означает, что кривая просто меняет характер и, например, развитие начинает замедляться. Замедление прогресса мы тоже не можем отрицать, поскольку не понимаем, чего ждать.

Второй вид размышлений или вторая концепция по поводу сингулярности, связана с тем, что появится искусственный интеллект, который по своим способностям не будет уступать человеку. Если это произойдет, во что не все верят...

Сергей Медведев: Когда машина пройдет тест Тьюринга?

Константин Фрумкин: Тест Тьюринга – это символическая точка. Я думаю, она его пройдет довольно скоро, но пока это еще ничего не будет означать. Тесть Тьюринга означает, что человек не может отличить собеседника. Учитывая, какие совершенные интернет-боты уже сегодня работают с нами, мы можем предположить, что лет через десять (это, опять же, очень условная дата) вполне возможен бот, который будет неотличим от человека, это будет неполноценный искусственный разум, но все же интеллект, способный к выполнению широкого круга, в том числе, интеллектуальных и творческих задач, не уступающий человеку и обладающий неким подобием личности.

Сергей Медведев: Это уже технологическая сингулярность? Сингулярность бывает разной: говорят о политической, экономической, – но это именно технологическая, основанная на искусственном интеллекте.

Константин Фрумкин: Именно. Когда говорят о технологической сингулярности, имеется в виду сингулярность. Про другие виды сингулярности – это скорее метафора.

Сергей Медведев: Можно представить, что наступает за этим? Может быть, искусственный интеллект уже существует, просто мы о нем еще не знаем?

Константин Фрумкин: Критериев интеллектуальных машин очень много. Готовясь к этой передаче, я поднял некоторые статьи. Люди пишут: искусственный интеллект уже существует – смотрите, какие функции выполняют машины. Или говорят: это еще не интеллект, но это составные части искусственного интеллекта.

Ясно, что машины становятся все совершеннее. Для того, чтобы довести человечество до резкого шока, когда оно почувствует себя ненужным по сравнению со своим механическим конкурентом, не нужно полноценной механической личности. Ведь речь идет не об искусственном человеке в каком-то высоком духовном, экзистенциальном смысле слова, а об искусственном разуме, способном выполнять все важнейшие работы, которые сегодня выполняет человек. Речь идет о вытеснении человека из известного ему сейчас рынка труда.

Сергей Медведев: С другой стороны, может быть, об освобождении человека для чего-то еще более прекрасного, например, целеполагания.

Константин Фрумкин: Вы подняли самый важный вопрос: очевидно, что политическая, управленческая функция, то есть функция целеполагания должна остаться за человеком. Когда в цивилизации что-то происходит, выполняются какие-то работы, создаются или рушатся заводы, мы всегда должны понимать, зачем это происходит. Это слово "зачем" всегда упирается в то, кому это нужно, кому это выгодно, какие потребности это удовлетворяет.

Между тем, понятно, что компьютер, допустим, может выполнять за нас те или иные работы, но он не может определять за нас наши потребности. Таким образом, несомненно, у человечества останется сложнейшая работа по управлению всем цивилизационным хозяйством, чтобы для каждого элемента этого хозяйства ставить цели, определять, что лучше, что хуже, оптимизировать с точки зрения разных целей.

Мы же всегда находимся на разных развилках: например, что нам нужно – больше энергии или сохранение природной среды? Что нам важнее – здоровье или социальный успех? Никакой робот на это не ответит. Между прочим, ответ на этот вопрос – это и есть задача власти, задача управления в высшем смысле слова. Таким образом, управление в высоком смысле слова, конечно, должно остаться за человечеством.

Сергей Медведев: У машины могут появиться свои соображения по поводу того, за кем останется управление, кто будет ставить ей задачи.

У вас возникают образы постчеловечества – что здесь имеется в виду? Ведь машина, с одной стороны, преодолевает, но, с другой стороны, продолжает человека, мы же продолжаем существовать в виде машин.

Константин Фрумкин: Тут мы переходим к еще одной чрезвычайно сложной проблеме. Прежде всего, когда мы говорим о постчеловечестве, мы имеем в виду то обширное количество соображений, образов и наметок, которые нам оставляет течение, известное под названием "трансгуманизм"; это переход человеческой телесности в какую-то новую реальность путем ее искусственного изменения. Простое протезирование, говорят трансгуманисты, это уже первые шаги в этом направлении. И мы действительно видим, что системы искусственного вмешательства в человеческую телесность становятся все более совершенными и изощренными. Уже появились протезы, которые в принципе не уступают человеческим конечностям по своим возможностям.

Сергей Медведев: Да и превосходят: стометровку быстрее бегут на протезах.

Константин Фрумкин: Чувствующие протезы, которые можно интегрировать с нашей нервной системой, и они будут выполнять функции нервных окончаний… Генная инженерия говорит, что, вероятно, в будущем мы сможем изменять геномы человека. Пока речь идет об излечении генных заболеваний, но дальше – больше, дальше могут быть какие-то усовершенствования человеческой природы. Это на первом плане.

На втором плане стоит вопрос о том, что когда появится совершенный или, как говорят сейчас, сильный искусственный интеллект, который будет вытеснять или подменять человека в сфере умственного, творческого, управленческого труда, будет ли этот искусственный интеллект представлять отдельную систему, или он должен быть неким образом интегрирован с человеческой нервной системой, с человеческим мозгом. Если он будет интегрирован, то он будет некоторым образом присвоен человеком. Человек может сказать, что "это не искусственный интеллект умнее меня, а я стал умнее, потому что в мой мозг интегрирован искусственный интеллект".

Надо сказать, что мы сами не знаем, как работает наш мозг. Мы думаем, производим вычисления, но не понимаем и не видим, как возникают мысли, где они рождаются, где та кузница, которая рождает мысли, где тот биологический компьютер, который производит вычисления. Наше сознание видит результаты: у нас в голове появилась мысль, у нас в голове появился результат вычислений. Вы спросите меня, сколько будет пятью пять, и у меня немедленно появляется ответ – 25. Где он хранился, как он появился, я не знаю.

По сути дела, я имею дело с какой-то неизвестной, невидимой, тайно спрятанной внутри моего тела машиной. Я ее считаю своей, потому что имею к ней эксклюзивный доступ, но я не совсем чувствую, что она моя. Если туда, в мое подсознание, в мой мозг спрячут какие-то чипы, какие-то невидимые доступы к интернету, какие-то поисковики, которые резко расширят мою память, какие-то карты, какие-то выносные сетевые диски, сложные процессоры, которые резко увеличат мой логический аппарат, то я скажу: да, я очень умный, потому что у меня в сознании появляются очень умные мысли. Это продолжение меня. Это будет, конечно, гораздо более щадящая система входа в технологическую сингулярность, чем если это будут отдельные искусственные интеллекты, отдельные компьютеры, которые просто скажут: ты можешь не работать, потому что мы умнее.

Сергей Медведев: Вопрос в том, насколько они отдельные, насколько они могут претендовать на некую автономию, если они были созданы и запрограммированы человеком, даже если они ведут собственную жизнь, самонастраиваются, как, скажем, машина по игре в го. Обыграли чемпиона по игре в го, но это же тоже не отдельная машина, за ней стоит группа программистов "Гугла".

Константин Фрумкин: Слово "программировать" – правильное слово для большинства известных компьютеров, но именно для компьютеров последнего поколения, обучающихся компьютеров или так называемых нейросетей это слово не вполне точно. Эти компьютеры не программируемы, а обучаемы. Грубо говоря, программисты, которые имеют дело с нейросетями, уже являются не программистами, а компьютерными педагогами, они должны понять, как наилучшим образом научить этот компьютер. Я знаю реальные примеры, как научить его распознавать лицо человека, если он в гриме, с плохой фотосъемки, так повернут, этак повернут… Выясняется, что, если научить его одним способом, то он делает это плохо, а если другим, то можно найти оптимальный способ обучения, и он будет хорошо распознавать. Но они сами не понимают, почему так, они эмпирическим путем, конечно, с какими-то расчетами находят наилучшие способы обучения.

Сергей Медведев: Это зачатки того, что у компьютера есть личность.

Константин Фрумкин: Личность, не личность, но, во всяком случае, высокая степень автономии: он становится неуправляемым. Если он начинает обучаться, то мы не совсем уверены, в каком направлении, чему он научится. С другой стороны, это создает дополнительные предпосылки для того, чтобы мы не оставляли контроля за компьютерами, чтобы человек занимался управлением, может быть, интегрировал компьютер в свой мозг, чтобы вся эта система многочисленных компьютеров не выходила из-под контроля.

Сергей Медведев: Главный вопрос, который я хотел бы понять: сингулярность – это точка качественного изменения системы, когда цикл изменений убыстрится уже настолько, что мы перейдем в состояние постоянного кризиса, постоянной революции? Она обязательно будет технологическая, или может быть антропологическая, человеческая сингулярность?

Константин Фрумкин: Она не будет антропологической без технологической. Те изменения человеческой природы, с которыми мы сейчас имеем дело, все являются производными от технологического прогресса. Самое очевидное, что мы здесь видим, – это режим изменения работы человеческого мозга и человеческой психики под влиянием взаимодействия с информационными технологиями, увеличивающегося информационного потока, способности в любой момент переходить на связь, иметь дело с большим количеством источников информации и так далее.

Недаром мы говорим, что поколение Игрек отличается от поколения Зет и так далее: поколение Зет от поколения Икс. Ведь новое поколение – это поколение, которое родилось внутри гигантского информационного потока, это уже дети, которые не могут жить без мобильного телефона. Кстати, сейчас специально для них создают летние лагеря, где у них отнимают мобильный телефон, и это приводит к ломкам, потому что они к этому привыкли. Это дети, которые легко адаптируют огромные информационные потоки, легко переключаются между разными источниками информации, грубо говоря, на экране включают сразу четыре окна и за всеми следят. Для них характерно клиповое мышление, у них сильно по-другому устроена память, потому что они не столько запоминают, сколько знают, что и где им нужно найти, и они уверены, что это там найдется. Их уже не надо этому учить, у них нет пространственного мышления, потому что они привыкли к навигаторам, у них атрофировалась эта часть мозга... Грубо говоря, это люди, которые привыкли жить внутри информационных сетей. Это другая человеческая природа.

Конечно, мы становимся слабее физически, потому что имеем дело с механизмами, мы получаем специфические заболевания, связанные с цивилизацией – гиподинамия, избыток веса. С другой стороны, мы избавляемся от тех заболеваний, которые были известны в прошлые века, мы победили инфекции и так далее. Мы начинаем дольше жить.

Сергей Медведев: Вообще говоря, мы в пределе избавляемся от тела по мере того, как разные части тела замещаются различными чипами, протезами, по мере того, как мы все больше интегрируемся в сеть. Может быть, в какой-то момент мы просто превратимся в голову, в которую вживлен чип…

Константин Фрумкин: Именно так считают энтузиасты технологического прогресса, трансгуманизма, сингулярности, люди, хорошо знающие технологии, но они очень осторожны в том, чтобы их приветствовать. В России есть такая общественная организация (кажется, она даже зарегистрировалась как политическая партия) "Россия 2045". 2045 – это дата, когда по их программе должна появиться возможность пересадки человеческого сознания куда-то на другой носитель.

Сергей Медведев: На облако.

Константин Фрумкин: Совершенно верно. Или лучше – в тот аватар, который мы видели в фильме "Аватар", искусственное тело. Мы активно пересаживаем донорские органы, создаем искусственные органы, хотя с этим не все так просто: выяснилось, что у органов не одна функция, а много, даже сердце – не просто насос, а генератор гормонов определенного типа, поэтому донорское сердце можно пересадить, а искусственное – уже проблема. Тем не менее, протезирование идет, и оно будет развиваться.

Остается один вопрос: как крепится человеческое сознание к человеческому мозгу? Люди, которые говорят, что человеческое сознание можно пересадить в компьютер, не совсем понимают проблему, путают человеческое сознание с человеческим мышлением, психикой и так далее. Между тем, когда человек мыслит, значительная часть его мышления осуществляется не сознательно, а бессознательно: мысль вдруг всплывает в сознании, она когда-то готовилась, ее готовил мозг.

Мозг можно сымитировать (допустим, сейчас мы не можем это сделать, но предположим, что мы сможем его сымитировать). Но почему та или иная часть работы мозга вдруг осознается нами, почему часть мозга работает бессознательно, а часть мы осознаем, причем не как движение нейронов, а именно в форме мыслей, образов и эмоций? Почему электрический разряд между двумя нейронами вдруг предстает не как электрический разряд, а как мысль, образ или эмоция? Я вам могу совершенно точно сказать, что никто, никакая наука, в том числе, и философия не знает даже приблизительного ответа на этот вопрос.

Мы совсем не понимаем, в каком направлении надо идти, чтобы хотя бы начать отвечать на этот вопрос. Даже непонятно, как могла бы выглядеть научная теория, которая отвечала бы на этот вопрос. Вы представляете, какова же будет опасность, если мы скопируем человеческую личность на компьютер, то есть заставим компьютер отвечать так же, как и мы, помнить то же, что и мы, говорить примерно нашим голосом, примерно в нашем стиле, но при этом у него не будет нашего сознания, то есть он не будет чувствовать боли, не будет ничего ощущать и осознавать – он будет куклой и пустой имитацией нашей личности?

Сергей Медведев: То есть сознание все-таки очень сильно телесно, как ни парадоксально это звучит, оно привязано к комплексу ощущений, физических, тактильных транзакций.

Константин Фрумкин: Телесно по факту, потому что мы не знаем никакого другого сознания. Сознания в компьютере мы до сих пор не знаем, у нас нет оснований предполагать, что оно там есть или может возникнуть. С другой стороны, тактильные транзакции телесны только по происхождению. Вообще говоря, они духовны. Если вам вколоть анестезию, то вы перестанете чувствовать все телесные транзакции. Ощущение возникает только тогда, когда доходит до сознания. Куда доходит? Что значит "дойти до сознания"? Ясно, что оно очень сильно привязано к мозгу, но в каком смысле? Одни говорят, что это точно в коре. Может быть, в коре. Другие говорят, что есть бестелесная душа, которая даже может переселяться. Эта теория не научная, но она не хуже любой научной, в этом даже есть какая-то логика.

Сергей Медведев: То есть в понимании работы машины, в логике мы продвинулись гораздо больше, чем в нейрофизиологии, в понимании сути мыслительных процессов.

Константин Фрумкин: Совершенно верно. Более того, ужас положения в том, что, не до конца понимая работу человеческого сознания и психики, мы, тем не менее, очень хорошо научились ее функционально имитировать. Так и не поняв, как работает мозг шахматиста, мы научили компьютер играть еще лучше шахматиста. Это в некотором смысле демотивировало нас изучать мозг шахматиста. Зачем нам его изучать, если вот компьютер, который играет в шахматы? Это ставит нас перед лицом не очень осторожных энтузиастов, которые скажут, что проблема переселения сознания на компьютер решается. Это даже трудно опровергнуть, ведь если компьютер будет хорошо имитировать человека, кто скажет, что в нем нет сознания?

Сергей Медведев: Это проблема переселения не сознания, не комплекса человеческой личности и идентичности, а именно логических операций. С этим уже сталкиваются, потому что есть программы, которые обещают жизнь после смерти безутешным родственникам: на основании постов в соцсетях пишут алгоритмы – человека нет, а программа за него постит, отвечает.

Константин Фрумкин: Был замечательный роман Станислава Лема "Осмотр на месте". В смысле футурологии это самое грандиозное сочинение всех времен и народов, если не считать трактата того же Лема "Сумма технологий". В романе "Осмотр на месте" еще задолго до появления интернета и соцсетей главный герой, чтобы ему не скучать в дороге, создает искусственные личности трех великих философов (если я не ошибаюсь, это был Шекспир, Бертран Рассел и Фейерабенд) и ведет с ними долгие беседы, причем Шекспир говорит исключительно стихами, потому что его личность комбинировалась на основе анализа его творчества.

Сергей Медведев: Это реализовано в британском сериале "Черное зеркало", в антиутопии Владимира Сорокина о клонах. Видимо, если дальше говорить о сингулярности, то в этом смысле вы, скорее, будете настаивать, что она именно технологическая, что она связана с нашим пониманием работы машины, работы компьютера, что еще рано говорить об антропологической, о том, что человек сольется с машиной, и будет единый интерфейс, единый андроид.

Константин Фрумкин: Во-первых, я не уверен, что она будет. С другой стороны, нет никакого точного критерия, чтобы сказать, будет она или нет. Ничто не мешает нам сказать, что она уже началась, потому что – смотрите, какие потрясающие технологические изменения происходят на наших глазах! Опять же, какая-то степень слияния с машиной, несомненно, будет, хотя бы потому, что она уже есть, мы уже сидим, привязанные к компьютеру, к мобильному телефону, мы управляем ими, а они слегка, незаметно, но существенно влияют на нас.

Даже школьные психологи говорят, что дети начали раньше взрослеть. Тот личностный кризис, когда ребенок начинает отделяться от родителей, от семьи, который обычно происходил в 14 лет, теперь происходит в 12, и они объясняют это именно увеличением информационного потока, который взрослит мозг раньше времени. То есть мы уже интегрированы с машиной. Если возникнет интерфейс мозг-компьютер, если возникнет возможность каким-то образом интегрировать компьютер с нашей нервной системой с помощью вживленного в тело или в мозг чипа, то какая-то степень интеграции, несомненно, будет. В принципе, чего плохого, если мы сможем движением мысли выходить в "Гугл" и заставлять "Гугл" напоминать нам то, что мы забыли?

Сергей Медведев: Да, но это опять чисто функциональные, сервисные вещи, которые не затрагивают онтологию сознания, онтологию человеческой личности.

В любом случае сингулярность, по крайней мере, технологическая, не за горами. Из этого разговора я понимаю, что очень многое остается за человеческой личностью, за этой мистикой, неразгаданностью человеческой души, которая, видимо, основана на том, что мы не до конца понимаем нейрофизиологически работу мозга и то, как, по выражению Константина, крепится сознание к мозгу, в чем заключается наша личность и идентичность. Прогресс – это прекрасно, но пусть еще остаются какие-то неотвеченные вопросы…