Гибель человечества — что это значит для меня?

("The Atlantic ", США)

В своей новой статье Стивен Хокинг вдруг упомянул Джонни Деппа и предостерег всех нас: компьютеры напрямую угрожают человечеству.

Но лишь немногих людей эта угроза действительно волнует. Угроза эта обитает в Интернете. (Действительно ли компьютеры не хотят, чтобы мы ее заметили?)

Пару недель назад Стивен Хокинг вместе с профессором физики из Массачусетского технологического университета Максом Тегмарком (Tegmark), лауреатом Нобелевской премии Фрэнком Вильчеком (Wilczek) и профессором по компьютерным наукам из Беркли Стюартом Расселом (Russell) опубликовали в The Huffington Post несколько пугающую статью под названием «Избавляясь от беспечного отношения к сверхразумным машинам». Звучит солидно. Предлогом для статьи послужил научно-фантастический триллер «Превосходство» (Transcendence) с участием Деппа. «Есть искушение отнести сверхумные компьютеры к области научной фантастики, но это было бы ошибкой, и, возможно, — самой ужасной ошибкой в истории», — пишут авторы статьи.

А потом — вероятно, из-за того, что данной теме не уделялось достаточно внимания, — на прошлой неделе в газете The Independent появилась еще одна статья под более пространным заголовком: «Фильм "Превосходство": плоды искусственного интеллекта — насколько серьезно мы их воспринимаем?» Да, звучит неплохо. Провокационно, заманчиво, но не сенсационно. Однако то, о чем рассуждают выдающиеся ученые мужи, вряд ли назовешь несенсационным.

«Резкий переход возможен», — утверждают авторы статьи, предупреждая нас о том времени, когда с помощью элементарных частиц можно будет выполнять вычисления, на которые не способен человеческий мозг. «Как хорошо понимал еще Ирвинг в 1965 году, конструкция машин, наделенных сверхчеловеческим интеллектом, постоянно усовершенствуясь, запустит процесс, который Вернор Виндж (Vernor Vinge) называет "сингулярностью"».

Но мне это неинтересно. У меня сейчас итак полно всяких дел. Зачем мне еще голову морочить какой-то сингулярностью?

«Эксперты, безусловно, делают все возможное, чтобы получить оптимальный результат, правильно? — спрашивают авторы статьи. — Неправильно. Если бы более высокоразвитая инопланетная цивилизация послала нам сообщение "Мы прилетим к вам через несколько десятилетий", разве мы бы ответили им: "Прекрасно, позвоните нам, когда прилетите, а мы просигналим огнями?" Наверное, нет. Но нечто более или менее подобное происходит с искусственным интеллектом». Более или менее? Зачем инопланетянам нужны наши огни? Раз уж они сказали, что идут к нам, то значит они, вероятно, дружелюбны — да? Ведь так?

И, наконец, статья заканчивается рекламой для организаций, которые основали сами авторы: «Серьезными исследованиями данных вопросов мало кто занимается, кроме таких некоммерческих институтов, как Кембриджский центр по изучению экзистенциального риска, Институт перспектив развития человечества, Научно-исследовательский институт машинного интеллекта, а также Институт изучения будущего развития жизни».

Итак, авторы добавили немного сенсационности для того, чтобы привлечь внимание к серьезным проблемам современности, которые, по их мнению, недооценены? Нужно ли нам уже сейчас поеживаться от страха?

В лекции, недавно прочитанной в Оксфорде, Тегмарк озвучил пять «сценариев космокалипсиса», которые положат конец человечеству. Но все они произойдут в будущем — в промежутке между 10 миллиардами и 100 миллиардами лет. Эти сценарии чисто умозрительны, их крайне трудно себе представить. Итак, темная энергия порождает «Великий холод»; появляются «Пузыри смерти», пространство все больше погружается в холод и, расширяясь со скоростью света, устраняет все на своем пути. Далее возникают «Большой треск», «Большой хруст» и «Большой разрыв».

Но Макса Тегмарка подобные сценарии не очень-то беспокоят. Его даже не пугают угрозы более близкие к нам по времени, например, тот факт, что почти через миллиард лет Солнце будет настолько жарким, что от этого начнут испаряться океаны — к тому времени у человечества наверняка появятся технологии, предотвращающие подобное развитие событий. Кроме того считается, что через четыре миллиарда лет Солнце поглотит Землю. И вот, физики уже предлагают отклонять астероиды, летающие на периферии Солнечной системы, для того, чтобы они, приближаясь к Земле, постепенно отталкивали ее подальше от Солнца, а это позволит Земле постепенно уклониться от огненных объятий.

Больше всего Тегмарк обеспокоен непосредственными угрозами, которые он называет «экзистенциальными рисками». Данный термин заимствован им у физика Ника Бострома, директора Института перспектив развития человечества при Оксфордском университете, где ученые исследуют потенциальные возможности экспансии человечества в космосе. По их мнению, Млечный Путь может быть колонизирован менее чем за миллион лет — это при условии, что межзвездные зонды смогут себя самовоспроизводить, используя сырье, добытое на других планетах, и что человечество себя не погубит в первую очередь выбросами углерода.

«Мне кажется, что возрастает вероятность того, что в нашем мире экзистенциальный риск все больше превращается в самый важный моральный вопрос, даже несмотря на то, что он пока еще не стал основным», — заявил недавно Бостром Россу Андерсену в одной примечательной статье, опубликованной в журнале Aeon. Наряду с Хокингом, Бостром является советником недавно созданного при Кембриджском университете Центра по изучению экзистенциальных рисков, а также ему подобного недавно появившегося центра, возглавляемого Тегмарком, — Института изучения будущего развития жизни (Кембридж, штат Массачусетс). По словам Тегмарка, экзистенциальные риски — это такие явления, которые «не просто немного неприятны (как штрафной талон за парковку), но на самом деле ужасны; это такие обстоятельства, которые способны нанести реальный ущерб человеческой цивилизации и даже ее уничтожить».

Единственный вид экзистенциального риска, о котором Тегмарк больше всего беспокоится, — это враждебный искусственный интеллект. По словам Тегмарка, по мере усовершенствования способности компьютеров возрастут многократно, после чего прогнозировать дальнейший ход развития событий будет очень сложно.

В начале этого года Тегмарк сообщил в интервью корреспонденту журнала Motherboard Лекс Берко следующее: «По моему мнению, существует 60-процентная вероятность того, что я умру не от старости, а от какого-нибудь бедствия, вызванного человеческим фактором. Вот именно об этом я и должен беспокоиться, именно этому должен посвящать значительную часть своего времени — и не только я, но и все общество должно беспокоиться».

Я попросил Тегмарка рассказать обо всем этом подробнее, когда он прогуливался вместе с детьми по Аэрокосмическому музею округа Пима в Тусоне, периодически останавливаясь и отвечая на их вопросы об экспонатах.

«В долгосрочной перспективе — а это может произойти и через десять, и через пятьдесят и даже через сто лет, в зависимости от того, кому вы задали вопрос, — компьютеры смогут делать все то же самое, что и человек, — говорит Тегмарк. — После этого они, вероятно, очень быстро превзойдут человека во всем, и человечество столкнется с тем, о чем мы спрашивали в статье, опубликованной в Huffington Post: останется ли место для человека или не останется». В этот момент я представил себе взгляды посетителей музея.

«Все это должно произойти уже в обозримом будущем. Об этом должен задумываться любой, кто собирается отправлять своих детей в среднюю школу или колледж».

«Основная причина того, что люди об этом не думают, заключается в их неосведомленности, — продолжил Тегмарк. — Я никогда не разговариваю об этих вещах с теми, кто говорят: "Нас это не касается"». Кстати, Тегмарк в свое время где-то упомянул, что самой большой угрозой для человечества является скудоумие.

Тегмарк рассказал мне, как он где-то, совсем по другому поводу, посетовал о том, что наши граждане лучше знают имя поп-исполнителя Джастина Бибера, чем Василия Архипова — советского морского офицера, который, как считается, во время Карибского кризиса один предотвратил начало термоядерной войны. И этот пробел в знаниях у наших граждан совсем не удивителен. Все больше наших людей знают о Бибере, чем о других исторических личностях, типа Бо Джексона. Однако с этим сложно примириться, особенно услышав на этой неделе из уст Сета Рогена [канадского киноактера — прим. пер.], что, по сути-то, «Джастин Бибер является куском дерьма.»

Тегмарк вместе с соавтором, лауреатом Нобелевской премии Франком Вильчеком, приводит примеры того, как во время холодной войны автоматизированные системы давали сбой и определяли ложные угрозы. «Во всех упомянутых случаях, ужасных последствий удавалось избежать только благодаря какому-нибудь человеку, появлявшемуся в самый последний момент. Однако в будущем такого человека может и не найтись», — сказал мне Вильчек.

Как отметил Андерсен в статье на страницах журнала Aeon, у человечества пока имеется достаточно запасов ядерного оружия, способного уничтожить — но не сразу — все густонаселенные центры Земли. В стратосферу станет попадать пепел, не давая солнечному свету пробиться к поверхности планеты, что повлечет за собой климатический сдвиг, ведущий к уничтожению сельскохозяйственных культур, — именно этот фактор окажется для человечества гибельным. (Хотя, «и не совсем понятно, сколь долго и сильно будут гореть стертые с лица земли города, чтобы образовалось достаточное количество пепла, способного подняться на большую высоту».)

«Мы очень беспечно обходимся с нашей планетой и цивилизацией, — говорит Тегмарк. — По большому счету мы все играем в русскую рулетку». Вместо этого, нужно побольше думать о будущем, т.е. думать «не только о следующем выборном цикле или новом альбоме Джастина Бибера», — в этом и состоит решение. Судя по всему, Макса Тегмарка мало волнует Джастин Бибер.

Опубликованная статья, затрагивая вопрос об искусственном интеллекте, побуждает нас к тому, чтобы основательнее задуматься о будущем. Статья в The Huffington Post явилась первым залпом, прозвучавшим из бастионов Института изучения будущего развития жизни, в консультативный совет которого входят все четверо авторов статьи. Эта статья родилась в ходе мозгового штурма, проведенного одной из групп. Это один из первых проектов группы, идущий в соответствии с ее миссией — обучать и повышать информированность. Институт изучения будущего развития жизни основан инженером Яаном Таллинном, создавшим Skype и Kazaa (помните тот самый Kazaa — первый сервис по обмену MP3, который стал пользоваться популярностью вслед за сервисом Napster?). Таллинн также помог основать Кембриджский центр по изучению экзистенциального риска. Общее число экзистенциальных рисков невелико; многие из них упоминаются Институтом машинного интеллекта в Беркли.

«Поднимается множество сложных тем, начиная от изменения климата, искусственного интеллекта, биологической войны, и кончая астероидами, несущими угрозу Земле. Эти риски очень велики, но им уделяется мало внимания, — говорит Вильчек, характеризуя начальный этап деятельности группы. — Некоторые проблемы, вроде изменения климата, конечно же, очень серьезны. На мой взгляд, им уже итак уделяется достаточно много внимания. Кроме того, необходимо подумать и о перспективах развития искусственного интеллекта — в этой области мы могли бы достичь намного большего».

Однако, Тегмарк решил подхлестнуть интеллектуальную жизнь специалистов-космологов на Восточном побережье Соединенных Штатов. «Для этих людей неплохо бы создать свой центр, в котором они все смогли бы собираться,» — сказал он. Предстоящим запуском проекта под названием Институт изучения будущего развития жизни в Массачусетском технологическом институте будет руководить Алан Алда, один из представителей звездного состава Научно-консультативного совета, состоящего целиком из белых мужчин. (Перечислим членов научно-консультативного совета Института изучения будущего развития жизни: Алан Алда (Alan Alda), Ник Бостром (Nick Bostrom), Эрик Бриньолфссон (Erik Brynjolfsson), Джордж Черч (George Church), Алан Гут (Alan Guth), Стивен Хокинг (Stephen Hawking), Кристоф Кох (Christof Koch), Сол Перлмуттер (Saul Perlmutter), Мартин Рис (Martin Rees), Стюарт Рассел (Stuart Russell), Фрэнк Вильчек (Frank Wilczek).)

Самым большим препятствием для достижения заявленной ими цели (а она состоит в том, чтобы повышать осведомленность об угрозах для человечества) является задача конкретизации проблемы. «Если бы мы смогли определить перспективы, то, следовательно, мы смогли бы намного лучше понять, как достичь желаемых для нас результатов, — говорит Вильчек. — Но думаю, основной вопрос заключается в том, чтобы определить, когда именно наделенные интеллектом объекты начнут действовать самостоятельно. Им уже удалось, например, радикально изменить наши представления о шахматах — здесь нет ничего опасного. Но представьте, что произойдет, если эти [наделенные интеллектом] объекты произведут революцию в военном деле или в финансах, либо радикально начнут преобразовывать самих себя или же влиять на людей, которые ими управляют. Все это может привести к возникновению ряда опасных тенденций, способных неблагоприятно сказаться на жизни людей».

Работа автоматизированных торговых роботов уже способна вызывать потрясения на финансовых рынках. В книге профессора Массачусетского технологического института Эрика Бриньолфссона «Второй машинный век» красноречиво утверждается следующая мысль: по мере своего усовершенствования, компьютеры будут способны приводить к радикальным изменениям в сфере экономики. По мнению Вильчека, сюда же можно отнести и недавно появившийся вирус Heartbleed. Что касается данного рода проблем с компьютерной безопасностью и ограниченным доступом к информации, то, по мнению Вильчека, «этот вопрос еще не решен, а заверения в обратном следует принимать с большой долей скептицизма».

Одна из форм искусственного интеллекта особо заботит Вильчека — дистанционно управляемый солдат. «Он не обязательно должен быть роботом, хотя и роботы-воины тоже могут наделать множество проблем. Его можно представить себе в виде суперинтеллекта, помещенного в интернет-облако. Он может выглядеть совершенно нетривиально».

Бостром считает, что очень важно не наделять искусственный интеллект антропоморфными чертами. Лучше всего представить его в виде одной из фундаментальных сил природы — мощных и независимых от человека. В случае шахмат, искусственный интеллект способен предсказывать результаты и делать ходы. Но если поставить перед искусственным интеллектом цель — не победить в шахматной игре, а уничтожить человечество, то он и с этой целью справится. Даже если специалисты запрограммируют искусственный интеллект, чтобы он стал доброжелательным, он все равно может уничтожить нас случайным образом. Так, в журнале Aeon Андерсен приводит следующий пример: искусственный интеллект, перед которым поставлена задача — «увеличить уровень счастья отдельного индивидуума» — может прийти к выводу, что лучший способ решения этой задачи заключается в том, чтобы закачать в нашу кровь героин.

Эксперты по-разному определяют сроки наступления этих угроз. Так, Вильчек приводит образ грозового облака, показавшегося на горизонте: «На данный момент не совсем ясно, насколько большим будет ненастье и через какое время оно наступит. Я этого не знаю. Может быть, лет десять пройдет, прежде чем возникнет реальная проблема. А может через двадцать и даже тридцать. А может и через пять лет. Но, конечно же, никогда не рано задумываться об этом, поскольку встающие перед нами проблемы еще больше усложняются по мере того, как [сверхинтеллектуальные] системы становятся все более своевольными».

Даже Тегмарк, занятый специальными исследованиями искусственного интеллекта, признал: «Сейчас не все еще обеспокоены этими угрозами». Но значительная тревога и чувство беспомощности все равно чувствуются — а что еще можно поделать? «Мы должны озаботиться тем, что у нас обычно не вызывает беспокойства».

Тегмарк приводит наглядный пример с покупкой коляски: какую купить коляску — хорошую, но дорогую, или дешевую, но такую, которая иногда ломается и давит ребенка (правда никто не может доказать, что это вызвано какими-то конструктивными недостатками), но со скидкой в десять процентов?

«Но сейчас мы говорим не о жизни или смерти одного ребенка, а о жизни и смерти каждого из них — мы говорим о детях, которые будут появляться у наших потомков, о поколениях, которые будут жить в течение следующего миллиарда лет», — поясняет Тегмарк.

Но как все это применить к повседневной жизни людей и поведать им об описанных выше угрозах для жизни человечества? Покупка коляски — дело обыденное, можно посоветовать купить надежную коляску. Что нужно делать, коли речь идет об экзистенциальных рисках? Какие меры надо принимать, что защищать?

«Ну, применить все это к повседневной жизни совсем нетрудно. Скажем, достаточно вообразить, что лет через пятьдесят на нашей планете людей и вовсе не останется. Но я думаю, что большинство людей не сильно обеспокоятся этим фактом. К тому же, в числе "пятьдесят" нет ничего магического. Одни скажут, что нас ждут неприятности лет через десять, другие — через двести, но неприятности вполне конкретны».

Однако в конце нашей беседы беспокойный тон Тегмарка переменился. «Причина, по которой мы назвались Институтом изучения будущего развития жизни, а не Институтом по изучению глобальных рисков, заключается в том, что мы хотим подчеркнуть позитивное начало», — пояснил Тегмарк. И эта мысль ученого сильно расходится почти со всем, что мне довелось к настоящему моменту прочитать и услышать.

«На этом шарике, вращающемся в космическом пространстве, живут семь миллиардов человек. И перед нами открывается множество благоприятных перспектив, — продолжает Тегмарк. — В огромной Вселенной к нашим услугам все необходимые ресурсы. Однако у нас также имеются и технологии, способные уничтожить человечество».

Девяносто девять процентов живых организмов, когда-либо живших на Земле, вымерли; а мы разве исключение? Однако самое главное — не терять из виду благоприятные перспективы для всего человечества и всей нашей планеты. А они вовсе не ужасны и не фатальны. Человеку иногда необходимо испытать страх, дабы не погрязнуть в рутине и мелочах, которые не дают ему увидеть открывающиеся перспективы. «Мы, люди на 99,9999 процентов концентрируемся на краткосрочных планах и практически мало думаем о будущем», — сказал Тегмарк.

Возраст Вселенной — около 13,8 миллиарда лет. В нашем распоряжении осталось еще несколько миллиардов лет, в течение которых можно создать себе прекрасные условия для жизни. Даже если через четыре миллиарда лет нас поглотит Солнце.