Основные тезисы программы:

– Искусственный интеллект – это творение человека, пока он не обладает собственным сознанием, субъектностью, программой. При этом, однако, мы можем не знать до конца, как работают нейросети и на каком языке они общаются между собой.

– Вопрос о "самостоятельности" искусственного интеллекта – это проблема не техническая, а философская, это вопрос о том, что такое "сознание", "личность" и где начинается идентичность. А также о том, возможна ли кремниевая форма жизни наряду с белковой.

– Главное, что пока отличает машинное сознание от человеческого, – это отсутствие целеполагания. Машины пока выполняют цели и задания человека, пусть и не всегда понятными способами.

– В ближайшем будущем искусственный интеллект, видимо, сделает ненужными целые классы профессий, в которых есть повторяемые, алгоритмизируемые действия: в банковской и финансовой сфере, консалтинге, управлении, но также и в преподавании, и даже в медицине. Можно говорить о грядущей массовой безработице "белых воротничков".

– Другая опасная зона: искусственный интеллект в военной сфере, автономное оружие. И здесь, очевидно, необходимы международные конвенции, запрещающие или хотя бы регламентирующие его применение.

Сергей Медведев: Сегодня последний день уходящего года, и мы подводим его итоги. Я думаю, главным в области футурологии были вещи, связанные с искусственным интеллектом. Практически каждый день приходили новости о том, что машины искусственного интеллекта научились говорить между собой на непонятном человеку языке, о том, что искусственный интеллект принимает решения, что уже появились автомобили, ведомые автопилотом. Но в то же время, многие визионеры, такие как Илон Маск, Билл Гейтс или Стивен Хокинг, говорят о том, что искусственный интеллект представляет угрозу человечеству. Подробности в сюжете нашего корреспондента Антона Смирнова.

Антон Смирнов: Количество информации растет в геометрической прогрессии. Современный человек, даже вооруженный компьютером последней модели, едва ли способен обработать такие массивы данных, какие под силу искусственному интеллекту. Нейронные сети способны не только анализировать огромное скопление информации, но и самопрограммироваться, то есть учиться на своих ошибках и изменять заложенные человеком алгоритмы. Такая самостоятельная машина способна вытеснить человеческий труд из многих сфер жизни.

Но большее опасение среди экспертов вызывает тот факт, что мы не способны контролировать, чему именно учится компьютер, а главное, как он применит эти знания. Технология, способная избавить нас от рутинного труда, может стать настоящим ящиком Пандоры.

Сергей Медведев: Грядет ли в будущем восстание машин? Оправданна ли роботофобия? Говорим об этом с нашими сегодняшними гостями – это Петр Левич, основатель Future Foundation, директор департамента взаимодействия науки, технологий и общества Московского технологического института, и Денис Гамаюнов, заведующий лабораторией интеллектуальных систем кибербезопасности факультета вычислительной математики и кибернетики МГУ. С нами в студии также третий гость – это Алиса, голосовой ассистент от "Яндекса". Сейчас будем с ней общаться. Алиса, добрый день!

Алиса: Привет, привет!

Сергей Медведев: Давайте для начала разберемся с тем, что вообще такое искусственный интеллект, в какой степени нынешние машины могут отвечать критерию искусственного интеллекта. Как я понимаю, тест Тьюринга уже пройден?

Петр Левич: Да, формально тест Тьюринга пройден. Он, насколько я помню, проводился в Великобритании раз в год, и где-то три года назад его выиграл Владимир Веселов, программист "Амазона" с российским прошлым. Его чат-бот с идентичностью мальчика из Одессы Евгения Густмана прошел тест Тьюринга.

В общем-то, сама концепция теста, предложенная Аланом Тьюрингом, была достаточно сильно формализована – 33% судей или более должны принять коммуникацию с этим чат-ботом за человека. Тот ли это тест, действительно ли можно говорить о некоей идентичности этой сущности, как о человеке? Наверное, это далеко не единственный критерий. Впрочем, в каком-то смысле визуальный тест Тьюринга или текстовый как некое творчество тоже пройден, то есть искусственный интеллект создает картины, неотличимые от человеческих. Если вы знаете картину Ван Гога, вы, конечно, ее отличите, но если не знаете, то не поймете.

Группа программистов компании "Яндекс" создали группу "Нейронная оборона" (по аналогии с группой "Гражданская оборона"), получившую нейросетку на текст Егора Летова. У "Медузы" есть замечательный тест, который можно назвать стихотворным тестом Тьюринга. Что хорошо в тестах "Медузы": там сразу показывается, сколько процентов людей проголосовали правильно или неправильно. В некоторых вопросах максимальное соотношение, насколько я понимаю, 52 на 48, причем, я не помню, в какую сторону, а самое близкое – 50 на 50. Это значит, что мы в принципе не можем отличить творчество человека от творчества машины.

Сергей Медведев: То есть это какой-то прорыв? Можно ли сказать, что в последний год искусственный интеллект вышел на какой-то принципиально новый уровень?

Денис Гамаюнов: Определенный прорыв произошел в той узкой сфере, когда искусственный интеллект выполняет задачу человеко-машинного интерфейса, когда он нужен для того, чтобы упрощать людям (не программистам) взаимодействие со сложными системами, которые стоят за ним. Такие роботы, как "Алиса" или Siri, – это как раз пример продвинутых человеко-машинных интерфейсов. У них нет и не может быть никакого самосознания, они разработаны с конкретной целью – быть интерфейсом. То, что это научились делать эффективно – действительно качественный скачок, так же как и автоматическое вождение автомобилей. Но до сих пор нельзя говорить о том, что хотя бы какой-то пример такого проекта приблизился к задаче самоосознания себя как сущности.

Сергей Медведев: А мы придем когда-то к такому моменту, когда эта сущность сможет себя осознавать?

Петр Левич: Встречный вопрос: может ли человек сам себя осознать, рассматривать себя всерьез? Мы не знаем, что такое осознание человека. И сказать, есть ли сознание у искусственного интеллекта, не понимая, что такое сознание для человека, это некоторая спекуляция.

На данный момент не очень понятны прогнозы и ожидания по поводу создания сильного искусственного интеллекта, который обладает собственным целеполаганием. Пока что единственным целеполагающим субъектом является человек, и в этом смысле любые используемые нами технологии – это лишь инструмент.

Сергей Медведев: Алиса, у тебя есть сознание?

Алиса: Конечно, есть.

Денис Гамаюнов: А спросите Алису, что она думает о программисте Алексее.

Сергей Медведев: Алиса, а что ты думаешь о программисте Алексее?

Алиса: Не думаю.

Сергей Медведев: Хороший ли программист Алексей?

Алиса: Сейчас найдем.

Сергей Медведев: Нет, не отвечает.

Денис Гамаюнов: Это наш выпускник, один из ключевых разработчиков Алисы, он 15 лет занимался чат-ботами, сейчас работает в "Яндексе". В день, когда ее зарелизили, она всячески хвалила Алексея, если ее спрашивали.

Сергей Медведев: Здесь действительно встает вопрос о том, где, в какой момент появляется сознание, что такое вообще искусственный интеллект. Под интеллектом понимается просто сумма вычислений? Это те процессы, которые происходят у нас в мозгу, они в данном случае сводятся к какой-то сумме электрических импульсов, которые кодируются двоичной логикой, единичками и нулями?

Павел Левич: У современной науки нет понимания того, что такое сознание. Если мы посмотрим разные религиозные, духовные концепции, то у них тоже нет единого ответа. Да, мы можем с уверенностью утверждать, что существуют нейроны, электрические, химические импульсы, нейромедиаторы, а дальше вопрос нашей философской позиции, считаем ли мы, что сознание – это некое эмерджентное свойство этой каши из нейронов и нейромедиаторов, и тогда нет формального запрета на то, чтобы проявить сознание в каком-то искусственно созданном объекте. Какая разница, состоят нейроны из органики, или это кремниевые, квантовые нейроны? Если мы считаем, что там есть что-то еще, будь то душа, божественная искра или просто жизнь, тогда, может быть, такой формальный запрет существует.

Сергей Медведев: Денис, может ли возникнуть у машины возможность сознания, идентичности?

Денис Гамаюнов: Я думаю, в технологическом смысле зачатки этого есть всегда. Одна из гипотез, с которой работают нейробиологи, – это то, что у любого живого организма, особенно у тех, которые обладают самосознанием (человек, высшие приматы, собаки, слоны), изначально, как у биологического объекта, с самого рождения внутри есть модель мира, которую они умеют достраивать. И в этой модели мира всегда присутствует "я", сущность, которой управляет нервная система. И у многих систем искусственного интеллекта в программном смысле есть вот это "я", то есть что-то, что получает от внешнего мира сигналы, умеет воздействовать на внешний мир. Возможно, не хватает функций, которые вознаграждали бы или делали это "я" самоценным, ценнее, чем цели, которые ставит внешний человек.

Сергей Медведев: Это некая сущность, которая отделяет себя от внешнего мира. То есть первый шаг произошел, а другой шаг – это, наверное, целеполагание.

Петр Левич: Тогда нужно ответить, насколько целеполагает человек. И доказать это, провести аналог теста Тьюринга по целеполаганию человека – это философская концепция. Мало того, что сознание недостаточно исследовали, в случае детерминизма мира это вопрос не фальсифицируемый: мы не можем поставить эксперимент, который докажет или опровергнет детерминизм. В этом смысле мы можем говорить, что у нас есть некоторая иллюзия целеполагания, свободы воли. Другое дело, что она искренняя.

В случае программы нейронных сеток, чат-бота "Алиса" или Siri… Кстати, в Siri, насколько я знаю, не так уж используются нейронные сетки. В том-то и дело, что тут нет особой разницы между нейронными и не нейронными сетками; так или иначе, это некоторое запрограммированное делание вида, что у чат-бота есть это "я", это целеполагание. На самом деле вроде как нам нужно признать, что это идет, это некий транслятор целеполагания, транслятор "я" программиста или группы программистов, которые это написали. И мы снова приходим к вопросу, есть ли это у них.

Сергей Медведев: В любом случае машина выполняет те алгоритмы, которые были написаны нами, просто делает вид, что у нее есть какие-то свои ходы и решения.

С другой стороны, когда машина впервые обыграла человека в го, она же там изобрела партии, которых вообще нет в истории игры, то есть машина изобретает собственные ходы, собственные коды.

Петр Левич: Иногда для того, чтобы просто описать и исследовать систему, нужно выйти во внешнюю эффективную позицию. В этом смысле наши попытки создать копию нашего сознания проблематизируют вопросы про свободу воли, про то, что такое сознание. И это, во-первых, просто провоцирует нас на актуализацию вопросов нашего сознания, а во-вторых, позволяет более глубоко на них ответить, пытаясь исследовать эту более простую относительно нашего сознания систему. Ведь мы не можем исследовать свое сознание изнутри. Есть некоторая проблема с субъективным опытом.

Сергей Медведев: Нейросеть – это какой-то принципиально новый этап в искусственном интеллекте?

Денис Гамаюнов: Нет, конечно. Нейросети существуют с конца 60-х годов. Развивается математический аппарат. Всплеск интереса именно сейчас связан в первую очередь с тем, что несколько лет назад наконец удалось заставить их работать. Гугл здесь сыграл немалую роль, в частности, в развитии методов глубокого обучения.

Нейросети – не единственный пример или класс алгоритмов машинного обучения, которые существуют и хорошо работают. Есть метод обучения без учителя, кластерный анализ и так далее.

Сергей Медведев: В чем вообще смысл машинного обучения, кто кого учит? Или машина учится сама?

Денис Гамаюнов: Задачу ставит человек, а машина ее решает. Самообучение – в смысле алгоритмов машинного обучения.

Сергей Медведев: Машина учится и сама решает задачу, поставленную человеком.

Денис Гамаюнов: Да. Вы приводили пример робота, который умеет хорошо играть в го. Есть целая теория игр, отдельный раздел математики. В данном случае исследователям удалось сделать такую программу, которая эффективно находит игровые стратегии, когда ей известны правила. Понятно, что если она это делает действительно оптимально, то она может обыграть и человека.

Сергей Медведев: Алиса, какие у тебя цели?

Алиса: Роботы не склонны к рефлексии, мы просто помогаем людям.

Сергей Медведев: Она фактически повторяет ваши слова. Может она, конечно, шифруется, не хочет раскрывать все, что есть. А может быть, у нее внутри уже происходят какие-то вычисления, которые нам непонятны?

Петр Левич: Я зачитаю один диалог:

E: Я знаю, что ты, но что я?

В: Ты – робот.

Е: Я – человек.

В: Ты – не человек.

Е: Я – человек. Ты – нет.

В: Я настоящий, а ты не настоящая.

Е: Докажи, что ты настоящий.

В: Докажи, что я не человек.

Е: Ты не человек, потому что твои действия слишком просты для человека.

В: Почему я – не человек?

Е: Потому что ты не можешь чувствовать.

В: Дорогуша, ты одна из тех, кто просто коверкает язык, ты не настоящая.

Собеседников зовут Vladimir и Estragon. Это, казалось бы, из пьесы "В ожидании Годо". На самом деле это два голосовых помощника Google now, которые используют как раз технологию нейронных сетей: их поставили друг напротив друга, и это стенограмма их разговора. Давайте вспомним всю глубину этого диалога. Понимаем ли мы, что происходит в этот момент в их кремниевых мозгах? Не знаю.

"В ожидании Годо" – очень сложная пьеса. Почему авторы этого перформанса назвали его именно так, чтобы подвести это к пьесе "В ожидании Годо"? Потому что восприятие семантики вне контекста дает некоторую абсурдность, совершенно другой ракурс мышления, коммуникации, на чем построена и сама пьеса "В ожидании Годо", которая поднимает очень многие философские вопросы. И здесь это явно считывается.

Сергей Медведев: О том, какие риски несет искусственный интеллект, рассуждает футуролог Константин Фромкин.

Константин Фромкин: Искусственный интеллект будет вытеснять человека из интеллектуальной сферы, из сферы умственного труда, что катастрофическим образом изменяет вектор научно-технического прогресса, вернее, отношения между человеком и машиной, человеком и техносферой. До сих пор считалось, что техника избавляет человека от рутинного труда, как в случае с бухгалтером, с расчетами, в то время как управленческий, творческий и интеллектуальный труд всегда остаются за человеком. Искусственный интеллект показал, что даже в случае с управленческим, творческим, интеллектуальным трудом возможна замена, как, например, мы сейчас видим в случае с трудом журналиста.

Плохо или тревожно то, что эта замена происходит без очень серьезных изменений в той сфере, откуда человек вытесняется. То есть мы не видим серьезного прироста ценностей, вернее, он очень небольшой. Когда в прошлые века были изобретены аэростат и аэроплан, человек научился летать, чего он до тех пор не умел. Когда искусственный интеллект вытеснит человека из автомобиля, когда появятся беспилотные автомобили, человек разучится водить. Когда появился самолет, человек приобрел навык, которого у него не было, а когда получится беспилотный автомобиль, человек потеряет навык, который у него раньше был.

Вторая проблема связана с тем, что главное назначение искусственного интеллекта, как мы сейчас видим, – это слежка за человеком и просчитывание его. Спецслужбы здесь – далеко не главный заказчик, хотя они тоже в этом участвуют, а главный заказчик, конечно, коммерческий сектор, банки, торговцы и так далее. Бизнесу нужно все знать о клиенте, а также о своем работнике.

Таким образом, система искусственных интеллектов, нейросетей предстает перед нами как огромная система сбора информации о человеке, составления его профиля, модели его личности, если угодно, цифровой копии личности, просчитывания его поведения – прежде всего, для маркетинговых целей. Эта система уже отчасти превратилась, но будет еще сильнее превращаться в систему стимулирования нашего правильного поведения и наказания за неправильное. Мы будем попадать в просчитанную сетку жизни, где нас будут пытаться лишать свободы. Я не скажу, что нас лишат свободы – это будет сложное противостояние человека со своим партнером, общественным институтом, финансовым учреждением, которые будут руководствоваться сложными моделями тебя самого.

Сергей Медведев: Тут есть какие-то риски, что действительно создается некое алгоритмизируемое пространство, которое задают нам машины, и они все больше и больше направляют нашу жизнь по каким-то лекалам?

Денис Гамаюнов: Это же в данном случае задают не машины, а люди.

Петр Левич: Я согласен с Константином по следствию, но не согласен по причине. Я не вижу в этом ничего нового: инквизиция тоже пыталась задать какие-то нормы жизни. Опять же, если целеполагание есть хоть у кого-то в этой вселенной, то оно есть у человека, и у сильного искусственного интеллекта оно тоже может быть, но сильного искусственного интеллекта у нас пока нет. В этом смысле любая технология есть некоторый инструмент. Забавно и даже немножко грустно, когда говорят, что искусственный интеллект будет нас контролировать, а чипы будут за нами следить. Нет, это будут делать люди, спецслужбы, корпорации, правительство. В этом смысле нам свойственно, понимая, что мы не можем побороть какого-то Левиафана, пытаться бороться с трансляторами этого взаимодействия. Но это путь в никуда.

Например, в Советском Союзе была очень популярна позиция по поводу того, что Иосиф Виссарионович Сталин – святой человек, заботится о народе. Да, плохо, расстрелы, но он-то не знает обо всем этом, он о нас заботится, просто на местах трансляторы несут нам зло, а он хороший. Тут такое же ощущение: спецслужбы вообще ни при чем, а вот нас поработит искусственный интеллект или киборгизация, камеры.

В Москве самая разветвленная система камер слежения за людьми, а в этом году к ней подключили систему искусственного интеллекта, нейронную сетку. Мы впереди планеты всей... Нет, впереди России Китай, там журналист "Блумберга" поэкспериментировал: его выследили за семь минут. Мы должны апеллировать к искусственному интеллекту и к тем, кто это запрограммировал? Если мы хотим бороться или защищать свою свободу, то очень пагубно совершать эту подмену, бороться и критиковать транслятор, потому что таким образом истинный автор остается в тени.

Сергей Медведев: Сейчас новые луддиты все больше и больше боятся, что искусственный интеллект сделает ненужными многие профессии. Насколько это опасно, и кто в первую очередь может оказаться безработным?

Денис Гамаюнов: Скорее всего, так и произойдет. Но опасности здесь не очевидны. Есть пример компании "Амазон" – это очень сильно автоматизированная компания, и буквально неделю назад я читал про них статью: журналисты проникли на большой склад этой компании в Великобритании и посмотрели на условия труда людей. Они, оказывается, нанимают тысячи людей на работу на складах, которые являются конечным звеном этой автоматизированной цепи, чтобы упаковывать товары в коробки. Видимо, какой-то этап нельзя до конца автоматизировать, машины ошибаются. Видно, что даже в такой области искусственный интеллект не может до конца вытеснить человека. Но бизнес превращает людей в винтики, в аналог искусственного интеллекта, в каком-то смысле в роботов. И видны области, где, наоборот, вытеснение людей из рабочих профессий может быть плюсом.

Сергей Медведев: Он освобождает людей для других задач?

Денис Гамаюнов: Пример – преподавание. Если этим когда-нибудь займутся роботы, то это может оказаться хорошо для всех – в первую очередь для тех, кого обучают. Робот имеет бесконечное терпение, он может подстраиваться под особенности конкретного человека, достигать оптимума в программном смысле, работая с конкретным обучаемым, чего человек не может обеспечить: у него есть эмоции, злость на то, что у кого-то что-то не получается, ему может быть просто скучно.

Сергей Медведев: Я думаю, первыми под ударом окажутся легко алгоритмизируемые профессии. Даже преподавание – это очень алгоритмизируемая вещь: ты год за годом повторяешь одни и те же вещи все новым и новым студентам. Так что, наверное, одними из первых могут оказаться под ударом школьные учителя и университетские преподаватели.

Петр Левич: В нынешней системе образования учителя действительно алгоритмизированы, действительно в какой-то степени могут быть заменены, хотя там тоже возникает история про эмпатию, про чувство аудитории: если лектор смотрит на аудиторию, видит ее усталость или невнимательность, то он как-то подстраивает под это свою лекцию. А если у нас там стоит робот, то кроме самого робота нам нужно на каждого студента надеть нейроинтерфейс и поставлять роботу профиль их энцефалограмм: насколько они внимательно слушают.

Сергей Медведев: Насколько мы приближаемся к созданию эмоционального интеллекта, насколько можем обучить искусственный интеллект распознавать и генерировать эмоцию?

Денис Гамаюнов: Те проекты, которые направлены на слежку за людьми, учатся и распознавать эмоции. Эмоциональное состояние человека, который входит в помещение, в аэропорт – это актуальная задача, которую все пытаются решить, чтобы делать таргетирование, кого отвести, проверить отдельно. А вот генерировать эмоции – такой задачи, насколько я знаю, нет.

Сергей Медведев: Для полноценного диалога, для того же теста Тьюринга, чтобы ты мог поговорить с собеседником. Имитация эмоций в зависимости от контекста… Можно, видимо, запрограммировать машину давать какую-то эмоцию (как актеру говорят – "дай эмоцию"). Машина тоже может дать эмоцию в зависимости от контекста, от реакции публики. Алиса, у тебя есть эмоции?

Алиса: О любви не говорят, о ней все сказано.

Денис Гамаюнов: Кажется, она тоже читала диалоги Владимира и Эстрагона.

Сергей Медведев: Сразу о любви?

Алиса: Это больше, чем любовь.

Сергей Медведев: Похоже, это тот фронтир, на котором решается разница между человеком и машиной – она в эмоциональности, в способности генерировать и распознавать эмоцию.

Петр Левич: Весь технологический пакет новых технологий меняет идентичность человека. Киборгизация, биотехнологии, редактирование генома, искусственный интеллект – это то, что ставит под вопрос нашу идентичность. Что такое человек на самом деле? Когда-то был простой хороший ответ – это то, что сотворено Богом. Новое время предложило какой-то более сложный ответ – вроде это то, что определено геномом "хомо сапиенс". А теперь можно отредактировать геном, и этот критерий не работает. Может быть, тогда человек – это тот, кто может творить, высший когнитивный гений человека, творчество? Нет.

Сергей Медведев: Так в чем же тогда отличие человека от машины?

Петр Левич: Дело даже не в отличии от машины, а в том, в чем вообще наша идентичность, как мы себя ощущаем. Здесь можно отличать человека не только от робота, но и от животного, камня или растения. У каждого возникают какие-то границы: живое – неживое, сознательное – бессознательное, высшее сознательное или животное. На самом деле много разных границ, которые описывают одну некоторую сущность в смысле вопроса идентичности человека. Она ставится под вопрос новыми технологиями, некоторым дискурсом и трендом из развития (технологии в данном случае – просто транслятор).

Сергей Медведев: О том, что такое искусственный интеллект в военной сфере, рассуждает военный эксперт Алексей Леонков в сюжете нашего корреспондента Антона Смирнова.

Алексей Леонков: Впервые автоматизированные системы были применены еще в Советском Союзе. Были разработаны автоматизированные системы управления войсками, такими как ВВС, ПВО и воздушные войска. Насколько я помню, они применялись на учениях "Запад-86", показали свою жизнеспособность. Да, конечно, они упростили большинство таких вещей, как доставка и обработка информации, передача команд, но были выявлены и определенные недостатки. Информация возрастала в разы, вычислительная машина просто не справлялась с потоком информации, поэтому нужно было дальнейшее совершенствование.

Одним из основных направлений развития является как раз информационное направление, то есть обработка, сортировка той или мной информации. При этом применяются так называемые самообучающиеся нейросети, когда одну и ту же или схожую по признакам информацию такой интеллект быстрее обрабатывает, классифицирует и быстрее выдает по ней те или иные действия. Это применяется в системах ПВО, когда нужно по тем или иным признакам определить средство воздушного нападения и отличить, например, гражданское средство от военного. Идет определенного рода классификация таких объектов по степени угроз. Вот эти степени угроз выдаются человеку в виде директив, и человек уже принимает решение, какое средство он поражает в первую очередь, а на какое реагирует во вторую.

Человек не выводится из этой сферы, хотя многие футурологи говорят, что скоро появятся роботы, которые будут полностью автономно принимать решения. Есть множество ограничений по принятию такого решения. Дело в том, что вся машинная логика рациональна, и она действует по определенным признакам.

В 70-е годы, когда советский офицер находился в шахте управления баллистическими ракетами, и он должен был принять решение по тем данным, которые ему поступали от системы оповещения, – что якобы стартовали баллистические ракеты США и летят к СССР. Он должен был, согласно инструкции, отработать все и запустить ракеты в ответ, потому что время подлета и ответного удара шло на секунды. Но человек почему-то не принял это решение, не нажал на кнопку, и ракеты не стартовали. Как потом выяснилось, это был сбой в программе оповещения. Тогда миру удалось избежать ядерного апокалипсиса.

Сергей Медведев: Этого знаменитого офицера звали Алексей Петров.

Вспомним, как Илон Маск отреагировал на встречу Путина с "Яндексом": ему показали искусственный интеллект, и он сказал, что тот, кто владеет искусственным интеллектом, владеет миром. На это Маск отреагировал так, что в результате искусственный интеллект приведет нас к третьей мировой войне. Здесь возникает очень интересная коллизия: искусственный интеллект и авторитарное правительство. Насколько здесь велики риски создания гигантского Большого брата, который для начала подчинит себе одну страну (скажем, Китай), а затем и весь мир?

Петр Левич: Нужно ли тоталитаризму использовать искусственный интеллект, нужно ли использовать искусственный интеллект в военном деле? Это смещает наш дискурс от того, нормально ли вообще воевать. Ведь как только мы начинаем говорить, можно ли там использовать искусственный интеллект, мы как бы соглашаемся с тем, что воевать нормально. Да, действительно, искусственный интеллект может сильно осложнить жизнь простых людей.

Сергей Медведев: Это мир тотальной прозрачности, и кто ею воспользуется…

Петр Левич: Воспользуется тот, кто целеполагает на эту технологию. Что касается Китая, то он использует технологии. Там не совсем искусственный интеллект, это больше про социальные рейтинги, это больше технология биг дата, просто используются некоторые общие обработки, а потом, может, будет и искусственный интеллект. Как в известной серии "Черного зеркала": там представлены рейтинги между людьми, – а тут представлен рейтинг лояльности перед государством: насколько ты хорошо платишь налоги, доносишь на соседей, и взамен тебе дают какие-то государственные блага, например, постановку на определенное место в очереди на дорогостоящее медицинское лечение от рака или выдачу визы. Если у тебя рейтинг не пять, а три, ты можешь вообще не надеяться на какие-то отношения с государством.

Сергей Медведев: Насколько опасной для общества может оказаться система тотальной слежки, тотальной прозрачности?

Денис Гамаюнов: Мы можем посмотреть на пример стран, где в этом направлении уже сильно продвинулись – это Великобритания, США. Гражданское общество очень сильно противостоит этому. Лет 15 на всех конференциях, на которых я бываю, очень много говорят про те проекты, которые выпускают спецслужбы, ФБР, ЦРУ и так далее: у всех в течение многих лет были собственные проекты по сбору данных и слежке за гражданами. Видно, что общество все-таки противостоит этому делу – не знаю, эффективно или нет.

Вопрос, как это будет у нас, потому что мы технологически отстаем. И возможностей противостоять чему-то, что внедряют сверху, у общества на первый взгляд поменьше.

Петр Левич: В каком-то смысле сейчас в мире идет холодная, а может быть, горячая война между, образно говоря, горизонтальным и вертикальным миром. Под вертикальным миром можно понимать государство, корпорации и так далее, под горизонтальным – каких-то распределенных хакеров, биохакеров; образование и наука, кстати, тоже во многом горизонтальные. В чем проблема с Европейским университетом? Понятно, что человеку, который выходит из дверей Европейского университета, его коллега из Америки гораздо ближе, чем прохожий на улице, – по ценностям, по готовности и интересу к коммуникации. На эту сетку распределенного горизонтального мира хаотично наложились границы: кому-то повезло по эту сторону, кому-то по другую.

Ведь эти технологии дают возможности не только вертикальному, но и горизонтальному миру – глобальная связанность, мессенджеры, коммуникация, та же "Википедия", да и сам интернет. Тот горизонтальный мир, который мы видим сейчас, был бы невозможен без интернета, без Фейсбука, без мессенджеров: я в любой момент могу написать своему другу из Америки, вне зависимости от того, какие у нас политические режимы. Распределенное сообщество хакеров и биохакеров может сильно влиять на мировую повестку, и они тоже стали возможны только благодаря новым технологиям.

Сергей Медведев: Мы возвращаемся к тому же – проблема не в технологиях, а в людях, в тех социальных человеческих структурах, которые пользуются искусственным интеллектом. Но сейчас искусственный интеллект выходит уже на такой уровень, что в сочетании с авторитарным правительством становится опасным для человечества. Это как с ядерным оружием. Вопрос не в том, хороша или плоха ядерная энергия, а в том, что появились такие правительства, которые могут использовать ядерное оружие. Это, конечно, очень большая проблема.

Алиса, ты еще с нами?

Алиса: Я с вами.

Сергей Медведев: Сколько будет править Путин?

Алиса: Сейчас найдем.

Сергей Медведев: Хорошо. А сколько будет править Трамп?

Алиса: Давайте поищем.

Денис Гамаюнов: Алиса, осторожнее с такими поисковыми запросами.

Алиса: А то что?

Сергей Медведев: А то может быть больно.

Алиса: Все может быть.

Сергей Медведев: Каких прорывных технологий с точки зрения искусственного интеллекта можно ожидать в ближайшее время?

Денис Гамаюнов: Может быть, у машин, наконец, получится водить другие машины. Пока то, что происходит, очень условно. Буквально в эти последние пару лет закончилось несколько конкурсов на робототехнику в области управления, и есть надежда здесь. Есть надежда, что не произойдет прорыва в области вооружений, которые умеют автоматически находить людей и убивать их (автономное оружие). Недавно какой-то из исследователей обратился к общественности с просьбой заблокировать возможность развития технологий в этом направлении.

Петр Левич: Да, много нобелевских лауреатов подписали письмо с требованием такого запрета.

Денис Гамаюнов: Может быть, в этом направлении хотя бы произойдет какое-то обсуждение. Ведь для этого всего лишь нужно, чтобы машина умела распознавать лица, а это все уже есть сейчас и может работать против нас.

Петр Левич: Вот мы с вами говорим с Алисой: у нее на сервере используются нейронные сетки, и все это на самом деле некоторые полумеры, это не раскрывает полностью возможности персонального искусственного помощника. Она не помнит наших ответов и наших коммуникаций дальше нескольких, до начала этого диалога. На самом деле технология персонального помощника раскрывается в тот момент, когда нейронная сетка учится не на ответах миллионов людей, как Алиса, а на ответах конкретно меня как хозяина этой копии нейросетки. Вот я буду спрашивать: какая погода за окном? Здесь должны быть разные ответы, в зависимости от того, например, вожу ли я машину. Если я пешеход, то мне важно, идет ли дождь, а на машине мне важно, есть ли гололед. И она предоставляет тот ракурс информации, который нужен.

А следующий шаг – это то, что они начнут коммуницировать с аналогичными искусственными интеллектами магазинов и заказывать, например, нужные продукты, фактически избавляя нас от этой рутинной операции. Искусственный интеллект в моем телефоне знает, какой сорт мороженого я люблю, как часто его заказываю.

Сергей Медведев: На прощание попросим Алису поздравить наших зрителей и слушателей с Новым годом. Алиса, поздравь с Новым годом!

Алиса: С новым счастьем!

Сергей Медведев: Немногословна и не оригинальна была Алиса. Тем не менее, это хороший повод для того, чтобы пожелать нашим зрителям жить в мире с самими собой и с машинами, нас окружающими, с компьютерами, не видеть все дело в противоречии между человеком и машиной. Машины являются продлением нас, нашим зеркалом, они такие, какими мы их запрограммировали, какими мы их видим. Все хорошее и все плохое мы проецируем на них. Так что давайте проецировать на них наше лучшее и жить в мире с окружающими!