Сергей Медведев: Часть наступившего будущего — это буквально ежедневные успехи нейронных сетей, которые уже не только обыгрывают человека в шахматы, но и пишут музыку. Недавно программисты «Яндекса» представили альбом под названием «Нейронная оборона». Это своего рода продолжение «Гражданской обороны», группы Егора Летова, и нейросеть пишет тексты и музыку в стиле Летова. Написанные компьютером произведения выходят в финал литературных конкурсов. Японская программа написала роман под названием «День, когда компьютер напишет роман». Да, собственно, многие, наверное, пользовались такой вещью, как “Prisma”, новый фильтр: программа сама обрабатывает наши изображения и представляет их в виде работ известных художников.

О том, является ли это искусством и о том, заменит ли компьютер художника, говорим с нашим сегодняшним гостем. Это Петр Левич, директор департамента взаимодействия науки, технологий и общества Московского технологического института, основатель “Future Foundation”.

Музыка, написанная компьютером, литературный текст, написанный компьютером — это искусство?

Петр Левич: Это интересный вопрос. Особенно интересно, что он не технологический, а скорее философский. С точки зрения технологий есть какая-то задача - скопировать стиль и сделать что-то новое на его основе. Эта задача, очевидно, решена. Дальше мы рассматриваем эту ситуацию в контексте общества, в контексте людей и понимаем, что пример с «Нейронной обороной»… «Медуза» сделала тест наподобие теста Тьюринга: там были перемешаны тексты Летова и тексты «Нейронной обороны», и нужно было угадать, где что. 60% людей не справились с этой задачей, не отличили.

Можно задаться вопросом: если, с одной стороны, разницы нет, многие люди не могут отличить, а с другой стороны, есть разница, человек написал или машина, то не будет ли неким лицемерием говорить, что нет, это не искусство, это не настоящее, если отличить невозможно? Если посмотреть чуть глубже, то это философский вопрос, и ответ на него зависит от идей, на которых мы стоим, от отношения души, сознания… Если наше сознание, память и процесс творчества есть просто некое эмерджентное свойство кашицы нейронов у нас в голове (возможно, нейромедиаторов и так далее), то, конечно, нет никакого запрета, чтобы эта кашица сотворила некоторую другую, уже виртуальную, алгоритмическую кашицу, которая это бы сделала.

Сергей Медведев: Я сейчас думаю об определении того, что такое искусство. По-польски искусство - это «штука», «штукарство», по-чешски искусство - «умение». И вообще, это некий процесс производства чего-то руками, головой, языком. В данном случае искусство в своем определении имеет технологическую компоненту. Искусно сделанная шкатулка — вот искусство.

Петр Левич: Это хорошие примеры, которые показывают: мы сейчас понимаем под искусством некоторый человеческий гений, что-то абсолютно новое, чего никогда раньше не было, но это далеко не всегда так. Даже если смотреть этимологию слова, под искусством чаще понимается, скорее, ремесло. Если мы посмотрим на предметы искусства, то за всю историю чего-то принципиально нового было в разы меньше.

Возьмем, например, импрессионистов - вроде как необычное, новое для того времени направление. Но тогда мы должны считать искусством первого импрессиониста, а остальные… Вот они посмотрели на этот стиль, и, как сейчас нейронная сетка… Тогда нейронных сеток не было - человек увидел стиль и создал новое произведение, но в том же стиле. То есть он внес новую идею, но оставил стиль, который уже был до него. Можем мы это считать искусством? Если мы откажем творчеству нейронных сетей в праве называться искусством, тогда мы можем отказать в этом и большей части всего, что сотворили люди, потому что понятно: тех, кто привнес что-то принципиально новое, гораздо меньше. Не секрет, что многие поэты начинают свой творческий путь с подражательства, а потом находят что-то новое. И в этом нет ничего плохого — это вполне естественно.

Сергей Медведев: Да, акт переписывания очень важен и в музыке, и в летописях. Вспоминается знаменитый рассказ Борхеса «Пьер Менар, автор «Дон Кихота»»: человек слово за словом переписал «Дон Кихота» Сервантеса, но переписал, как он утверждает, с другими чувствами и другими мыслями, и таким образом считал это новым произведением.

Петр Левич: Это наталкивает на мысль о том, насколько контекстуально искусство. Когда я рассказываю про этот тест на «Медузе», меня спрашивают: наверное, 60% просто не читали Летова. Я говорю: я как раз очень рад тому, что они его не читали, потому что только в этом случае тест Тьюринга может быть честным. Понятно, что если я наизусть выучил тексты Летова, то я распознаю даже идеально скопированный стиль, потому что Летов этого не писал.

Сергей Медведев: Напомним, что такое тест Тьюринга — это когда ты говоришь с машиной и не можешь определить, говоришь ты с машиной или с человеком.

Петр Левич: Это классический вариант теста Тьюринга. Можно сконструировать виртуальное тестирование, когда он показывает картины, текстовый, когда показывает стихотворения, и так далее. Кстати говоря, классический тест Тьюринга — это конкурс, который, насколько я знаю, довольно долго проводится в Англии, он года три назад был официально пройден, машина обманула 30% судей.

Сергей Медведев: Тогда выходит, что нет ничего сакрального, нет искры божьей, которая может отличить созданное человеком от созданного машиной. Если это набор транзакций, мелких электрических вычислений, которые происходят у нас в мозгу, значит, так или иначе это может быть воспроизведено машиной. Вопрос в том, может ли машина написать новое?

Петр Левич: Я могу на это ответить, исходя из моего мировоззрения. Я атеист, поэтому я считаю, что сознание есть продукт нейронов, эмерджентное свойство этой системы. И тогда у нас нет формального запрета на то, чтобы мы сотворили новое сознание и, соответственно, оно тоже что-то творило. Но при этом, как мы знаем, невозможно доказать отсутствие бога или его наличие. Для человека, который верит, что сознание, наша личность — это некоторое свойство нейронов плюс какая-то частичка, душа, божественная искра, какой-то добавочек, который мы не можем измерить, - очевидно: если это дается нам свыше, то мы не можем уподобиться богу и своими руками создать этот добавочек у машины, у нейронной сетки.

Кстати, я согласен со многими экспертами, что вся наша антропоморфная робототехника и попытка создания искусственного интеллекта кроме прагматичного значения для человечества имеет значение некоего комплекса бога. Мы хотели летать - научились, построили самолеты. Это хотя и прагматичное, но и некоторое трансцендентное желание. Так и в случае с искусственным интеллектом: если мы создадим сознание, значит, мы докажем сами себе, что мы не хуже бога…

Сергей Медведев: …что человек не сотворен Богом, что это вопрос чисто технического развития.

Петр Левич: Нет, тут немножко другое. Это скорее некоторый такой вызов, причем заниматься этим вызовом могут как атеисты, так и верующие. Если верующие по понятным причинам этим занимаются или, наоборот, не занимаются, говорят, что это греховно, мы это не делаем, то атеисты могут этим заниматься просто потому, что они живут в тех же культурных кодах. Даже если они не верят в формальность существования Бога, тем не менее, это вызов - уподобиться ему и сказать: бога нет, а вот я - бог. Это тоже для них актуально. Так что каждый может в этом вызове найти что-то свое, и это очень интересно и волнующе.

Сергей Медведев: Создать мыслящую машину, более того, творящую машину — это богоподобие. Что сложнее - мыслящая машина, искусственный интеллект или творящая машина, искусственный художник?

Петр Левич: Я бы не стал здесь сильно разделять. Прежде всего, в науке до сих пор нет полного понимания того, что такое сознание. Мы вроде понимаем, как это работает: есть нейроны, есть нейромедиаторы… Мы даже можем сделать подобие этого в алгоритме в компьютере, но из этого не следует, что это в принципе познаваемая история. Я думаю, что наука через, 5, 10, 15 лет дойдет до этого. Было много научных загадок, которые теперь разгаданы.

Полного представления о том, как формируются мысли, каковы критерии того, мыслящее это существо или не мыслящее, у нас не существует. Могут ли животные считаться мыслящими существами, или у них есть только инстинкты? Например, есть червь, нематода - если я не ошибаюсь, его нервная система состоит всего лишь из двухсот нейронов. Создана полная компьютерная модель этого червя со всеми связями. В человеческом мозгу их на порядки больше, и таких вычислительных мощностей пока нет.

И по религиозным канонам, и даже по светским соображениям мы считаем, что червячок — это живое, тем не менее, он есть у нас в компьютере, полностью симулированный с точностью до последнего нейрона. То есть в нем нет абсолютно ничего сверх того, что есть, например, у нас на флешке, которую мы вставили в компьютер. На самом деле, кроме интересного технического эксперимента, тут есть очень глубокий смысл.

Сергей Медведев: Для этого надо понять, обладает ли этот червь сознанием, ведь точно так же мы можем смоделировать человеческое сердце, человеческий орган, напечатать печень на 3D-принтере. Напечатали мозг червя с двумястами нейронов…

Петр Левич: Очевидно, что мозг - самый интересный орган. И искать сознание, наверное, надо где-то там, а не в сердце, несмотря на множество метафорических упоминаний о нем в культуре. Да, действительно, мы уверены, что червяк живой, но мы, пожалуй, уверены и в том, что у него нет сознания. А дальше мы говорим: с какого места начинается сознание - с 201 нейрона получится сознание? Нет. У человека оно почему-то есть. Есть ли оно у собаки? Собака же гораздо умнее червяка...

Предположим для простоты, что сознание есть только у человека. Значит ли это, что любой человек может заниматься творчеством? Похоже, что да. Мы не знаем человека, который не мог бы физически заниматься творчеством. Мы можем представить себе человека, которому лень это делать, который никогда не пробовал это делать. Но ведь творчество – это не только возможность написать картину, которая висит в Лувре или в Третьяковской галерее. Даже ребенок что-то рисует. Наверное, каждый может что-то такое делать. Возможно, потенция к творчеству - это неотделимое свойство человеческого сознания. Во всяком случае, у нас нет доказательств обратного.

Сергей Медведев: Однажды мы в этой программе обсуждали эпизод, когда машина выиграла у человека в го. Там был совершенно потрясающий момент для ее создателей, программистов: машина начала придумывать варианты, которые не были в нее заложены, она начала фантазировать и импровизировать, и придумала абсолютно новые варианты партий.

Петр Левич: Слова «импровизировать» и «фантазировать» - очень антропоморфные, нужно быть очень осторожными, применяя их к нейронной сети. Я не могу утверждать, что вы сейчас сделали какую-то фактическую ошибку, но так же я не могу утверждать, что эти слова точно отражают то, что реально происходило внутри. Это достаточно сложный вопрос.

С другой стороны, это очень важная особенность нейронных сетей: мы действительно не можем заранее спрогнозировать, как будет работать программа. Мы пишем основной код, как она будет обучаться, даем ей выборку, на которой она будет обучаться, но результат непредсказуем.

Тут стоит упомянуть один печальный пример использования машинного обучения, которое нельзя заранее предсказать. Американцы в Пакистане уничтожали боевиков с помощью программы, которая называлась «Скайнет». (Не знаю, кто подал им идею именно так назвать программу. Так же называлась программа в «Терминаторе» - то ли это очень тонкий троллинг… Но когда речь идет о человеческих жизнях, троллинг, возможно, является излишним.) Эта программа анализировала данные пакистанских мобильных сетей и искала по некоторым профилям, похожим на профили террористов, как они используют эсэмэски, геолокацию, какова длительность переговоров и так далее, и говорила: этот человек – террорист; прилетали дроны и убивали этого человека. Потом были расследования, какие-то организации, правозащитники добрались до этих данных, и в результате оказалось, что достоверность этих результатов не очень понятна. Раньше мы могли сказать: этот человек — шпион, он принес неправильные данные, этот человек не был террористом (или был)... А здесь программа не объясняла свои действия.

Сергей Медведев: И непонятно, кого привлекать к ответственности…

Петр Левич: На любом этапе программу можно поставить на паузу и запросить ее лог, понять, что она делает в этот момент. Но, если мы говорим о нейронных сетях, никогда нельзя предположить, что будет в итоге. Действительно, не очень понятно, кто виноват и как это делать. Проблема еще в том, что очень мало террористов с готовыми паттернами, поэтому обучение было сложным.

Сергей Медведев: Кому, прежде всего, стоит опасаться конкуренции - где машина может более-менее эффективно заменить художника?

Петр Левич: Я не считаю, что именно люди творчества столкнутся с той проблемой, что роботы или программы их заменят.

Сергей Медведев: Я, например, могу предположить - сценаристы сериалов. Я бы в первую очередь задал это компьютерным программам. Или авторы романов типа Татьяны Устиновой…

Петр Левич: Искусство контекстуально. Когда мы говорим: «мне нравится такое-то произведение», мы не можем разделить непосредственный результат творчества автора и то, что мы знаем об этом человеке. Это один тип искусства. Второй тип искусства — это написание сценариев к сериалам или какие-то романы с достаточно шаблонным сюжетом. Наверное, это и изначально нельзя было считать творческим процессом, потому что это действительно сильно алгоритмизировано.

Вряд ли машина заменит людей творческих профессий. Даже если это будет технически возможно, то потребителю очень важна контекстуальность.

Это, кстати, относится не только к области творчества. За исключением редких случаев каких-то профессий на заводах или таксистов, предположим, относительно интеллектуальные профессии будут заменены не роботами, а некими киборгами, такими цифровыми кентаврами. То есть мы не будем конкурировать с искусственным интеллектом, а будем с ним объединяться, кооперироваться.

Вы говорили о го, но и шахматы там тоже где-то неподалеку. Бывают турниры, проходящие по свободным правилам, и там участвуют игроки, которые играют либо без компьютера, либо просто копируют ходы компьютерной программы, либо любые другие промежуточные варианты. Человек может то сам делать ходы, то советоваться с компьютером. Оказывается, что в таких турнирах всегда побеждают не гениальные гроссмейстеры и не люди, бездумно копирующие ходы с компьютера, а те, кто очень хорошо умеет взаимодействовать. Студенты-программисты, которые хорошо играют в шахматы, сами писали эту программу и хорошо с ней взаимодействуют, но пока это не киборги. А когда интерфейс будет нейрокомпьютерным, вживленным или еще каким-то, это будет самая конкурентоспособная сущность между обычным человеком и просто компьютером.

Сергей Медведев: Остается некая человеческая сущность, которая делает более конкурентоспособным этого киборга, кентавра, человека-компьютер. Что это — целеполагание, свобода? Вы правильно сказали, что мы от технологий идем впрямую к философии. Мы говорим о том, в чем сущность человека. Но машины могут принять на себя все больше и больше наших функций: нам уже не нужно водить автомобили, нам уже не нужны многие ежедневные жизненные действия, машина уже написала за нас текст, журналистская профессия под угрозой в смысле не журналистики мнений, а журналистики факта, новостные агрегаторы и так далее… Что осталось от человека?

Петр Левич: Останется то, что мы с вами сейчас делаем — просто беседуем, делаем то, что нам интересно. Мы же делаем это не только для того, чтобы люди слушали программу. Возможно, мы бы с вами беседовали, даже если бы нас никто не слушал - просто потому, что нам интересна эта тема. Если все будут делать роботы, почему бы людям просто не беседовать, не давать задачи роботам?

Если проследить процесс делегирования человеческих функций машинам, то сначала это был физический труд, потом - хранение информации, потом - ее обработка, потом - обработка метаинформации, а теперь это создание новой информации на основе другой информации. В каждом таком переходе делегирования новых когнитивных функций человечеству не оставалось меньше задач, ему доставались более сложные задачи. Вот мы делегировали им хранение информации, а себе оставили обработку, мы делегировали им обработку метаинформации, а нам осталась работа с информацией еще более высокого порядка.

Теперь уже не так ценно написать красивую картину в стиле Ван Гога, потому что это может сделать и компьютер. Остается более сложная задача — попробуй придумать новый стиль, новый смысл, новую онтологию. Как только мы делегируем новое компьютеру, человечество не глупеет, не тупеет, как часто утверждают эксперты, а наоборот, нам остаются более сложные задачи.

Сергей Медведев: Делать шаг вперед, освобождать себя для все более сложных задач…

Петр Левич: Хороший пример с адронным коллайдером. Мы не можем создать такой сложный объект без помощи компьютера: нужно, чтобы он хранил хотя бы информацию обо всех деталях и соединениях. Но если бы мы принципиально не использовали компьютер для его постройки, не случилось бы так, что мы бы эволюционировали собственным мозгом еще лет 20 и построили бы его - нет, мы бы его просто никогда не построили. Так вот, я лично за то, чтобы использовать компьютеры по максимуму, чтобы делать все более сложные вещи, чтобы нам оставались еще более сложные вещи. И это, наверное, и есть в прагматическом смысле технический прогресс. А если смотреть шире, то, на мой личный взгляд, это, может быть, смысл существования человечества.

Сергей Медведев: Совершенствование целей человечества, расширение горизонта познания…

Петр Левич: На самом деле сейчас мы в большинстве своих работ тоже являемся некоторым соединением такого высококогнитивного существа с целеполаганием и робота.

Предлагаю нашим слушателям такой эксперимент: порефлексировать, что они сегодня делали. И окажется, что некоторый процесс творчества, придумывания чего-то нового, например, планов, концепции развития проектов, работ и так далее, занимал у них один процент времени (а может быть, и меньше).

Например, я в “Exel” делаю план проекта. Я запускаю “Exel”, выбираю шрифт, выбираю ширину ячейки, а потом долю секунды или две секунды думаю: а что я хочу… Потом я это печатаю, потом сохраняю файл, потом отправляю его кому-нибудь еще, а тут интернет падает, и я восстанавливаю интернет. Человек долю секунды представляет, что он вылепит, а потом два часа…

Сергей Медведев: Компьютер освободит человека для мыслей, для создания целей и смыслов. Существует же очень много технических задач. У музыканта есть, например, аранжировка, инструментовка, которая занимает очень много времени. Почему старые мастера брали такое огромное количество учеников? Потому что нанесение слоев лака на картину — это технологическая вещь.

Петр Левич: Человек сначала представляет образ. Если бы он представил этот образ, а потом это сразу появилось бы, 3D-принтер быстренько напечатал бы… Может быть, кому-то нравится и процесс тоже, но непосредственно рутинный процесс – это не творчество. Творчество — это когда человек представил себе эту картину.

Сергей Медведев: В этом смысле вы отвечаете на вопрос Бродского: он когда-то говорил, что поэзия вообще является видовой целью человечества, человечество существует для того, чтобы писать стихи. То есть даже если поэзию у нас отнимут компьютеры, то эта цель не исчезнет, потому что компьютеры не отнимут поэзию целиком, человек все равно будет придумывать смыслы для этой поэзии, а компьютеры будут как-то оформлять это технологически.

Петр Левич: Многие поэты писали «в стол» и вообще, ради себя. Когда человек пишет стихи, возможно, ему гораздо важнее высказать что-то свое. Может быть, потом никто и не будет это читать.