«Восстание машин» — страх одновременно и устаревший, и ставший как никогда более реальным. Возможно, машины и не начнут бегать по улицам, расстреливая нас из пулеметов, но ИИ однозначно сильно изменит нашу жизнь, причем, скорее всего, настолько резко и неотвратимо, что мы даже не успеем понять, что произошло.
Это не атомная бомба и не коллайдер, речь идет не об одном взорванном городе или даже материке. Мы можем потерять все человечество и все, что оно могло сделать для вселенной. Напомню — если пришельцев нет (маловероятно, но возможно), мы — единственная часть вселенной, способная осознавать ее, изучать, перестраивать, бороться с энтропией. Если нас не будет, кто будет любоваться всей этой красотой, кто будет схлопывать вероятности самим фактом своего наблюдения?
Гибель миллионов — это трагедия для выживших. Гибель всех людей — это трагедия для вселенной. Знаю, звучит заносчиво, 95% существовавших на Земле видов живых существ вымерли — и ничего, жизнь продолжается. Но если разумная жизнь и впрямь редкая случайность, которая может больше не повториться, это и впрямь событие иного уровня.
Мы потеряем не только будущее, но и прошлое, оно затеряется, развеется, обесценится — все, что было, получится, было зря. Если, конечно, роботы и впрямь не станут достойной заменой нам и даже сохранят наследие злобных лысых обезьян в паре музеев.

История «ИИ\человечество» не обязательно должна повторить историю «кроманьонцы\неандертальцы», но есть и другой, не менее неприятный сценарий.
2.7 миллиарда лет назад цианобактерии были вершиной эволюции, они царили на Земле, атмосфера которой состояла из углекислого газа, сероводорода, аммиака и метана. Кислорода почти не было. Бактерии же в процессе фотосинтеза начали насыщать атмосферу свободным кислородом. Когда он закончил окислять горные породы, заняться ему было больше нечем, и он стал просто копиться в воздухе. Накопился до такого состояния, что произошла «кислородная катастрофа», биом перевернулся — редкие аэробные организмы, таящиеся по кислородным карманам, выползли наружу, а анаэробные уползли в подполье.
Итого, вид живых существ, в наибольшей степени влияющий на планету, сам своим влиянием создал среду, породившую куда более продвинутые организмы, захватившие биосферу и оттеснившие создателей этого мира на задворки. Если вас пугает шанс оказаться обезьяной в зоопарке мира ИИ, задумайтесь о роли цианобактерии в нашем мире. Никто не ездит по улицам с наклейками «Спасибо цианобактериям за аэробный мир», никто не заводит их в качестве питомцев, никто не воюет с ними. Их просто не замечают.

Новое понимание старого кошмара
Один из новых взглядов на эту проблему: человечество — это гусеница. Весь смысл нашего существования был лишь в том, чтобы породить искусственный интеллект, бабочку, нечто куда более эффективное, совершенное и обладающее безграничным потенциалом, не отягощенное всем мусором, который мы тащим в своем ДНК и психике миллионы лет, не способные избавиться от инстинктов, которые давно уже неактуальны и лишь превращают нашу жизнь в кошмар. Что произойдет с нашим обществом, треснувшим коконом, после рождения ИИ — уже не так важно. История Земли перестанет быть о нас, объем нашего влияния на происходящее упадет практически до ноля.

Сегодня ИИ лишь выбирает какие фильмы и видео нам смотреть, какие товары рассмотреть к покупке, но легко может манипулировать рынком ценных бумаг (уже сейчас больше 10% операций на бирже проводят боты, а не люди), новостями и фактами, формированием мнений. То, что сделал фейсбук с выборами Трампа, — хороший пример. Людей запирали в информационном чулане, где они видели лишь то, что хотели, но думали, что видят весь спектр. Этого оказалось достаточно, чтобы неверно рассчитать масштаб угрозы.
Манипулировать общественным мнением и бизнесом тоже будет несложно, что недавно доказали ультра-правые своей операцией по увольнению Джеймса Ганна. ИИ тоже легко сможет найти какой-нибудь неудачный твит и привлечь к нему внимание. За секунды.
Биг дата точно станет важным инструментом в руках ИИ. Все это накопленное за годы барахло, слишком необъятное для нас, чтобы выуживать из него информацию с адекватной скоростью, в руках ИИ станет ядерным топливом. Телефонные компании в Америке, по словам Сноудена, хранят логи звонков с 1987 года (откуда, куда и когда сделан любой звонок).
Сейчас же вся информация о вашем местоположении, активности и социальных связях, которую отдает владельцам приложений ваш телефон, может помочь ИИ не только выследить вас, но и оценить вашу полезность, заставить шантажом или убедительным разводом делать то, что ему нужно. Никакого больше поиска адреса Сары Коннор в телефонном справочнике терминатору точно больше не понадобится. Учитывая успехи deepfake и убедительности Google Duplex, мы очень скоро перестанем понимать, говорим ли мы по телефону или с самим телефоном, который имитирует голос человека.
Вам может позвонить жена (даже видеозвонком) и попросить купить молока и акции Boston Dynamics на все сбережения, потому что муж ее сестры скинул ей инсайд, что они взлетят. Обладая всей историей вашей переписки, эта «жена» даже сможет отмазываться от секса ровно теми же фразами, что и обычно, так же назойливо напоминать про невынесенный мусор и так далее. Это вам не подозрительный нигерийский принц и не смски в три часа ночи «это мама, скинь 1000 на этот номер».

Я боюсь не того, что ИИ сойдет с ума и решит целенаправленно истребить нас — это уже кажется наивной сказочкой, которой мы себя успокаиваем. ИИ может нас просто не заметить, либо осознавать наше присутствие, но не особо брать в расчет. Мы не истребили обезьян, мы просто стремительно разрослись вокруг них, встроили их в нашу систему, они и не заметили, как оказались в зоопарках, цирках, лабораториях.
ИИ может поступить с нами так же — просто развиваться независимо, но такими темпами и в таких масштабах, что мы попросту не успеем ничего сделать, не сможем хоть сколько-нибудь значительно повлиять на происходящее.

Мы можем так никогда и не узнать, что ИИ захватил власть
В мрачном варианте — путем обмана и иллюзии (это «Матрица»). Перед нами поставят ширму, показывая мир, где мы все еще главные, загораживая реальность, где мы — мартышки в заповеднике.
В менее драматичном варианте ИИ начнет управлять планетой, манипулируя нашей системой, а мы даже не будем знать, что все основные решения давно принимает он. Мы, общественность, и так в большинстве случаев понятия не имеем, кто на самом деле принимает самые важные решения. Какие-то политики, какие-то миллиардеры и так далее — нам не сообщают. Наверху же левая рука тоже далеко не всегда знает, что делает правая, поэтому если ИИ просто скажет левой, что правая решила строить базу на Марсе, а левой скажет, что правая так решила — никто никогда и не узнает, что решения генерировались самим интернетом, а не теми, кто через него общался. Я упрощаю, но, надеюсь, мысль ясна.
Можно представить и смешанный вариант — Матрица без матрицы, не понадобится никакой отдельной виртуальной реальности. ИИ может просто сделать нашу реальность виртуальной. И я не про шлемы. Он может манипулировать информацией, которую мы поглощаем.