«Пророк» Кремниевой долины сравнил дилемму ИИ с преследующей авто собакой

Философ Ник Бостром, которого называют «любимым пророком» Силиконовой долины, сравнил современное развитие технологий с погоней собаки за машиной. В подкасте The New York Times он рассмотрел не апокалиптический, а утопический сценарий развития ИИ, при котором сверхразум способен удовлетворить большинство потребностей человека и избавить его от повседневных обязанностей.

По мнению Бострома, этот сценарий также не лишен философских проблем. «Какой будет хорошая человеческая жизнь в условиях технологической зрелости? Каким будет наш путь в будущем при этих, в некотором смысле, идеальных обстоятельствах?» — задается вопросом философ. Он отметил, что все человеческие изобретения были направлены прежде всего на облегчение деятельности, и человечество приближается к автоматизации большей части процесса изобретения, что радикально ускорит работу. Наиболее вероятно, это произойдет благодаря машинному сверхинтеллекту.

Бостром подчеркнул, что технологии — это средство, а не цель, но их развитие подразумевает в качестве цели отсутствие ограничений. «Это как собака, преследующая машину. Мы не задумывались о том, что произойдет, если нам удастся достичь здесь успеха», — сказал он.

Ник Бостром — шведский философ из Оксфордского университета, директор Института будущего человечества, где изучается влияние технологий на человечество и возможность глобальной катастрофы. Его называют «пророком» Силиконовой долины из-за «предсказаний» об ИИ, в том числе в книге «Искусственный интеллект. Этапы. Угрозы. Стратегии». Основной посыл — экзистенциальный риск, связанный с вероятностью выхода ИИ из-под контроля, поскольку высокий сверхинтеллект не равноценен морали и мудрости. Бостром допустил, что сверхразум будет стремиться заполучить как можно больше ресурсов, что несовместимо с выживанием биологического вида.

Такую модель будущего он называет «решенным миром» и ставит вопрос: насколько мир, в котором все проблемы решены, подходит для реализации всех остальных целей человечества? Значительную часть времяпрепровождения общества «решенного мира» может составлять игра. «По сути, игры — это когда мы ставим перед собой произвольную цель, чтобы достичь ее, и эта деятельность может казаться нам внутренне ценной», — отметил философ. По его словам, современные люди могут считать такую жизнь опасной утопией, однако это связано с тем, что сейчас она находится за пределами нашего понимания — так же, как жизнь современного человека была за пределами понимания его предков. Он также полагает, что у человечества останутся и «реальные цели», связанные с ценностными традициями и моральным императивом.

В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов агенты ИИ за период от полугода до года потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на «сотни миллиардов долларов».