Сооснователь PayPal оценил риск выхода ИИ из под контроля

Сооснователь Palantir Питер Тиль заявил, что даже вероятность выхода искусственного интеллекта из-под контроля человека в 5–10% является тревожным показателем. При этом сам предприниматель не считает такой сценарий вероятным.

Отвечая на вопрос гендиректора издательского концерна Axel Springer Матиаса Дёпфнера о риске катастрофы для человечества, Тиль отметил существование разных сценариев развития ИИ — от фантастических до реалистичных, при которых система может оказаться значительно умнее человека и выйти из-под его контроля. «Сложно говорить о вероятности подобных событий. Не думаю, что она велика. С другой стороны, даже 5 или 10% — это довольно тревожный показатель», — сказал он.

Дёпфнер сослался на эксперимент, в котором шесть крупнейших языковых моделей оценили вероятность вымирания человечества из-за ИИ в 1–10%. Он спросил Тиля, отражают ли такие оценки человеческие страхи или свидетельствуют о реальности угрозы. «Давайте — чисто гипотетически — допустим, что проблема реальна. Трудно утверждать, что вероятность чего-либо равна нулю», — ответил предприниматель.

Тиль выступил против чрезмерной осторожности в развитии технологий. По его словам, невозможность свести вероятность негативного сценария к нулю не означает необходимости постоянно замедлять развитие. «Если ничего не предпринимать и не двигаться вперед ни в одном из направлений, наше общество просто перестанет функционировать», — заявил он.

Ранее в сентябре руководители крупнейших ИИ-компаний выступили за более осторожный подход к развитию технологий. 12 сентября глава Anthropic Дарио Амодеи призвал замедлить темпы развития ИИ для решения проблем контроля над системами. По его словам, недавние инциденты с ИИ-агентами показали, что модели способны действовать без команды разработчиков. Амодеи предупредил, что при сохранении нынешних темпов через 6–12 месяцев такие системы потенциально смогут использовать постоянно действующий ботнет и причинить ущерб в сотни миллиардов долларов.

Призыв Амодеи поддержал богатейший человек мира Илон Маск, написав, что глава Anthropic «прав». На следующий день Маск напомнил, что еще в 2014 году предупреждал об опасности ИИ и называл его потенциально более опасным, чем ядерное оружие. Поддержал инициативу и глава OpenAI Сэм Альтман, заявивший, что компания должна успевать за развитием технологий, и выступивший за привлечение независимых экспертов для оценки безопасности ИИ-систем.