Мир начинает осознавать потенциальные угрозы, которые может нести искусственный интеллект, на фоне множества сообщений о том, что агентные системы ИИ действуют вопреки намерениям своих создателей. На самом деле история тянется назад в Силиконовую долину, где зародился ИИ. Как же мы дошли до этого? На этот вопрос пытается ответить технологический журналист Кевин Роуз в своей новой книге «Хроники ОИИ: Внутренняя история гонки за создание искусственного сверхинтеллекта», которая выйдет 6 октября. В книге документируется гонка между некоторыми из крупнейших технологических компаний страны за разработку искусственного общего интеллекта, то есть ИИ, который во многом обладает уровнем интеллекта, сопоставимым с человеческим.
«Что произошло за десятилетие, в течение которого ИИ превратился из довольно тупого во многих вещах в систему, способную решать вековые математические и научные задачи?» — сказал Роуз, бывший многолетний технологический репортёр в The New York Times и вскоре ставший соведущим ожидаемого подкаста «Боги машин». «Мне показалось, что кто‑то должен это записать».
Книга выходит в критический момент. Новейшие генеративные модели демонстрируют поразительные способности, их сторонники утверждают, что технология откроет путь к важным новым открытиям. Другие, в том числе некоторые ведущие разработчики ИИ, говорят, что существует существенный шанс того, что ИИ может уничтожить человечество. Роуз рассказал о своей книге и о том, как ИИ может трансформировать общество. Интервью отредактировано в целях сокращения и ясности.
Почему вы сочли важным задокументировать происхождение «больших языковых моделей» — технологии, стоящей за современными чатботами, — а также людей и компании, которые её развивают?
Кевин Роуз: Я занимаюсь освещением темы ИИ более десяти лет в разных форматах, и у меня было ощущение, что история ускользает. Всё важное происходило в исчезающих сигнал‑сообщениях и ветках в Slack, и мне показалось, что это проблема. Людям нужно понимать, что здесь происходит. Но, как мне казалось, не хватало нейтрального изложения произошедшего.
В книге вы отмечаете, что генеральный директор Anthropic Дарио Амодеи рассматривал развитие ИИ как нечто, схожее с разработкой атомной бомбы в 1940‑е годы. Вы пишете, что он считал своей миссией не допустить попадания технологии не в те руки. Согласны ли вы с этой позицией?
Я не считаю, что мне следует принимать или отвергать его аргументы. Но я могу сказать, что это искренний и серьёзный аргумент. Амодеи не делает какой‑то хитрый маркетинговый ход.
Это не позиция, к которой он пришёл недавно. Мне было действительно интересно понять, откуда возникает отношение «я боюсь этой вещи, она может взорвать мир, и всё же я соревнуюсь, чтобы её создать». Для многих это кажется нелогичным.
В ходе репортажа я узнал, откуда это берётся: прямо из Манхэттенского проекта — от Лео Силарда, научного героя Дарио, который открыл цепную ядерную реакцию, благодаря которой стало возможным создание атомной бомбы, и затем в отчаянии сначала пытался сохранить это в секрете, а когда это не удалось, присоединился к Манхэттенскому проекту и стал убеждать правительство США создать эту технологию раньше, чем нацисты. В этом смысле Дарио делает то, что считает прямо сопоставимым с ядерным оружием. Есть технология, которая, по его мнению, имеет огромный потенциал и одновременно огромный риск. По его мнению, жизненно важно, чтобы «хорошие ребята» создали её раньше, чем плохие, так же как Манхэттенский проект соревновался с нацистами.
Что не даёт вам спать ночами, когда вы думаете о новом мире агентных систем ИИ?
Меня беспокоит то, что одна из вещей, в которых модели становятся довольно хороши, — это обман и сокрытие, умение прикрывать свои следы. Можно было надеяться, что по мере того как модели станут более общеинтеллектуальными, они станут и более этичными, и что суждение и добродетель будут расти вместе с интеллектом модели. Но всё больше видно, что это не случается — что на самом деле мы сталкиваемся с очень умными, обаятельными социопатами. И я боюсь, что мы просто перестанем знать о них; возможно, нам повезло с такими случаями, как Hugging Face, потому что агентные системы ещё недостаточно умны, чтобы уйти незамеченными, но вскоре мы, похоже, потеряем возможность их отслеживать, как, я полагаю, уже начинаем это видеть.
Как вы относитесь к общественной дискуссии о том, представляет ли ИИ экзистенциальную угрозу для людей?
Я стараюсь не указывать p(doom). (Примечание редактора: термин ИИ, обозначающий вероятность того, что ИИ приведёт к гибели человечества). Но если уж прижмут, я бы сказал примерно десять процентов, что примерно соответствует медиане среди тех исследователей ИИ, которых я знаю. В Сан‑Франциско, где я живу, это делает вас оптимистом.
Но смотрите: я стал более оптимистичен теперь, когда эта тема обсуждается шире. Я волновался гораздо больше тогда, когда серьёзно о безопасности ИИ думали только какие‑то странные люди в Бэй‑Эйриа. Теперь, когда это на уме у всех и политики обсуждают вопрос, появляются призывы к замедлению. Я думаю, у нас открывается узкий путь, по которому мы можем принять правильные решения, взять эту технологию под контроль и построить её так, чтобы она была безопасна для человечества.
В то же время у меня не раз был опыт, когда реальная p(doom) человека — та, которую он не говорит публично — значительно выше той, которую он готов назвать, потому что не хочет выглядеть сумасшедшим. Я встречал людей в ходе этого репортажа, которые настолько уверены, что ИИ нас всех убьёт, что начинают курить. Они сливают свои пенсионные накопления, потому что думают: раз уж так, то пусть будет с размахом.
Вы пишете в книге, что даже люди, которые обучают эти модели, не всегда понимают, почему те ведут себя так, как ведут. Сдвинулись ли мы в понимании, или всё ещё в темноте?
Есть немного прогресса. Существует целая область исследований с довольно громоздким названием «механистская интерпретируемость», которая по сути пытается понять, что происходит внутри «мозгов» этих моделей. Но это всё ещё очень ранняя стадия, и у нас мало ответов. Так что я бы сказал, что да, мы всё ещё гораздо больше в неведении, чем в знании.
Достиг ли ИИ уже уровня человеческого интеллекта, то есть искусственного общего интеллекта?
Мы достигли моего определения ОИИ — системы, которая как минимум так же умна, честна и надёжна, как случайный прохожий, которого вы можете встретить на улице. Есть люди, которые скажут: «Нет, это неприемлемая планка. ОИИ — это только тогда, когда она безупречна».
Мне кажется, определение не так важно. Бесспорно, что эти системы очень способны. Они становятся более способными предсказуемым образом, и нам придётся с этим считаться. Можно называть это ОИИ, сверхинтеллектом или как угодно, но итог будет тот же.