[Перевод] ИИ-дилемма: рост против риска для человечества. Разбираем этически неоднозначную статью экономиста Чарльза Джонса

Публикуется полный перевод статьи The AI Dilemma: Growth versus Existential Risk, опубликованной в 2024 году за авторством Чарльза Джонса (Charles I. Jones).

Эта статья ставит непростой этический вопрос: можем ли мы обменять ускоренный экономический рост и (возможное) увеличение продолжительности жизни, которое нам сулит повсеместное внедрение ИИ и рост самого ИИ до (предполагаемого) суперинтеллекта, на риски, связанные с полным уничтожением человечества как вида? В статье предлагается математическая модель, включающая параметры ускорения экономического роста, увеличения продолжительности жизни и риск уничтожения человечества сверхсильным ИИ. Этически неоднозначной статью делает утверждение, что существует и может быть теоретически оценен уровень риска для человечества, который "допускается принять" в обмен на ускорение экономического роста и увеличение средней продолжительности жизни...

Кроме того, текст и формулы снабжены комментариями @avshkol для помощи в понимании формул и части сложных мест работы, а также критическими комментариями @avshkol там, где предположения и выводы, сделанные в модели, заслуживают критики или иного взгляда (см. заключительный комментарий).

The AI Dilemma: Growth versus Existential Risk^*

By Charles I. Jones**

* По ссылке https://doi.org/10.1257/aeri.20230570 можно ознакомиться со страницей статьи для получения дополнительных материалов и заявления о раскрытии авторства

** Стэнфордский университет и NBER (электронная почта: chad.jones@stanford.edu). Габриэль Ходоров-Рейх был соредактором этой статьи.

Благодарности

Я благодарен Жан-Феликсу Бруйетту, Тому Дэвидсону, Себастьяну Ди Телле, Майе Иден, Джошуа Гансу, Тому Хоулдену, Питу Кленоу, Антону Коринеку, Кевину Куруку, Паскуалю Рестрепо, Шарлотте Зигманн, Крису Тонетти, Филу Траммеллу, а также участникам семинаров в Markus Academy, Федеральном резервном банке Миннеаполиса, конференции NBER по ИИ, Оксфорде, PSE Macro Days 2023, Стэнфорде и USC за полезные комментарии и обсуждения.

Классификация JEL

D11 Экономика потребителя: теория
D81 Критерии принятия решений в условиях риска и неопределённости
H43 Оценка проектов; социальная ставка дисконтирования
I31 Общее благосостояние; благополучие
O31 Инновации и изобретения: процессы и стимулы

ИИ-дилемма: рост против риска для человечества

Достижения в области искусственного интеллекта (ИИ) — это палка о двух концах. С одной стороны, они могут ускорить экономический рост, поскольку ИИ расширяет наши инновационные возможности. С другой стороны, многие эксперты опасаются, что эти достижения таят в себе экзистенциальную угрозу: создание сверхразума, не согласованного с человеческими ценностями, может привести к катастрофическим последствиям и, возможно, даже к вымиранию человечества. В данной статье рассматривается оптимальный уровень использования технологий ИИ в условиях реализации подобных возможностей и рисков. При каких условиях нам следует продолжать стремительное развитие ИИ, и при каких следует остановить его?

Недавние достижения в области искусственного интеллекта, вероятно, повысят уровень жизни в ближайшие годы. Сворачивание белков, распознавание речи и поразительные успехи генеративных моделей в создании текста и изображений в последние годы превзошли все ожидания (Bubeck et al. 2023). Вполне вероятно, что в ближайшей перспективе ИИ расширит наши способности к инновациям, и, безусловно, может статься, что ИИ сравняется или даже превзойдёт человеческий интеллект во многих когнитивных задачах и даже начнет самостоятельно производить инновации. Как только машины смогут генерировать идеи, то ограничения роста, определяемые количеством и качеством исследователей-людей, могут перестать действовать. Темпы роста могут ускориться настолько, что потенциально приведут к так называемой «сингулярности» с бесконечным потреблением. Модели в этом направлении исследовались в работах Aghion, B. Jones и C. Jones (2019); Trammell и Korinek (2020); Davidson (2021); Nordhaus (2021); а также Erdil и Besiroglu (2023).

С другой стороны, эти достижения сопряжены с риском. Значительная часть ИИ-сообщества, включая ведущих исследователей из OpenAI и Google, предупреждает, что эти достижения могут представлять экзистенциальную угрозу для человечества: либо из-за злонамеренного использования ИИ «плохим актором», либо, возможно, даже со стороны самого сверхразумного ИИ.

Проще говоря, ИИ может повысить уровень жизни сильнее, чем электричество или интернет. Но он может создать риски, превышающие риски от ядерного оружия. Более того, эти возможности, насколько бы вероятными или невероятными они ни были, взаимосвязаны. Именно то состояние мира, в котором ИИ достаточно силен, чтобы обеспечить беспрецедентный рост уровня жизни, представляется наиболее вероятным источником экзистенциального риска. В данной статье рассматривается оптимальное использование ИИ в условиях этого двойственного эффекта. При каких условиях нам следует продолжать стремительное развитие ИИ, а при каких — остановить?

Цель статьи не в том, чтобы дать точный ответ на этот вопрос, поскольку ответ, безусловно, будет зависеть от параметров, которые мы не можем точно измерить. Вместо этого в статье предлагаются разработанные автором простые модели для прояснения задействованных в этом процессе экономических сил.

В результате даётся несколько важных выводов:

Крайне важна кривизна функции полезности. При логарифмической функции полезности модели проявляют поразительное равнодушие к экзистенциальному риску, что позволяет предположить следующее: огромные выигрыши в потреблении, которые может дать ИИ, стоят азартных игр с вероятностью вымирания один к трем.
Для CRRA-функции полезности с коэффициентом относительного избегания риска () равным двум или более, картина резко меняется. Эти функции полезности ограничены, а предельная полезность потребления быстро падает. Такие модели весьма консервативны в вопросе обмена выигрыша в потреблении на экзистенциальный риск.
Эти выводы распространяются и на сценарии сингулярности, в которых самосовершенствующийся ИИ генерирует ускоряющийся рост и бесконечное потребление. Если функция полезности ограничена, как в стандартных функциях полезности, которые мы часто используем в самых разных приложениях в экономике, то даже бесконечное потребление дает конечную полезность. Модели с остаются консервативными в отношении экзистенциального риска.
Важное исключение возникает, когда быстрые инновации, облегченные внедрением ИИ, увеличат ожидаемую продолжительность жизни. Этот выигрыш находится «в тех же единицах», что и экзистенциальный риск, в том смысле, что он не сталкивается с резко падающей предельной полезностью потребления. Даже при сильной ориентации на будущее, которая появляется из-за низкого коэффициента дисконтирования, снижение смертности благодаря ИИ может сделать приемлемыми огромные экзистенциальные риски.

В Разделе II разрабатывается простая модель для иллюстрации этих соотношений. Затем в Разделе III анализ расширяется за счет включения более развитой теории динамики, возможности наступления сингулярности и перспективы того, что ИИ-инновации увеличат ожидаемую продолжительность жизни.

Смежная литература

Серьезные опасения по поводу экзистенциального риска, связанного с ИИ, были подчеркнуты в работах Joy (2000); Bostrom (2002, 2014); Rees (2003); Posner (2004); Yudkowsky (2008); и Ord (2020). Эти опасения усилились по мере прогресса самого ИИ. Недавний обзор представлен в работе Ngo, Chan и Mindermann (2023).

Недавний сборник конференции по экономике ИИ (Agrawal, Gans и Goldfarb, 2019) освещает ряд потенциальных затрат и выгод. Brynjolfsson и McAfee (2014) подчеркивают огромные выгоды от ИИ, в то время как Brynjolfsson, Rock и Syverson (2021) отмечают, что первоначальный рост может замедлиться по мере внедрения организационных изменений, что схоже с внедрением электричества и информационных технологий. Acemoglu и Lensman (2024) показывают, что оптимальное внедрение трансформирующих технологий, связанных с большими затратами и выгодами, может быть отложено, если затраты в некоторой степени необратимы.

C. Jones (2016) рассматривает компромиссы между экономическими выгодами новых технологий и их потенциальными затратами с точки зрения потерянных жизней, например, из-за ядерного оружия, биологических угроз или рисков, связанных с передовой наукой. По мере того как мы богатеем, может стать оптимальным замедлить экономический рост или, по крайней мере, перенаправить инновации на спасение жизней. Настоящая статья отличается тем, что фокусируется непосредственно на ИИ и количественно оценивает эти компромиссы.

Aschenbrenner (2020), а также Aschenbrenner и Trammell (2024) фокусируются на экзистенциальном риске в целом, предполагая, что он растет по мере увеличения совокупного потребления и снижается благодаря усилиям по его смягчению. Они предполагают, что мы можем попасть в «опасные времена», если мы достаточно продвинуты, чтобы сталкиваться с высоким риском, но еще недостаточно богаты, чтобы достаточно тратить на его смягчение. Martin и Pindyck (2015, 2021) рассматривают катастрофы и то, как стоимость среднестатистической жизни может быть использована для оценки выгод от их предотвращения. Все эти работы, как и настоящая статья, опираются на исследования Rosen (1988); Murphy и Topel (2003a); Nordhaus (2003); и Hall и C. Jones (2007) в осмыслении того, как следует оценивать человеческие жизни.

I. Простая модель

Предположим, что достижения в области ИИ позволяют компьютерам дополнять и даже заменять людей в инновационной деятельности, что приводит к ускорению экономического роста до некоторого уровня , возможно, до 10 процентов в год. Однако, использование такого ИИ создает экзистенциальный риск для человечества. С одной стороны, использование передового ИИ в течение периодов повышает потребление на душу населения до $c = c_{0}e^{gT}$ , но в то же время вероятность того, что человечество выживет, составляет $S(T) = e^{- \delta T}$ .

Комментарий от @avshkol: Как понимать формулы выше?

Как понимать формулу роста потребления на душу населения :

: начальный уровень потребления на душу населения (до внедрения мощного ИИ).
: темп экономического роста, который обеспечивает ИИ (в примере автора это может быть 10% или 0,1 в год).
: время (или «интенсивность»), в течение которого мы используем этот мощный ИИ. Автор называет это «количеством лет», но в упрощенной модели это скорее мера того, «насколько далеко» мы заходим в использовании технологии.
$e^{gT}$ : это стандартная формула расчета непрерывного сложного процента. Если экономика растет с постоянной скоростью , то через время размер экономики (и потребление) умножается на экспоненту от произведения скорости на время.

Итак, чем дольше () мы используем ИИ, тем богаче мы становимся. Потребление растет экспоненциально.

Вероятность выживания

$\delta$ (дельта): Мгновенная вероятность экзистенциального риска (катастрофы) в единицу времени. Например, если $\delta = 0.01$ , это означает 1% риск гибели человечества каждый год использования ИИ.
то же самое время использования ИИ, что и в предыдущей формуле.
$e^{-\delta T}$ : Эта формула происходит из теории пуассоновских процессов (экспоненциальное распределение времени до наступления события).

Почему именно такая формула, $e^{-\delta T}$ ? Представим, что риск гибели — это случайное событие, которое может произойти в любой момент с постоянной интенсивностью $\delta$ . Тогда:

Вероятность не погибнуть за один маленький промежуток времени dt равна примерно $(1 - \delta dt)$ .
За большой период вероятность выжить равна произведению вероятностей выживания за все маленькие промежутки. В пределе это дает экспоненту с минусом: $e^{-\delta T}$ .

Итак:

Если (мы не используем ИИ), вероятность выживания (100%).
Чем больше времени мы используем ИИ, тем меньше вероятность выживания.
Если $\delta T = 1$ , вероятность выживания падает до $1/e \approx 37\%$ .
Это означает, что риск накапливается со временем. Чем дольше мы играем с огнем (используем опасный ИИ), тем выше шанс, что «игра» закончится катастрофой.

Автор ставит перед обществом задачу оптимизации:

Выгода: Увеличить , чтобы получить как можно большее потребление $c = c_0 e^{gT}$ .
Цена: Увеличение снижает вероятность того, что кто-то вообще сможет насладиться этим потреблением, так как вероятность выживания $S(T) = e^{-\delta T}$ при этом падает.

Цель модели, которую ставить автор — найти оптимальное значение , которое максимизирует ожидаемую полезность (expected utility):

$EU = S(T) \times U(\text{полезность от потребления } c)$

Здесь U(c) — это функция получаемой субъективной полезности от объема потребления (например, логарифмическая).

Таким образом, вводимые формулы показывают своеобразный обмен: богатство против выживания. Экспоненциальному росту богатства противостоит экспоненциальное падение шансов на выживание.

Мы еще больше упростим модель, чтобы она стала по сути статической. Единственным решением будет выбрать интенсивность использования ИИ (хотя мы иногда будем вольно называть этот параметр «на сколько лет»). Весь рост и экзистенциальный риск в такой статической модели реализуются немедленно, а не с течением времени, и, если общество выживет, люди будут потреблять постоянный объем $c = c_{0}e^{gT}$ навсегда.

Общественное благосостояние для постоянного населения человек, получающих до конца жизни постоянный поток полезности , равно

$U = N\int_{0}^{\infty}e^{-\rho t}u(c)dt = \frac{1}{\rho} Nu(c)$ .

Комментарий от @avshkol: Как понимать формулу общественного благосостояния?

Эта формула описывает, как экономисты переводят ежегодное счастье (полезность) одного человека в общую ценность для общества за всё будущее время.

Давайте разберем её по частям:

$U = N\int_{0}^{\infty}e^{-\rho t}u(c)dt = \frac{1}{\rho} Nu(c)$

: количество людей в обществе (предполагается постоянное население).
: полезность (удовлетворение), которую получает один человек за один год от потребления уровня . Это «поток счастья» в единицу времени.
$\rho$ (читается как "ро"): ставка дисконтирования. Показывает, насколько мы ценим настоящее больше будущего. Если $\rho$ велико, нам всё равно, что будет через несколько лет, мы живем сегодняшним днем. Если $\rho$ мало, мы сильно заботимся о своем будущем и о будущих поколениях.
: Время, идущее от 0 до бесконечности $\infty$ .
$e^{-\rho t}$ : Коэффициент дисконтирования. Он «уменьшает» вес будущего счастья, будущей полезности. Чем дальше момент времени , тем меньше вклад этого момента в общую сумму полезности.

Смысл интеграла в том, что он суммирует полезность за все будущие годы. Поскольку постоянно (потребление не меняется со временем в этой упрощенной модели), мы выносим его за знак интеграла.

Математически это стандартный интеграл от экспоненты:

$\int_{0}^{\infty} e^{-\rho t} \, dt = \left[ -\frac{1}{\rho} e^{-\rho t} \right]_{0}^{\infty} = 0 - \left( -\frac{1}{\rho} \cdot 1 \right) = \frac{1}{\rho}$

Экономический смысл результата $\frac{1}{\rho}$ таков: это мультипликатор бессрочного потока.

Если ставка дисконтирования $\rho = 0.05$ (5% в год), то $\frac{1}{\rho} = 20$ .
Это значит, что вечный поток полезности равен текущей годовой полезности, умноженной на 20.
Чем ниже ставка дисконтирования $\rho$ (чем больше мы ценим будущее свое и других поколений), тем больше этот множитель и тем выше общая ценность общества.

Итак, общее благосостояние общества равно:

Годовой полезности одного человека ,
Умноженной на количество людей ,
Умноженной на коэффициент капитализации вечного потока $\frac{1}{\rho}$ .

Другими словами, автор говорит: «Представьте, что если человечество выживет, оно будет жить вечно с одним и тем же уровнем богатства. Чтобы оценить ценность такого "рая", мы берем годовое счастье одного человека, умножаем на количество всех людей и затем умножаем на "вечный множитель" $1/\rho$ , который обратно зависит от того, насколько сильно мы обесцениваем будущее».

В контексте статьи эта формула нужна, чтобы сравнить два сценария:

Рисковать всем сейчас ради огромного роста потребления (что увеличит ).
Или сохранить текущий уровень, но избежать риска полного уничтожения (при котором станет равным 0).

Постоянные экзогенные темпы роста или сокращения населения лишь изменят ставку дисконтирования $\rho$ на $\rho - n$ ; следовательно, они уже неявно учтены.

Таким образом, задача сводится к статической проблеме выбора для максимизации ожидаемой полезности, где математическое ожидание берется с учетом экзистенциального риска:

$EU = S(T) \cdot \frac{1}{\rho} Nu(c) = e^{-\delta T} \cdot \frac{1}{\rho} Nu(c_0 e^{gT})$ .

Комментарий от @avshkol: Как понимать формулу выше?

О корректировке ставки дисконтирования при росте населения

В базовой формуле благосостояния

$U = N \int_{0}^{\infty} e^{-\rho t} u(c) dt$

предполагалось, что население постоянно. Однако в реальности население может расти или сокращаться.

Если население растет с темпом n (то есть $N_t = N_0 e^{nt}$ ), то под интегралом появляется множитель $e^{nt}$ .
При перемножении экспонент показатели складываются: $e^{-\rho t} \cdot e^{nt} = e^{-(\rho - n)t}$ .

Экономический смысл: Рост населения работает как антидисконтирование. Даже если люди сильно обесценивают будущее и очень высоко ценят настоящее, здесь и сейчас (т.е. наблюдается высокое $\rho$ ), тот факт, что в будущем будет жить больше людей, увеличивает совокупную полезность будущих периодов. Эффективная ставка дисконтирования для общества становится ниже: $\rho_{eff} = \rho - n$ .

Автор отмечает, что этот параметр уже неявно учтен, поэтому в дальнейших выкладках можно продолжать использовать символ $\rho$ , понимая под ним эффективную общественную ставку дисконтирования.

Сведение к статической задаче:

Это одна из основных формул модели, она показывает, как оценивается решение об использовании ИИ в условиях неопределенности.

Структура формулы:

$EU = \underbrace{S(T)}_{\text{Вероятность выживания}} \times \underbrace{\left( \frac{1}{\rho} N u(c) \right)}_{\text{Ценность мира при выживании}}$

где:

$S(T) = e^{-\delta T}$ : Вероятность того, что человечество вообще доживет до момента потребления благ. Это «вес» успешного сценария.
$\frac{1}{\rho} N u(c)$ : Благосостояние общества в случае, если катастрофы не произошло. Как мы разобрали ранее, это капитализированная стоимость вечного потока полезности.
$c = c_0 e^{gT}$ : Уровень потребления, который зависит от выбранной интенсивности использования ИИ ().

Почему задача стала статической? Вместо того чтобы моделировать каждый год по отдельности (где в каждом году есть риск гибели и поток потребления), автор «схлопывает» всю бесконечную временную линию в одну точку выбора:

Мы выбираем параметр (интенсивность/длительность использования ИИ) один раз.
Этот выбор мгновенно определяет два исхода: уровень богатства и вероятность выживания .
Ожидаемая полезность () — это просто произведение вероятности успеха на ценность успеха.

Суть оптимизации в том, что максимизация по означает поиск баланса между риском гибели и уровнем благосостояния в случае успеха. УвеличениеT:

Увеличивает второй множитель $\frac{1}{\rho} N u(c)$ за счет роста .
Уменьшает первый множитель за счет накопления риска.

Оптимальное находится там, где предельная выгода от дополнительного роста потребления в точности компенсируется предельным увеличением риска уничтожения всего этого будущего благосостояния.

Заметим, что и $\rho$ просто масштабируют общественное благосостояние вверх или вниз, но выпадут из условия первого порядка. Каждый из человек выигрывает от более высокого роста, и каждый несет потери, если мир рухнет. А приведенная стоимость бесконечного будущего просто пропорциональна ежегодному потоку через коэффициент $1/\rho$ .

Из условия первого порядка следует, что оптимально использовать ИИ до тех пор, пока

$\delta \cdot \frac{N}{\rho} v(c)\leq g\cdot \frac{N}{\rho}$ ,

(Потерянные жизни ${\leq}$ Дополнительный рост)

где $v(c)\equiv \frac{u(c)}{u'(c)c}$ .

Если мы позволим ИИ работать еще один период, затраты будут представлять собой вероятность наступления конца света , что означает потерю на человека, масштабированную на для учета количества населения и приведенной стоимости; мы делим на , чтобы перевести полезность в единицы потребления, и рассматриваем отношение к , потому что компромисс заключается в более высоком темпе роста, который сам по себе является процентом от величины потребления. Таким образом, стоимость потерянного года жизни равна

$v(c) \equiv u(c)/[u'(c)c]$ .

Комментарий от @avshkol: Как понимать формулы выше?

Этот фрагмент описывает условие первого порядка (First-Order Condition) для оптимизации. Это способ найти точку равновесия, в которой выгода от еще одного шага в увеличении использования ИИ в точности равна риску этого шага.

Разберем формулу и логику автора.

Условие оптимума

$\delta \cdot \frac{N}{\rho} v(c) \le g \cdot \frac{N}{\rho}$

Здесь сравниваются Предельные издержки (слева) и Предельные выгоды (справа).

$\frac{N}{\rho}$ : Этот множитель есть и слева, и справа. Он отражает масштаб общества и его характеристику в отношении оценки будущего: — количество людей, а $1/\rho$ — коэффициент капитализации будущего потока ценности (насколько мы ценим будущее). Поскольку этот множитель одинаков с обеих сторон, его можно сократить.
$\delta$ (дельта): Вероятность того, что использование ИИ приведет к концу света прямо сейчас.
: Темп роста потребления, который мы получаем за этот период.

Если сократить $\frac{N}{\rho}$ , условие упрощается до: $\delta \cdot v(c) \le g$

Это соотношение можно прочитать так:

Мы должны использовать ИИ дальше, только если дополнительный темп роста экономики превышает ожидаемые потери от риска гибели $\delta \cdot v(c)$ .

Что такое v(c)?

Автор вводит специальную величину: $v(c) \equiv \frac{u(c)}{u'(c) c}$

Это можно трактовать как «Стоимость года жизни в единицах потребления». Давайте разберём, как она получается:

: Полезность (счастье) от текущего уровня потребления. Это то, что мы теряем, если прекращаем потребление (в результате гибели от действий ИИ в данной модели).
: Предельная полезность. Она показывает, насколько сильно растет счастье, удовольствие от потребления при росте потребления на одну единицу.
Деление : Переводит «единицы счастья» обратно в «единицы денег/потребления», поскольку единицы полезности сокращаются. Это стандартный прием в экономическом анализе: чтобы сравнить разные блага, их приводят к общей денежной мере.
Деление на : Нормирует эту стоимость относительно текущего уровня потребления.

Величина отвечает на вопрос: «Сколько годовых расходов (в процентах от текущего дохода) человек готов отдать, чтобы прожить еще один год?» В данной работе приводится пример, что в США эта величина составляет около 6. То есть год жизни оценивается в среднем примерно в 6 годовых бюджетов человека.

Выгода от более интенсивного использования ИИ — это дополнительный период роста потребления со скоростью , масштабированный на . Оптимальный выбор интенсивности использования ИИ уравновешивает эти затраты и выгоды.

Сокращая члены, переписывая и предполагая внутреннее решение, оптимальный выбор таков, что $c^* = c_0 e^{gT^*}$ удовлетворяет условию:

(1) $v(c^*) = \frac{g}{\delta}$ .

Левая часть этого уравнения, $v(c) \equiv u(c)/[u'(c)c]$ , представляет собой стоимость года жизни в единицах потребления как отношение к потреблению на душу населения. Например, в сегодняшних США типичная стоимость года жизни составляет около 250 000 долларов, что выводится из «стоимости статистической жизни (value of a statistical life, VSL)» около 10 миллионов долларов для 40-летнего человека, который может прожить еще 40 лет. Поскольку потребление на душу населения составляет около 40 000 долларов, эта стоимость жизни подразумевает $v(c_{us,today}) \approx 6$ . То есть год жизни стоит в шесть раз больше, чем потребление на душу населения (Hall, C. Jones и Klenow 2020). Точное значение может быть на 25 процентов выше или ниже в зависимости от допущений; нет никакой критичной зависимости от точного значения.

Комментарий от @avshkol: Как понимать формулы выше?

Логика «Затраты-Выгоды»

Автор объясняет, что оптимальный выбор интенсивности использования ИИ () находится в точке, где предельная выгода равна предельным издержкам.

Выгода (правая часть неравенства) предстваляет собой дополнительный рост потребления , умноженный на масштаб общества $N / \rho$ . Другими словами, это то, насколько богаче станет человечество за счет ускорения экономики.

Затраты (левая часть неравенства) $\delta \cdot \frac{N}{\rho} v(c)$ . Это вероятность катастрофы $\delta$ , умноженная на ценность всего будущего благосостояния, которое мы рискуем потерять.

Когда мы сокращаем общие множители $\frac{N}{\rho}$ , мы получаем чистое условие баланса риска и роста.

Условие оптимума

$v(c^*) = \frac{g}{\delta}$

Это ключевое уравнение модели. Оно говорит нам, до какого уровня богатства нам стоит расти, используя ИИ.

$\frac{g}{\delta}$ : Автор называет это «коэффициентом выгоды и затрат ИИ».
Например, если рост $g = 10\%$ (или 0,1), а риск $\delta = 1\%$ (или 0,01), то коэффициент равен 10. Это значит, что на каждый процент риска гибели мы требуем 10 процентов дополнительного роста экономики.
: Это «стоимость года жизни» при достигнутом уровне потребления. Мы должны использовать ИИ до тех пор, пока ценность нашей жизни не сравняется с этим коэффициентом.

Как считается стоимость года жизни:

VSL (Стоимость статистической жизни): Экономисты оценивают жизнь человека примерно в $10 млн. Это сумма, которую общество готово заплатить (или которую люди требуют в виде надбавки к зарплате за опасную работу), чтобы снизить риск смерти.
Оставшаяся продолжительность жизни: Для 40-летнего человека это примерно 40 лет.
Стоимость одного года: $10 000 000 / 40 лет = $250 000 в год.
Годовое потребление на душу населения в США составляет около $40,000.
Отношение стоимости года жизни к годовому потреблению: v(c)=250,000 / 40,000 =6.25 ≈ 6.

Экономический смысл числа 6: мы получаем соотношение, что год жизни стоит в 6 раз больше, чем все товары и услуги, которые средний человек потребляет за этот год. Это показывает, насколько для нас ценно само существование по сравнению с материальными благами.

Резюмируя:

Уравнение $v(c^*) = g/\delta$ говорит буквально следующее:

Мы должны развивать ИИ до тех пор, пока наша жизнь не станет настолько дорогой (в пересчете на единицы потребления), что риск её потерять перевесит выгоду от дальнейшего обогащения.

Если текущая стоимость года жизни равна 6, а коэффициент $g/\delta$ равен, к примеру, 10, то нам выгодно рисковать и расти дальше, пока не вырастет с 6 до 10.

A. Функция полезности CRRA

Уравнение (1) неявно определяет оптимальный уровень потребления . Мы выбираем такое количество времени , в течение которого будет работать ИИ, пока стоимость жизни не сравняется с , что я рассматриваю как соотношение «выгоды и затрат ИИ», или сокращенно AIBC (AI benefit-cost).

Для дальнейшего решения предположим функциональную форму CRRA для полезности:

$u(c) = \begin{cases} \bar{u} + \frac{c^{1-\gamma}}{1-\gamma}, & \text{если } \gamma \neq 1 \\ \bar{u} + \log c, & \text{если } \gamma = 1. \end{cases}$

При полезности CRRA стоимость жизни равна

(2) $\quad v(c) \equiv \frac{u(c)}{u'(c)c} = \begin{cases} \bar{u} c^{\gamma-1} + \frac{1}{1-\gamma}, & \text{если } \gamma \neq 1 \\ \bar{u} + \log c, & \text{если } \gamma = 1. \end{cases}$

Мы сосредоточимся на случаях и (логарифмическая полезность), как на наиболее релевантных. Значительная часть источников в макроэкономике фокусируется на этих случаях (Kimball et al. 2024). Также будет легко понять, что произойдет, если .

Заметим, что стоимость жизни растет с потреблением при . Чтобы понять это интуитивно, рассмотрим Рис. 1 и отметим, что полезность ограничена при . В этом случае предельная полезность потребления быстро падает, и величина полезности никогда не может быть больше величины $\bar{u}$ .

Примечание: при полезность CRRA является ограниченной, и верхняя граница задаётся параметром .

На Рис. 1 также видно, почему параметр $\bar{u}$ важен. При постановке задачи мы нормализовали полезность в состоянии смерти до нуля; это свободная нормализация, и мы могли бы выбрать любое другое значение. Однако, поскольку смерть равна нулю, жизнь должна давать положительную полезность, чтобы ей отдавали предпочтение. При член $c^{1-\gamma}/(1-\gamma)$ меньше нуля. Другими словами, если мы ничего не сделаем, например, не добавим константу $\bar{u} > 0$ , жизнь не получит предпочтения перед смертью.

Комментарий от @avshkol: Подробнее о CRRA в контексте подраздела A.

Концепция CRRA (Constant Relative Risk Aversion, Постоянное относительное неприятие риска) требует объяснения.

CRRA представляет собой стандартный способ математически описать, как удовлетворенность человека (полезность, ) меняется с ростом его потребления или богатства (), но с учетом отношения к риску. Главная идея CRRA: чем больше у вас уже есть, тем меньше дополнительной радости приносит каждая следующая единица потребления (убывающая предельная полезность). Но при изменении вашего уровня богатства (дохода), ваше относительное отношение к риску остается неизменным. Это означает, что если вы готовы вложить 10% своего капитала в рискованные активы (например, акции), то вы сохраните эту пропорцию как при богатстве в $10 000, так и при богатстве в $1 000 000.

В формуле CRRA вся «магия» заключена в параметре $\gamma$ , который показывает степень неприятия риска:

Если $\gamma = 1$ (логарифмическая полезность), то полезность растет как логарифм потребления $\log c$ . Потолка у полезности нет. В модели это означает, что люди готовы идти на огромные риски (например, 33% вероятность конца света ради колоссального роста потребления в 55 раз).
Если $\gamma > 1$ (высокое неприятие риска), то полезность ограничена сверху . Предельная полезность потребления падает очень быстро. Это значит, что после достижения определенного уровня благосостояния дополнительные триллионы долларов приносят всё меньше и меньше счастья, упираясь в невидимый «потолок».

Автор использует CRRA, чтобы показать, как оценка риска зависит от нашей функции полезности:

При $\gamma = 1$ модель получается оптимистичной и склонной к риску: стоит запустить мощный ИИ на 40 лет, чтобы получить огромный рост, даже если это несет существенный риск уничтожения человечества.
При $\gamma>1$ модель становится консервативной. Поскольку полезность ограничена, даже гипотетическое «бесконечное потребление» (сингулярность) не даст бесконечной полезности. Поэтому рисковать существованием человечества ради такого роста математически неоправданно: дополнительные выгоды от роста слишком малы по сравнению с абсолютной потерей всего при конце света.

В тексте есть важный технический момент. В модели полезность смерти принята за ноль. Если, то математическое выражение

$\frac{c^{1-\gamma}}{1-\gamma}$

всегда дает отрицательное число. Чтобы жизнь была предпочтительнее смерти (то есть чтобы общая полезность была больше нуля), нам необходимо добавить положительную константу $\bar{u}$ . Простыми словами: $\bar{u}$ — это базовая, фундаментальная ценность самого факта существования, которая гарантирует, что жизнь имеет положительную полезность, даже когда предельная полезность от денег стремится к нулю.

B. Количественный анализ

Коэффициент AIBC , очевидно, является критическим входным параметром для любого количественного анализа этой модели. Мы рассмотрим и по отдельности. Позволив ИИ работать еще один период, мы повысим потребление, например, на %. Это чрезвычайно быстрые темпы экономического роста, намного быстрее 2 процентов в год, которые наблюдались в США за последние 150 лет. В полуэндогенной модели роста достижение такого более высокого темпа роста потребовало бы увеличения темпа роста числа исследователей как минимум в пять раз (C. Jones 2022). Это стало бы потрясающим достижением, и некоторые наблюдатели считают, что этого возможно достичь с ИИ (Davidson 2021). Выбирая такое высокое значение, мы даем фору ИИ, предполагая, что ИИ невероятно полезен.

Какова мгновенная вероятность экзистенциального риска от этого действия? Эксперты расходятся во мнениях относительно данного риска в целом, но позвольте мне рассмотреть два возможных значения, чтобы проиллюстрировать некоторые важные моменты. Во-первых, возможно, экзистенциальный риск составляет 1 процент в год. Во-вторых, возможно, он в два раза выше и составляет 2 процента в год. Эти значения полностью выдуманы, но они иллюстративны, и подразумеваемые ими компромиссы станут ясны позднее. Модель в следующем разделе использует альтернативный подход, который позволяет избежать необходимости калибровать этот параметр. В первом случае коэффициент AIBC равен десяти, а во втором — пяти. В Таблице 1 показаны количественные результаты для различных значений параметров.

Таблица 1 — Потребление и экзистенциальный риск: простая модель

	%			%
		T^*	Экзистен-циальный риск			Экзистен-циальный риск
1	54.60	40.0	0.33	1	0	0
2	1.57	4.5	0.04	1	0	0
3	1.27	2.4	0.02	1	0	0

Примечания: В таблице представлены количественные результаты для оптимального выбора в простой модели при условии, что %, поэтому коэффициент соотношения выгод и затрат ИИ (AIBC) равен десяти в левой части и пяти в правой. Другие предполагаемые значения: и . Значение $\bar{u}$ выбирается таким образом, чтобы соответствовать для каждого значения . В столбцах «Экзистенциальный риск» приводится значение $1 - e^{-\delta T^*}$ , которое представляет собой общую вероятность экзистенциального риска.

Логарифмическая полезность. Как объяснялось ранее, $v(c_{us,today}) = 6$ . Если %, так что коэффициент AIBC равен десяти, то мы будем использовать ИИ такое количество лет, пока стоимость жизни не вырастет десятикратно, и потребление в шесть раз с его текущего значения. При логарифмической полезности (), возьмем из уравнения (2) $v(c) = \bar{u} + \log c$ . В этом случае $\log c$ должна увеличиться на четыре единицы, а $\exp(4) \approx 55$ . Другими словами, при логарифмической полезности и % мы должны запускать ИИ до тех пор, пока потребление не увеличится в 55 раз!

Рост 10 процентов в год дает , то есть мы будем расти такими быстрыми темпами в течение 40 лет. Для сравнения, в США наблюдался примерно 18-кратный рост ВВП на душу населения с 1870 года. Современные стандарты жизни в США также примерно в 50 раз выше, чем в беднейших странах, которые, в свою очередь, не намного превышают уровень жизни, который большинство людей в мире имело до промышленной революции.

Какова цена этого немыслимого изменения уровня жизни? Вспомним, что мы будем сталкиваться с мгновенной вероятностью экзистенциального риска в 1 процент в год в течение 40 лет, так что вероятность того, что мы переживем этот взрыв ИИ, составляет $\exp(-0.01 \times 40) \approx 0.67$ . Другими словами, при логарифмической полезности оптимально пойти на риск вымирания человечества с вероятностью один к трем в обмен на шанс в две трети на беспрецедентное повышение уровня жизни в 55 раз.

Следующий интересный вывод, представленный в Таблице 1 — это то, что происходит при логарифмической полезности, если %, а не 1 процент. В этом случае заметим, что коэффициент AIBC равен пяти, а не десяти. Но поскольку $v(c_{us,today}) = 6$ , стоимость жизни в США сегодня уже слишком высока, чтобы риск ИИ был оправдан: $\delta v(c_{us,today}) > g$ , так что оптимальный выбор . Наш диапазон неопределенности относительно природы экзистенциального риска наверняка включает как 1 процент, так и 2 процента. В первом случае мы запускаем ИИ на срок, эквивалентный 40 годам, и доходы вырастают в 55 раз, но во втором случае для нас будет оптимально немедленно отключить ИИ. Этот результат обобщен в нашем первом ключевом выводе.

КЛЮЧЕВОЙ ВЫВОД 1 (Логарифмическая полезность): Результаты с логарифмической полезностью очень чувствительны к величине экзистенциального риска ИИ. При % оптимально использовать ИИ в течение 40 лет, что сопряжено с вероятностью экзистенциального риска в одну треть и ошеломляющим 55-кратным ростом потребления. При % оптимальным будет немедленно его отключить.

Полезность CRRA при γ > 1. В логарифмическом случае не ограничена, и стоимость жизни растет медленно, пропорционально логарифму потребления. Когда , потоковая полезность ограничена, и стоимость жизни растет как степенная функция потребления, линейно с , когда ; подробнее об этом чуть позже. Наш второй главный вывод заключается в том, что оптимальное значение очень чувствительно к против . Чтобы увидеть это, вернемся к случаю %, чтобы коэффициент AIBC был равен десяти, и рассмотрим результаты в Таблице 1.

КЛЮЧЕВОЙ ВЫВОД 2 (CRRA > 1): При по-прежнему оптимально, чтобы выросла с начального значения шесть до нового значения десять. Однако, поскольку стоимость жизни растет быстрее с увеличением , это требует всего четырех с половиной лет роста, обеспечиваемого ИИ, а не 40 лет. Оптимальное потребление возрастает на 57 процентов, или в 1,57 раза, а не в 55 раз, а оптимальная вероятность экзистенциальной катастрофы составляет всего 4 процента. Переход к примерно вдвое сокращает эти значения.

Комментарий от @avshkol: Резюмируя количественный анализ в подразделе B.

Подраздел B переводит теоретическую модель в конкретные цифры, чтобы показать, как выбор функции полезности и оценка уровня угрозы меняют (иногда радикально!) оптимальную стратегию развития ИИ.

Автор задаёт достаточно амбициозные базовые параметры: ИИ обеспечивает взрывной экономический рост на 10% в год ( $g = 10\%$ ), а вероятность экзистенциального риска (уничтожения человечества) $\delta$ оценивается в 1% или 2% в год. Текущая «ценность года жизни» принята равной 6 годовым объемам потребления.

Далее автор сравнивает два сценария поведения общества:

1. Сценарий «Игрока»: Логарифмическая полезность (γ=1)

В этом случае полезность не имеет потолка, и общество готово идти на огромные риски ради богатства.

Если риск 1% в год, то модель показывает, что оптимально использовать ИИ на протяжении 40 лет. За это время потребление вырастет фантастически — в 55 раз. Но «ценой» этого чуда станет 33% вероятность полного уничтожения человечества (так как риск накапливается за 40 лет).
Если риск 2% в год, то модель дает категоричный ответ — немедленно остановить ИИ (). Текущая ценность жизни уже слишком высока, чтобы оправдать даже этот чуть более высокий риск.
Главный вывод 1: При логарифмической полезности результаты гиперчувствительны к оценке риска. Разница между риском вымирания 1% и 2% — это выбор между колоссальным ростом с шансом на вымирание и полным отказом от технологии.

2. Сценарий «Консерватора»: CRRA-полезность (γ=2)

В этом случае полезность ограничена сверху (мы быстро «наедаемся» благами), поэтому дополнительные триллионы долларов не стоят риска потери всего.

Если риск 1% в год. Поскольку предельная полезность потребления падает очень быстро, нам не нужно гнаться за 55-кратным ростом. Оптимальная стратегия — использовать ИИ всего 4,5 года. Потребление вырастет на скромные 57% (в 1,57 раза), а вероятность экзистенциальной катастрофы составит лишь 4%.

Главный вывод 2: При $\gamma \ge 2$ модель становится крайне осторожной. Мы останавливаем «гонку вооружений» с ИИ гораздо раньше, чтобы не рисковать существованием человечества ради относительно небольшого (по сравнению с возможным и с сингулярностью, рассматриваемой ниже) улучшения уровня жизни.

Итак, согласно предложенной модели, наше отношение к риску создания ИИ зависит не только от самих технологий, но и от нашего отношения к риску (параметра $\gamma$ ). Если мы по своей природе «логарифмические игроки» ( $\gamma=1$ ), мы готовы поставить на кон выживание всего человечества (33% вероятность проигрыша и вымирания) ради 55-кратного роста благосостояния. Если же мы «осторожные потребители» ( $\gamma \ge 2$ ), мы предпочтем остановиться на малом (рост на 57%), чтобы свести риск глобальной катастрофы к относительно безопасным 4%.

C. Неоднородность и стоимость жизни

Чтобы лучше понять эти результаты, полезно рассмотреть стоимость года жизни, . Напомним, что это значение равно $v(c) \equiv u(c)/[u'(c)c] = \bar{u} c^{\gamma-1} + 1/(1-\gamma)$ , поэтому оно увеличивается с потреблением при $\gamma \ge 1$ . (В логарифмическом случае $v(c) = u(c) = \bar{u} + \log c$ ). В сегодняшних США значение стоимости года жизни для среднего человека составляет около шести годовых потреблений.

Примечания: Стоимость одного года жизни определяется как

$v(c) \equiv u(c)/[u'(c)c] = \bar{u} c^{\gamma-1} + \frac{1}{1-\gamma}$ .

Это ценность проживания одного года , конвертированная в единицы потребления путем деления на предельную полезность и выраженная как отношение к самому уровню потребления . Таким образом, эта величина имеет размерность «стоимости года жизни, измеренной как множитель индивидуального потребления».

В современных США эта стоимость для среднего человека равна шести; мы подбираем различные значения $\bar{u}$ для разных значений , чтобы соблюсти это условие. На графике среднее текущее потребление в США нормализовано до единицы. Как указывал Розен (Rosen, 1988), есть причины, по которым не может быть меньше единицы: ведь вы, безусловно, были бы готовы отказаться от всего своего потребления… ради самой возможности потреблять.

На Рис. 2 это значение ценности года жизни показано в зависимости от потребления. На этом графике мы нормализуем единицы потребления так, чтобы $c_{us,today} = 1$ . Ключевой момент графика — неоднородность стоимости жизни как функции от и как функции от параметра избегания риска .

Например, когда , стоимость жизни растет очень медленно, пропорционально логарифму потребления. Чтобы достичь , требуется существенное увеличение ; это и был тот самый 55-кратный рост, упомянутый в Ключевом выводе 1.

Напротив, когда , стоимость жизни растет линейно с потреблением. Поскольку в этом случае $\bar{u} = 7$ , чтобы выросла на четыре единицы с шести до десяти, требуется всего лишь 57-процентное увеличение .

Наконец, при более высоких значениях растет еще быстрее. Напомним, что это выглядит как $v(c) \approx \bar{u} c^{\gamma-1}$ . Таким образом, если , стоимость жизни растет пропорционально квадрату потребления, а если , стоимость жизни растет пропорционально .

Следствием этого анализа является следующее: люди с разным уровнем потребления или с разными значениями будут совершенно по-разному относиться к использованию ИИ. Рассмотрим более низкие уровни потребления в Китае или в беднейших странах мира, или для людей с низким доходом в США. В этом случае предельная полезность потребления высока, и эти люди будут больше готовы пойти на азартную игру со своими жизнями, чтобы достичь гораздо более высоких стандартов жизни. То же самое будет верно и для людей с низкой степенью избегания риска, возможно, включая и предпринимателей в самих технологических стартапах, разрабатывающих ИИ. С другой стороны, люди, которые достаточно богаты или которые очень сильно избегают риска, будут гораздо менее склонны идти на такие азартные игры.

Комментарий от @avshkol: Резюмируя подраздел C.

Ценность года человеческой жизни для разных людей различна. Она сильно варьируется в зависимости от двух факторов: текущего уровня потребления человека ВКонтакте Telegram Twitter

📊 Источник: Habr | Оригинал