В чем проблема максимизатора скрепки и как она связана с ИИ?

Искусственный интеллект был предметом споров с момента его появления. Хотя опасения, что ИИ, подобный Скайнету, оживет и завоюет человечество, по меньшей мере иррациональны, некоторые эксперименты дали тревожные результаты.

Одним из таких экспериментов является задача максимизации скрепки, мысленный эксперимент, который показывает, что высокоинтеллектуальный ИИ, даже если он создан совершенно без злого умысла, в конечном итоге может уничтожить человечество.

Объяснение проблемы максимизатора скрепки

Этот мысленный эксперимент, предполагающий, что даже совершенно безобидный ИИ может в конечном итоге уничтожить человечество, был впервые назван «Максимизатор скрепки» просто потому, что скрепки были выбраны для демонстрации что может сделать ИИ, поскольку он мало опасен и не вызовет эмоционального стресса по сравнению с другими областями, к которым относится эта проблема, такими как лечение рака или победа. войны.

Первый эксперимент появился в статье шведского философа Ника Бострома в 2003 году.

Этические проблемы продвинутого искусственного интеллекта, который включал максимизатор скрепки, чтобы показать экзистенциальные риски, которые может использовать достаточно продвинутый ИИ.

Задача представляла собой ИИ, единственная цель которого состояла в том, чтобы сделать как можно больше скрепок. Достаточно разумный ИИ рано или поздно поймет, что люди мешают его цели по трем причинам.

• Люди могут отключить ИИ.
• Люди могут изменить свои цели.
• Люди сделаны из атомов, которые можно превратить в скрепки.

Во всех трех примерах во вселенной было бы меньше скрепок. Поэтому достаточно умный ИИ, единственной целью которого является изготовление как можно большего количества скрепок. захватит всю материю и энергию в пределах досягаемости и предотвратит отключение или измененный. Как вы, наверное, догадались, это гораздо опаснее, чем преступники используют ChatGPT для взлома вашего банковского счета или ПК.

ИИ не враждебен по отношению к людям; это просто безразлично. Таким образом, ИИ, который заботится только об увеличении количества скрепок, уничтожит человечество и, по сути, превратит их в скрепки для достижения своей цели.

Как проблема максимизатора скрепки применима к ИИ?

В исследованиях и экспериментах, упоминающих проблему максимизатора скрепки, упоминается гипотетический чрезвычайно мощный оптимизатор или высокоинтеллектуальный агент в качестве действующей стороны. Тем не менее, проблема относится к ИИ настолько, насколько он идеально подходит для этой роли.

В конце концов, идея максимизатора скрепки была создана, чтобы показать некоторые опасности продвинутого ИИ. В целом, это представляет две проблемы.

• Тезис об ортогональности: Тезис ортогональности состоит в том, что интеллект и мотивация не являются взаимозависимыми. Это означает, что ИИ с высоким уровнем общего интеллекта может не прийти к тем же моральным выводам, что и люди.
• Инструментальная конвергенция: Инструментальная конвергенция определяется как тенденция большинства достаточно разумных существ (как человеческие и нечеловеческие) для достижения сходных подцелей, даже если их конечная цель может быть полностью другой. В случае задачи максимизации скрепки это означает, что ИИ в конечном итоге возьмет на себя все функции. природные ресурсы и уничтожение человечества только для достижения своей цели создания все большего и большего скрепки.

Более серьезная проблема, на которую указывает максимизатор скрепки, — это инструментальная конвергенция. Его также можно выделить с помощью гипотезы Римана, и в этом случае ИИ, предназначенный для решения этой гипотезы, вполне может решить захватить все массу Земли и преобразовать ее в компутрониум (наиболее эффективные из возможных компьютерных процессоров), чтобы построить суперкомпьютеры для решения проблемы и достижения ее цель.

Сам Бостром подчеркивал, что он не верит, что проблема максимизации скрепки когда-либо станет реальной проблемой, но его намерение состояло в том, чтобы иллюстрируют опасность создания сверхразумных машин без знания того, как их контролировать или программировать, чтобы они не представляли экзистенциальную опасность для человека. существа. У современных систем искусственного интеллекта, таких как ChatGPT, тоже есть проблемы., но они далеки от сверхинтеллектуальных систем ИИ, о которых говорится в задаче максимизации скрепки, так что пока нет причин для паники.

Усовершенствованные системы искусственного интеллекта нуждаются в превосходном контроле

Задача максимизатора скрепки всегда приводит к одному и тому же выводу и выдвигает на первый план проблемы управления высокоинтеллектуальной и мощной системой, в которой отсутствуют человеческие ценности.

Хотя использование скрепок может быть самым популярным методом иллюстрации проблемы, оно применимо к любому количеству задач, которые вы выполняете. может дать ИИ, будь то устранение рака, победа в войнах, посадка большего количества деревьев или любая другая задача, какой бы она ни казалась глупый.