Кто лучше обнаруживает дипфейки: человек или машина?

Ключевые выводы

• Дипфейки представляют собой серьезную угрозу обществу, в том числе распространяют дезинформацию, наносят ущерб репутации за счет выдачи себя за другое лицо и провоцируют конфликты ради национальной безопасности.
• Хотя технология искусственного интеллекта предлагает инструменты для обнаружения дипфейков, они не идеальны, и человеческое усмотрение по-прежнему имеет решающее значение в выявлении дипфейков.
• Инструменты обнаружения людей и искусственного интеллекта имеют разные сильные и слабые стороны при выявлении дипфейков. объединение их способностей может повысить вероятность успеха в обнаружении и смягчении опасности дипфейков. технологии.

Дипфейки угрожают всем аспектам жизни общества. Наша способность выявлять фейковый контент имеет решающее значение для аннулирования дезинформации, но по мере совершенствования технологий искусственного интеллекта, кому мы можем доверить обнаружение дипфейков: человеку или машине?

Опасности дипфейков

По мере развития технологий искусственного интеллекта опасность дипфейков представляют собой растущую угрозу для всех нас. Вот краткое изложение некоторых наиболее актуальных проблем, которые создают дипфейки:

• Дезинформация: Глубоко поддельные видео и голосовые записи могут распространять дезинформацию, например фейковые новости.
• Олицетворение: Выдавая себя за отдельных людей, дипфейки могут нанести ущерб репутации людей или ввести в заблуждение всех, кто их знает.
• Национальная безопасность: Очевидный сценарий конца света с дипфейками — это сфабрикованные кадры или аудиозаписи того, как мировой лидер разжигает конфликт.
• Гражданские беспорядки: Ложные видеозаписи и аудио также могут использоваться сторонами для разжигания гнева и гражданских беспорядков среди определенных групп.
• Информационная безопасность: Киберпреступники уже используют инструменты клонирования голоса искусственного интеллекта, чтобы нацеливаться на людей с убедительными сообщениями от людей, которых они знают.
• Конфиденциальность и согласие: Злонамеренное использование дипфейков принимает облик людей без их согласия.
• Доверие и уверенность: Если вы не можете отличить правду от обмана, точная информация становится столь же ненадежной.

Дипфейки станут только более убедительными, поэтому нам нужны надежные инструменты и процессы для их обнаружения. ИИ предоставляет один из таких инструментов в виде моделей обнаружения дипфейков. Однако, как алгоритмы, предназначенные для идентификации письма, созданного ИИ, инструменты обнаружения дипфейков не идеальны.

В настоящее время человеческое усмотрение — единственный инструмент, на который мы можем положиться. Итак, можем ли мы лучше алгоритмов распознавать дипфейки?

Могут ли алгоритмы обнаруживать дипфейки лучше, чем люди?

Дипфейки представляют собой достаточно серьезную угрозу, поэтому технологические гиганты и исследовательские группы выделяют огромные ресурсы на исследования и разработки. В 2019 году такие компании, как Meta, Microsoft и Amazon, предложили призы в размере 1 000 000 долларов США во время Задача по обнаружению дипфейков для наиболее точной модели обнаружения.

Самая эффективная модель имела точность 82,56% по сравнению с набором данных общедоступных видео. Однако когда те же модели были протестированы на «наборе данных черного ящика» из 10 000 невидимых видео, точность самой эффективной модели составила всего 65,18%.

У нас также есть множество исследований, анализирующих эффективность инструментов обнаружения дипфейков с использованием искусственного интеллекта против людей. Конечно, результаты варьируются от одного исследования к другому, но в целом люди либо равны, либо превосходят показатели успеха инструментов обнаружения дипфейков.

Одно исследование 2021 года, опубликованное на ПНАС обнаружили, что «обычные люди-наблюдатели» достигли немного более высокой точности, чем ведущие инструменты обнаружения дипфейков. Однако исследование также показало, что участники-люди и модели ИИ были подвержены различным типам ошибок.

Интересно, что исследования, проведенные Сиднейский университет обнаружил, что человеческий мозг, подсознательно, более эффективен в обнаружении дипфейков, чем наши сознательные усилия.

Обнаружение визуальных подсказок в дипфейках

Наука обнаружения дипфейков сложна, и необходимый анализ варьируется в зависимости от характера отснятого материала. Например, печально известное дипфейковое видео северокорейского лидера Ким Чен Ына, снятое в 2020 году, по сути, представляет собой видео с говорящей головой. В этом случае наиболее эффективным методом обнаружения дипфейков может быть анализ визем (движений рта) и фонем (фонетических звуков) на предмет несоответствий.

Эксперты-люди, случайные зрители и алгоритмы — все могут выполнять такой анализ, даже если результаты различаются. Массачусетский технологический институт определяет восемь вопросов, которые помогут идентифицировать дипфейковые видео:

• Обратите внимание на лицо. Высококлассные манипуляции DeepFake почти всегда представляют собой трансформации лица.
• Обратите внимание на щеки и лоб.. Кожа кажется слишком гладкой или морщинистой? Похожа ли старость кожи на старость волос и глаз? DeepFakes могут быть несовместимы по некоторым параметрам.
• Обратите внимание на глаза и брови. Появляются ли тени там, где вы ожидаете? DeepFakes может не полностью передать естественную физику сцены.
• Обратите внимание на очки. Есть ли блики? Не слишком ли много бликов? Меняется ли угол блика при движении человека? Опять же, DeepFakes может не полностью отображать естественную физику освещения.
• Обратите внимание на волосы на лице или их отсутствие.. Эти волосы на лице выглядят настоящими? DeepFakes может добавлять или удалять усы, бакенбарды или бороду. Однако DeepFakes может не сделать трансформацию волос на лице полностью естественной.
• Обратите внимание на родинки на лице. Родинка выглядит настоящей?
• Обратите внимание на моргание. Человек моргает достаточно или слишком часто?
• Обратите внимание на движения губ. Некоторые дипфейки основаны на синхронизации губ. Движения губ выглядят естественно?

Новейшие инструменты обнаружения дипфейков на базе искусственного интеллекта могут анализировать одни и те же факторы, опять же, с разной степенью успеха. Ученые, работающие с данными, также постоянно разрабатывают новые методы, такие как обнаружение естественного кровотока на лицах говорящих на экране. Новые подходы и улучшения существующих могут привести к тому, что инструменты обнаружения дипфейков с использованием искусственного интеллекта в будущем будут постоянно превосходить людей.

Обнаружение звуковых подсказок в дипфейках

Обнаружение дипфейкового звука — совершенно другая задача. Без визуальных подсказок видео и возможности выявить аудиовизуальные несоответствия дипфейк обнаружение во многом зависит от аудиоанализа (в некоторых случаях могут помочь и другие методы, такие как проверка метаданных). случаи).

Исследование, опубликованное Университетский колледж Лондона в 2023 году выяснилось, что люди могут распознавать фальшивую речь в 73% случаев (на английском и китайском языках). Как и в случае с дипфейковыми видео, люди-слушатели часто интуитивно обнаруживают неестественные речевые модели в речи, генерируемой ИИ, даже если они не могут определить, что им кажется неправильным.

Общие признаки включают в себя:

• невнятно
• Отсутствие выражения
• Фоновый или интерференционный шум
• Вокальные или речевые несоответствия
• Недостаток «полноты» голоса
• Чрезмерно скриптованная доставка
• Отсутствие несовершенств (фальстарты, исправления, откашливание и т.д.)

Опять же, алгоритмы также могут анализировать речь на предмет тех же сигналов дипфейка, но новые методы делают инструменты более эффективными. Исследования ЮСЕНИКС выявили закономерности в реконструкции речевого тракта ИИ, которые не могут имитировать естественную речь. В нем резюмируется, что генераторы голоса искусственного интеллекта производят звук, соответствующий узким речевым трактам (размером примерно с соломинку) без естественных движений человеческой речи.

Более ранние исследования от Институт Хорста Гёрца проанализировали подлинный и дипфейковый звук на английском и японском языках, выявив тонкие различия в более высоких частотах подлинной речи и дипфейков.

Как речевой тракт, так и высокочастотные несоответствия заметны людям-слушателям и моделям обнаружения искусственного интеллекта. В случае высокочастотных различий модели ИИ теоретически могут стать более точными, хотя то же самое можно сказать и о дипфейках ИИ.

Дипфейки обманывают и людей, и алгоритмы, но по-разному

Исследования показывают, что люди и новейшие инструменты обнаружения искусственного интеллекта аналогичным образом способны распознавать дипфейки. Вероятность успеха может варьироваться от 50% до 90+%, в зависимости от параметров теста.

В более широком смысле, люди и машины также обманываются дипфейками в одинаковой степени. Однако важно то, что мы по-разному восприимчивы, и это может быть нашим самым большим преимуществом в борьбе с опасностями технологии дипфейков. Объединение сильных сторон людей и инструментов обнаружения дипфейков смягчит недостатки каждого из них и повысит показатели успеха.

Например, Массачусетский технологический институт Исследования показали, что люди лучше распознают дипфейки мировых лидеров и известных людей, чем модели искусственного интеллекта. Также выяснилось, что модели ИИ испытывают трудности с записью видео с участием нескольких людей, хотя предполагается, что это может быть результатом обучения алгоритмов на кадрах с участием одного говорящего.

И наоборот, то же исследование показало, что модели искусственного интеллекта превосходят людей по производительности с отснятым материалом низкого качества (размытым, зернистым, темным и т. д.), который может быть намеренно использован для обмана зрителей-людей. Точно так же последние методы обнаружения искусственного интеллекта, такие как мониторинг кровотока в определенных областях лица, включают анализ, на который люди не способны.

По мере разработки новых методов способность ИИ обнаруживать признаки, которые мы не можем обнаружить, будет только улучшаться, как и его способность обманывать. Большой вопрос заключается в том, продолжит ли технология обнаружения дипфейков опережать сами дипфейки.

Взгляд на вещи по-другому в эпоху дипфейков

Инструменты обнаружения дипфейков с использованием искусственного интеллекта будут продолжать совершенствоваться, как и качество самого дипфейкового контента. Если способность ИИ обманывать превосходит его способность обнаруживать (как это произошло с текстом, сгенерированным ИИ), человеческое усмотрение может стать единственным инструментом, который у нас останется для борьбы с дипфейками.

Каждый обязан изучить признаки дипфейков и научиться их распознавать. Помимо защиты от мошенничества и угроз безопасности, все, что мы обсуждаем и делимся в Интернете, уязвимо для дезинформации, если мы теряем понимание реальности.