Галлюцинации ИИ могут быть угрозой кибербезопасности

ИИ с большими языковыми моделями несовершенен и иногда генерирует ложную информацию. Эти случаи, называемые галлюцинациями, могут представлять киберугрозу для бизнеса и отдельных энтузиастов ИИ.

К счастью, вы можете усилить защиту от галлюцинаций ИИ с помощью повышенной осведомленности и здорового второго предположения.

Почему ИИ галлюцинирует?

Нет единого мнения о том, почему модели ИИ галлюцинируют, хотя есть несколько вероятных предположений.

ИИ обучается на массивных наборах данных, часто содержащих недостатки, такие как пробелы в мыслях, вариативность содержания или вредные предубеждения. Любое обучение на этих неполных или неадекватных наборах данных может быть корнем галлюцинаций, даже если более поздние итерации набора данных курируются учеными данных.

Со временем специалисты по обработке и анализу данных могут сделать информацию более точной и ввести дополнительные знания, чтобы заполнить вакансии и свести к минимуму вероятность галлюцинаций. Наблюдатели могут неправильно маркировать данные. Программный код может содержать ошибки. Исправление этих элементов имеет важное значение, поскольку модели ИИ совершенствуются на основе алгоритмов машинного обучения.

Эти алгоритмы используют данные для принятия решений. Расширением этого является нейронная сеть ИИ, которая создает новые решения от опыта машинного обучения до напоминают оригинальность человеческого разума точнее. Эти сети содержат преобразователи, которые анализируют отношения между удаленными точками данных. Когда трансформаторы выходят из строя, могут возникать галлюцинации.

Как галлюцинации ИИ открывают возможности для хакеров

К сожалению, мало кто знает, что ИИ галлюцинирует, и ИИ будет звучать уверенно, даже когда он совершенно не прав. Все это способствует тому, что пользователи становятся более довольными и доверяют ИИ, а злоумышленники полагаются на такое поведение пользователей, чтобы заставить их загрузить или инициировать свои атаки.

Например, модель ИИ может галлюцинировать поддельную библиотеку кода и рекомендовать пользователям загрузить эту библиотеку. Вполне вероятно, что модель продолжит рекомендовать эту же галлюцинирующую библиотеку многим пользователям, которые задают аналогичный вопрос. Если хакеры обнаружат эту галлюцинацию, они смогут создать реальную версию воображаемой библиотеки, но наполненную опасным кодом и вредоносными программами. Теперь, когда ИИ продолжает рекомендовать библиотеку кода, невольные пользователи будут скачивать код хакеров.

Перенос вредоносного кода и программ с использованием галлюцинаций ИИ — неудивительный следующий шаг для злоумышленников. Хакеры не обязательно создают бесчисленное количество новых киберугроз — они просто ищут новые способы их доставки без подозрений. Галлюцинации ИИ основаны на той же человеческой наивности, от которой зависит переход по ссылкам в электронной почте (именно поэтому вам следует использовать инструменты проверки ссылок для проверки URL-адресов).

Хакеры тоже могут выйти на новый уровень. Если вы ищете помощь в написании кода и загружаете фальшивый вредоносный код, субъект угрозы также может сделать код действительно функциональным, с вредоносной программой, работающей в фоновом режиме. То, что это работает так, как вы ожидаете, не означает, что это не опасно.

Недостаток образования может побудить вас загружать рекомендации, созданные ИИ, из-за поведения онлайн-автопилота. Каждый сектор находится под культурным давлением, чтобы внедрить ИИ в свою деловую практику. Бесчисленное количество организаций и отраслей, далеких от технологий, используют инструменты ИИ с небольшим опытом и еще более редкой кибербезопасностью просто для того, чтобы оставаться конкурентоспособными.

Как обезопасить себя от вооруженных ИИ галлюцинаций

Прогресс не за горами. Создание вредоносного ПО с помощью генеративного ИИ было простым делом до того, как компании изменили наборы данных и условия для предотвращения неэтичных поколений. Зная социальные, технические и личные слабости, которые могут быть у вас против опасных галлюцинаций ИИ, как можно обезопасить себя?

Любой человек в отрасли может работать над совершенствованием технологии нейронных сетей и верификацией библиотек. Должны быть сдержки и противовесы, прежде чем ответы дойдут до конечных пользователей. Несмотря на то, что это необходимое достижение отрасли, вы также можете сыграть свою роль в защите себя и других от генеративных угроз ИИ.

Среднее количество пользователей может практиковаться в обнаружении галлюцинаций ИИ с этими стратегиями:

• Поиск орфографических и грамматических ошибок.
• Увидеть, когда контекст запроса не совпадает с контекстом ответа.
• Признание, когда изображения, основанные на компьютерном зрении, не совпадают с тем, как человеческий глаз увидит концепцию.

Всегда будьте осторожны при загрузке контента из Интернета, даже если это рекомендовано ИИ. Если ИИ рекомендует загрузить код, не делайте этого вслепую; проверьте все отзывы, чтобы убедиться, что код является законным, и посмотрите, сможете ли вы найти информацию о создателе.

Лучшее сопротивление атакам, основанным на галлюцинациях ИИ, — это образование. Рассказывать о своем опыте и читать о том, как другие вызывали злонамеренные галлюцинации, будь то случайно или преднамеренно, бесценно для навигации по ИИ в будущем.

Повышение кибербезопасности ИИ

Вы должны быть осторожны с тем, что вы просите, когда разговариваете с ИИ. Ограничьте возможность опасных исходов, выражаясь как можно конкретнее и подвергая сомнению все, что появляется на экране. Тестируйте код в безопасных условиях и проверяйте другую, казалось бы, достоверную информацию. Кроме того, сотрудничая с другими, обсуждая свой опыт и упрощая жаргон об ИИ. галлюцинации и угрозы кибербезопасности могут помочь массам быть более бдительными и устойчивыми к хакеры.