Инструментам обнаружения ИИ становится все сложнее и сложнее, и, похоже, это не изменится в ближайшее время.
Чат-боты с искусственным интеллектом, несомненно, являются мощными и полезными инструментами. Однако способность различать контент, созданный человеком, и контент, созданный искусственным интеллектом, становится серьезной проблемой.
Для решения этой проблемы появились такие инструменты, как ZeroGPT. Они предназначены для того, чтобы различать контент, созданный искусственным интеллектом, и контент, созданный человеком. Но работают ли они?
Давайте подробнее рассмотрим инструменты обнаружения ИИ и посмотрим, могут ли они определить разницу между текстом, созданным человеком, и текстом, созданным ИИ.
Они говорят, что доказательство пудинга в еде. Итак, давайте попробуем несколько тестов и посмотрим, насколько эффективны эти инструменты. Невозможно протестировать каждый инструмент, поэтому мы тестируем один из самых популярных инструментов — ZeroGPT.
Что касается материала, мы подумали, что было бы довольно забавно дать ChatGPT возможность написать введение для этой статьи, а затем сравнить его с введением, «сгенерированным человеком»:
Тест первый: сравнение введения статьи, созданной человеком и искусственным интеллектом
Первое, что мы сделали, это попросили ChatGPT создать введение. Мы ввели заголовок и не предоставили ему никакой дополнительной информации. Для записи мы использовали GPT-3.5 для теста.
Затем мы скопировали текст и вставили его в ZeroGPT. Как видите, результаты были менее чем звездными.
Неприметное начало, но оно показывает, насколько эффективны чат-боты с искусственным интеллектом. Чтобы завершить тест, мы позволили ZeroGPT проанализировать черновик вступления, созданный человеком.
По крайней мере, эту часть он понял правильно. В целом, ZeroGPT в этом раунде провалился. Он определил, что по крайней мере часть введения, созданного ИИ, была подозрительной, но не выявила конкретных проблем.
Тест второй: проблема ложного срабатывания
По мере роста использования ChatGPT и других инструментов ИИ возрастает вероятность того, что кто-то узнает или услышит о том, что кто-то сталкивается с утверждениями о том, что их работа была создана ИИ. Эти обвинения являются одной из наиболее серьезных проблем с ChatGPT и инструментами обнаружения ИИ, такими как ZeroGPT, поскольку такого рода ошибки могут нанести ущерб репутации и повлиять на средства к существованию.
Ложные срабатывания возникают, когда созданный человеком контент ошибочно помечен как работа ИИ. Как видно из приведенного ниже примера, проблема легко воспроизводима. Я заядлый рыболов, поэтому решил написать вступление к воображаемой статье о рыбалке во Флориде. Затем я позволил ZeroGPT проанализировать текст — он отметил, что текст на 100% сгенерирован ИИ.
Честно говоря, я стремился к этому результату. Я оставил текст общим и использовал «продающий» язык. Но тот факт, что это написал человек, остается в силе. Это не неудобство и не то, на что можно просто не обращать внимания. Подобные ошибки могут иметь серьезные последствия для писателей, студентов и других специалистов, создающих письменные работы.
Тест третий: тестирование ZeroGPT на художественной литературе
Для третьего теста мы воспользуемся ChatGPT и попросим его написать какую-нибудь фантастику. Для этого мы создали сценарий и предложили ChatGPT написать краткое предисловие к выдуманной истории.
Мы упростили задачу и просто попросили написать вступление к рассказу о двух незнакомцах, которые встречаются на железнодорожной платформе:
А вот и ответ от ZeroGPT:
Как видно из результата, ZeroGPT не может отличить факты от вымысла, когда имеет дело с вымыслом!
Тест четвертый: новостные статьи
Есть что-то тревожное в том, что ИИ может информировать нас о том, что происходит в мире вокруг нас. Это не всегда обязательно «фейковые новости», поскольку они могут быть актуальными и информативными, но определенные этические опасения по поводу ИИ.
Чтобы быть справедливым к ZeroGPT, он хорошо показал себя в этом тесте. Мы попросили ChatGPT и Bing Chat написать новостные статьи по нескольким темам, и ZeroGPT каждый раз справлялся с этим. В приведенном ниже примере показано, как он правильно объявляет статью, сгенерированную Bing Chat, на 100 % созданной искусственным интеллектом.
Инструмент настолько постоянно помечал каждую новостную статью как созданную ИИ, что мы решили протестировать ее на фиктивной новостной статье, которую мы написали для этой цели.
По крайней мере, некоторые статьи были идентифицированы как созданные человеком, но более 70% были отмечены как созданные ИИ. Опять же, мы должны быть справедливы здесь; это была довольно простая переделка статьи Bing, и вряд ли она соответствовала требованиям Пулитцеровской премии.
Но суть остается в силе. Это было написано человеком на основе исследований, найденных в Интернете.
У недостатков таких инструментов, как ZeroGPT, нет единой причины. Однако одной фундаментальной проблемой является эффективность генеративных чат-ботов с искусственным интеллектом. Они представляют собой невероятно мощную и быстро развивающуюся технологию, которая эффективно делает их движущейся мишенью для инструментов обнаружения ИИ.
Чат-боты с искусственным интеллектом постоянно улучшают качество и «человечность» своей продукции, и это делает задачу чрезвычайно сложной. Однако, несмотря на трудности, ИИ должен выносить решения без человеческого надзора.
Такие инструменты, как ZeroGPT, используют ИИ для принятия решений. Но ИИ не просто просыпается утром и знает, что делать. Его нужно тренировать, и именно здесь становится актуальной техническая сторона уравнения.
Алгоритмические и обучающие ошибки неизбежны, учитывая огромный размер большие языковые модели, на которых обучаются эти инструменты. Это не проблема, которая ограничивается инструментами обнаружения ИИ, те же предубеждения могут привести к тому, что чат-боты ИИ будут генерировать неправильные ответы и галлюцинации ИИ.
Однако эти ошибки проявляются как неверные «флаги ИИ» в инструментах обнаружения. Вряд ли это идеально, но это отражение текущего состояния технологии искусственного интеллекта. Смещения, присущие обучающим данным, могут привести к ложноположительным или ложноотрицательным результатам.
Еще один фактор, который необходимо учитывать, — это то, что представляет собой контент, созданный ИИ. Если контент, созданный ИИ, просто переформулировать, то это контент, созданный человеком или искусственным интеллектом? Это представляет собой еще одну серьезную проблему: стирание границ между ними делает практически невозможным определение машинного контента.
Глядя в будущее обнаружения ИИ
Может показаться, что мы отказываемся от таких инструментов, как ZeroGPT. Это не так; они сталкиваются с огромными трудностями, а технология едва вышла из подгузников. Быстрое внедрение таких инструментов, как ChatGPT, создало спрос на обнаружение ИИ, и этой технологии нужно дать возможность созреть и освоиться.
Нельзя ожидать, что эти инструменты самостоятельно справятся с проблемами, создаваемыми чат-ботами. Но они могут сыграть ценную роль в согласованных и многогранных усилиях по решению проблем ИИ. Они представляют собой часть большой головоломки, которая включает в себя этические методы ИИ, человеческий надзор и постоянные исследования и разработки.
Проблемы, с которыми сталкиваются эти инструменты, являются зеркальным отражением проблем, с которыми сталкивается общество, когда мы боремся с дилеммами, связанными с новой технологической эпохой.
ИИ или не ИИ? Вот в чем вопрос
Такие инструменты, как ZeroGPT, несовершенны, в этом нет никаких сомнений. Но они не бесполезны и представляют собой важный шаг на пути к управлению и регулированию ИИ. Их точность улучшится, но повысится и сложность ИИ, который они обучены обнаруживать. Где-то в середине этой гонки вооружений нам нужно найти баланс, который устраивает общество.
Вопрос — ИИ или не ИИ? Это больше, чем просто обсуждение того, создано ли что-то искусственным интеллектом или нет. Это свидетельствует о более серьезных вопросах, с которыми сталкивается общество, когда мы адаптируемся к дивному новому миру ИИ.
Для справки, и согласно ZeroGPT, 27,21% этого вывода были сгенерированы ИИ. Хм.
