6 уроков, которые Microsoft извлекла из катастрофы своего чат-бота Tay AI

Чат-боты с искусственным интеллектом, такие как ChatGPT, становятся все более неотъемлемой частью современных технологий, но многим неизвестно, что генеративный искусственный интеллект не всегда был так хорош, как сегодня. Фактически, в 2016 году чат-бот Tay, созданный Microsoft, показал нам, насколько быстро ИИ может иметь неприятные последствия.

Давайте рассмотрим, что собой представлял чат-бот Tay от Microsoft, почему он потерпел неудачу, какие противоречия возникли и какие уроки компания извлекла после катастрофического провала.

Какой была Тай от Microsoft?

Tay — это чат-бот с искусственным интеллектом, разработанный Microsoft и доступный через Twitter 23 марта 2016 года. Чат-бот был разработан для подростков в возрасте от 18 до 24 лет в США в «развлекательных целях», а также для «экспериментирования и проведения исследований в области понимания разговорной речи».

Тай не должен был быть сложным чат-ботом, таким как ChatGPT, а дружелюбным ботом с искусственным интеллектом в Твиттере, с которым вы могли бы общаться — вроде как

Мой ИИ в Snapchat, а для общения.

Почему Microsoft закрыла Tay?

Microsoft отключила Tay в течение 24 часов после запуска — и на то была веская причина. Почти сразу после того, как Tay был представлен, пользователи Twitter начали злоупотреблять сервисом, кормя чат-бота. дезинформацию, обучая его уничижительным терминам и побуждая его быть все более оскорбительным, просто чтобы увидеть, насколько далеко он пошел бы.

И далеко это зашло действительно. Через несколько часов после запуска Тэй писал в Твиттере одни из самых оскорбительных расовых оскорблений, распространял ненавистнические высказывания, пропагандировал нацизм и даже вдохновлял на «расовую войну». Ой! Ясно, что у Microsoft были ужасные времена, и она не могла позволить сервису продолжаться.

В сообщение в официальном блоге Microsoft, корпоративный вице-президент Microsoft Питер Ли повторил то же самое:

Мы глубоко сожалеем о непреднамеренных оскорбительных и обидных твитах от Tay, которые не представляют, кто мы, за что мы выступаем и как мы создали Tay. Tay сейчас не в сети, и мы постараемся вернуть Tay только тогда, когда будем уверены, что сможем лучше предвидеть злонамеренные намерения, которые противоречат нашим принципам и ценностям.

Разгром Тэя — лишь один из многих опасности искусственного интеллекта и сильное напоминание о том, почему его разработка должна осуществляться с максимальной осторожностью и контролем.

6 уроков, которые Microsoft усвоила после Тэя

Tay был полной катастрофой, но он также преподал Microsoft несколько важных уроков, когда дело дошло до разработки инструментов искусственного интеллекта. И как бы то ни было, вероятно, к лучшему, что Microsoft усвоила свои уроки раньше, чем позже, что позволило ей опередить Google и разработать новый Браузер Bing с искусственным интеллектом.

Вот некоторые из этих уроков:

1. Интернет полон троллей

Интернет полон троллей, и это не совсем новость, не так ли? Судя по всему, так было с Microsoft еще в 2016 году. Мы не говорим, что создание чат-бота для «развлекательных целей», нацеленного на молодежь в возрасте от 18 до 24 лет, имело какое-либо отношение к уровню злоупотреблений сервисом. Тем не менее, это определенно была не самая умная идея.

Люди, естественно, хотят проверить пределы новых технологий, и, в конечном счете, задача разработчика — учитывать эти злонамеренные атаки. В некотором смысле, внутренние тролли действуют как механизм обратной связи для обеспечения качества, но это не означает, что чат-бота следует выпускать без надлежащих мер безопасности перед запуском.

2. ИИ не может интуитивно отличить хорошее от плохого

Концепция добра и зла — это то, что ИИ интуитивно не понимает. Он должен быть запрограммирован так, чтобы имитировать знание того, что правильно и что неправильно, что нравственно и аморально, что нормально и что является странным.

Эти качества более или менее естественны для людей как социальных существ, но ИИ не может формировать независимые суждения, сопереживать или испытывать боль. Вот почему, когда пользователи Твиттера кормили Тэя всевозможной пропагандой, бот просто следовал за ними, не подозревая об этичности собираемой информации.

3. Не обучайте модели ИИ, используя разговоры людей

Тай был создан путем «извлечения соответствующих общедоступных данных и использования ИИ и редакционных материалов, разработанных сотрудниками, включая комиков-импровизаторов». Обучение модели искусственного интеллекта с использованием разговоров людей в Интернете — ужасное занятие. идея.

И прежде чем обвинять в этом Твиттер, знайте, что результат, вероятно, был бы одинаковым независимо от платформы. Почему? Потому что люди просто не в лучшей форме в Интернете. Они становятся эмоциональными, используют жаргонные слова и используют свою анонимность, чтобы быть гнусными.

4. ИИ не обладает здравым смыслом и не понимает сарказма

ИИ сегодня кажется более интуитивным (точнее, лучше имитирует интуицию), но все еще иногда борется с распознаванием сарказма и фигур речи. Тем более это было верно еще в 2016 году. То, что очевидно для людей, не очевидно для ИИ; другими словами, ему не хватает здравого смысла.

ИИ, подобные Тэю, не понимают, почему люди такие, какие мы есть, действуют так, как мы, и эксцентричности каждого человека. Он может вести себя и звучать по-человечески до удивительной степени, но хорошее программирование может зайти так далеко.

5. ИИ должен быть запрограммирован на отклонение недействительных запросов

ИИ очень впечатлителен и должен быть запрограммирован на отклонение запросов, пропагандирующих вред. Даже сегодня, после всех наших достижений в обработке естественного языка, люди все еще находят лингвистические лазейки, чтобы заставить чат-ботов с искусственным интеллектом, таких как ChatGPT, «галлюцинировать» и предоставлять результаты, которые должны были быть ограничены.

Дело здесь в том, что искусственный интеллект идеально послушен, что, пожалуй, является его самой большой силой и слабостью. Все, что вы не хотите, чтобы чат-бот делал, должно быть запрограммировано в нем вручную.

6. Чат-боты с искусственным интеллектом никогда не должны оставаться без присмотра

Пока ИИ не сможет регулировать себя, его нельзя оставлять без присмотра. Вы можете думать о сегодняшнем ИИ как о вундеркинде; в некотором смысле это блестяще, но, тем не менее, это все еще ребенок. Если его оставить без присмотра, люди воспользуются его слабостями, и Тэй был ярким примером этого.

ИИ — это такой же инструмент, как и Интернет, но скорость и масштабы, с которыми ИИ может иметь неприятные последствия, намного выше, чем то, что мы испытали в первые дни существования Интернета.

ИИ нуждается в постоянном надзоре и регулировании

Тай — не единственный чат-бот, который стал мошенником — было много других подобных случаев. Но что выделяло его, так это скорость, с которой он работал, и тот факт, что он был создан технологическим гигантом, таким как Microsoft.

Подобные примеры показывают, насколько осторожными мы должны быть при разработке инструментов ИИ, особенно когда они предназначены для использования обычными людьми.