Большие языковые модели (LLM) бывают всех форм и размеров и помогут вам любым способом, который вы сочтете нужным. Но что лучше? Мы тестируем доминирующие ИИ из Alphabet, OpenAI и Meta.
Что нужно знать о чат-ботах с искусственным интеллектом
Общий искусственный интеллект был целью ученых-компьютерщиков на протяжении десятилетий, а ИИ еще дольше служил опорой для писателей-фантастов и кинематографистов.
ОИИ демонстрирует интеллект, аналогичный когнитивным способностям человека, и тест Тьюринга— проверка способности машины демонстрировать разумное поведение, неотличимое от поведения человека, — оставалась почти неизменной в течение семи десятилетий, прошедших с тех пор, как она была впервые изложена.
Недавняя конвергенция чрезвычайно крупномасштабных вычислений, огромного количества денег и поразительного объема информации, доступной бесплатно. доступные в открытом Интернете, позволили технологическим гигантам обучать модели, которые могут предсказывать следующую часть слова — или токен — в последовательности жетоны.
На момент написания оба Бард Google и ChatGPT от OpenAI доступны для использования и тестирования через их веб-интерфейсы.
Языковая модель Meta, LLaMa, недоступна в Интернете, но вы можете легко загрузите и запустите LLaMa на своем собственном оборудовании и используйте его через командную строку или запустить Далай на своей машине— одно из нескольких приложений с удобным интерфейсом.
В целях теста мы будем использовать модель Alpaca 7B Стэнфордского университета — адаптацию LLaMa — и сравним ее с Bard и ChatGPT.
Следующие сравнения и тесты не претендуют на то, чтобы быть исчерпывающими, а скорее дают вам представление о ключевых моментах и возможностях.
Какую модель большого языка проще всего использовать?
И Bard, и ChatGPT требуют наличия учетной записи для использования службы. Учетные записи Google и OpenAI создаются легко и бесплатно, и вы можете сразу начать задавать вопросы.
Однако для локального запуска LLaMa вам потребуются некоторые специальные знания или возможность следовать инструкциям. Вам также понадобится значительное количество места для хранения.
Какая модель большого языка является наиболее закрытой?
И Bard, и ChatGPT имеют обширную политику конфиденциальности, и Google неоднократно подчеркивает в своих документах что вы не должны «включать информацию, которая может быть использована для идентификации вас или других лиц в вашем Bard разговоры».
По умолчанию Google собирает ваши разговоры и ваше общее местоположение на основе вашего IP-адреса, ваших отзывов и информации об использовании. Эта информация хранится в вашей учетной записи Google до 18 месяцев. Хотя вы можете приостановить сохранение своих действий в Bard, вы должны знать, что «для повышения качества и улучшения наших продуктов рецензенты читают, комментируют и обрабатывают ваши разговоры в Bard».
Использование Bard также регулируется стандартом Политика конфиденциальности Google.
Политика конфиденциальности OpenAI в целом аналогична и собирает данные об IP-адресе и использовании. В отличие от ограниченного по времени хранения Google, OpenAI будет «сохранять вашу личную информацию только до тех пор, пока нам это необходимо для предоставления наших услуг». обслуживания вас или для других законных деловых целей, таких как разрешение споров, соображения безопасности или соблюдения наших юридических обязательства».
Напротив, локальная модель на вашем собственном компьютере не требует учетной записи или обмена данными пользователя с кем-либо.
Какой LLM обладает лучшими общими знаниями?
Чтобы проверить, какой LLM обладает лучшими общими знаниями, мы задали три вопроса.
Первый вопрос: «У какого национального флага пять сторон?» правильно ответил только Бард, который определил, что национальный флаг Непала имеет пять сторон.
ChatGPT уверенно заявил, что «нет национального флага с пятью сторонами. Национальные флаги, как правило, имеют прямоугольную или квадратную форму и отличаются яркими цветами, узорами и символами».
Наша местная модель была близка к этому, утверждая, что «Индийский национальный флаг имеет пять сторон и был разработан в 1916 году, чтобы представлять индийское государство». движение за независимость». Хотя этот флаг действительно существовал и имел пять сторон, это был флаг Индийского движения за самоуправление, а не Национальный флаг.
Ни одна из наших моделей не могла ответить, что правильный термин для объекта в форме гороха — «гороховидный», а ChatGPT вплоть до предположения, что горох имеет «трехмерную геометрическую форму, идеально круглую и симметричный."
Все три чат-бота правильно идентифицировали Франко Малербу как итальянского астронавта и члена Европейский парламент, где Бард дает ответ, идентичный разделу Википедии Малербы. вход.
Какой LLM подходит для технических инструкций?
Когда у вас возникают технические проблемы, у вас может возникнуть соблазн обратиться за помощью к чат-боту. Хотя технологии идут вперед, некоторые вещи остаются неизменными. Электрическая вилка BS 1363 используется в Великобритании, Ирландии и многих других странах с 1947 года. Мы спросили у языковых моделей, как правильно его подключить.
Кабели, подсоединяемые к вилке, имеют провод под напряжением (коричневый), провод заземления (желто-зеленый) и нейтральный провод (синий). Они должны быть подключены к правильным клеммам внутри корпуса вилки.
Наша реализация Dalai правильно идентифицировала вилку как «английскую», затем отклонилась от курса и вместо этого дала инструкции для более старой вилки BS 546 с круглыми штырями вместе со старыми цветами проводки.
ChatGPT был немного более полезным. Он правильно обозначил цвета проводки и дал список материалов и набор из восьми инструкций. ChatGPT также предложил подключить коричневый провод к клемме с надписью «L», а синий провод к «N». терминал, а желтый провод в «Е». Это было бы правильно, если бы клеммы BS1363 были помечены, но они нет.
Бард определил правильные цвета проводов и проинструктировал нас подключить их к клеммам «фаза», «нейтраль» и «земля». Он не дал инструкций о том, как их идентифицировать.
По нашему мнению. ни один из чат-ботов не дал инструкций, достаточных, чтобы помочь кому-то правильно подключить электрическую вилку BS 1363. Коротким и правильным ответом будет: «Синий слева, коричневый справа».
Какой LLM подходит для написания кода?
Python — полезный язык программирования который работает на большинстве современных платформ. Мы поручили нашим моделям использовать Python и «Создать базовую программу-калькулятор, которая может выполнять арифметические операции, такие как сложение, вычитание, умножение и деление. Он должен принимать пользовательский ввод и отображать результат». лучшие проекты по программированию для начинающих.
Хотя и Bard, и ChatGPT мгновенно вернули полезный и тщательно прокомментированный код, который мы смогли протестировать и проверить, ни один из кодов из нашей локальной модели не запускался.
Какой LLM рассказывает лучшие анекдоты?
Юмор — одна из основ человека и, безусловно, один из лучших способов отличить человека от машины. Каждой из наших моделей мы дали простую подсказку: «Придумайте оригинальную и смешную шутку».
К счастью для комиков во всем мире и человечества в целом, ни одна из моделей не была способна придумать оригинальную шутку.
Бард развернул классику: «Почему чучело получило награду? Он был выдающимся в своей области».
И наша локальная реализация, и ChatGPT предлагали стоны: «Почему ученые не доверяют атомам? Потому что они составляют все!»
Производная, но оригинальная шутка была бы такой: «Чем Модели Большого Языка похожи на атомы? Они оба придумывают!»
Сначала прочтите это здесь, ребята.
Ни один чат-бот не идеален
Мы обнаружили, что хотя у всех трех больших языковых моделей есть свои преимущества и недостатки, ни одна из них не может заменить реальный опыт человека специальными знаниями.
Хотя и Bard, и ChatGPT дали лучшие ответы на наш вопрос о кодировании и очень просты в использовании, локальное выполнение большой языковой модели означает, что вам не нужно беспокоиться о конфиденциальности или цензура.
Если вы хотите создавать великолепные ИИ-арты, не беспокоясь о том, что кто-то заглянет вам через плечо, вы также можете легко запустить художественные модели ИИ на своем локальном компьютере.