Существует множество чат-ботов на базе искусственного интеллекта, но какой из них лучше всего использует LLM? Вот как вы можете сравнить LLM, чтобы определить, какой из них лучше.
Из-за того, что в Интернете доступно несколько чат-ботов, может оказаться чрезвычайно сложно выбрать тот, который соответствует вашим потребностям. Хотя вы можете сравнить любых двух чат-ботов вручную, это займет немало времени и усилий.
Лучший и простой способ — использовать Chatbot Arena для сравнения различных LLM, на которых работают популярные чат-боты. Он предлагает несколько режимов для сравнения различных моделей, которые мы объясним ниже.
Что такое арена чат-ботов?
Chatbot Arena, созданная LMSYS Org, представляет собой платформу для сравнения различных программ LLM. Он использует систему рейтинга Эло для ранжирования различных моделей.
Chatbot Arena предлагает пользователям несколько способов сравнить и оценить LLM. На основании полученных отзывов Chatbot Arena ранжирует различные LLM в общедоступной таблице лидеров. Спонсором проекта является
HuggingFace, альтернатива ChatGPT с открытым исходным кодом..Как сравнить анонимные программы LLM с Chatbot Arena
Боевой режим Chatbot Arena позволяет анонимно сравнивать LLM. Например, вы можете сравнить ChatGPT (GPT 3.5) и Клода. Это значит, что Chatbot Arena сама выбирает любые две языковые модели и, не раскрывая их названий, позволяет сравнить их.
Когда вы вводите первое приглашение, Chatbot Arena получает ответы от обеих моделей, отображая их рядом. Платформа позволяет вам восстанавливать ответы (для обоих LLM) и очищать историю, чтобы начать другой разговор. Вы можете продолжать задавать больше вопросов, пока не выберете явного победителя.
Затем вы можете выбрать, модель A лучше или модель B. При выборе победителя Chatbot Arena раскрывает имена обоих ботов. Этот режим отлично работает, поскольку на ваше решение не влияет ваше предыдущее восприятие или популярность моделей. Chatbot Arena также позволяет настраивать такие параметры, как температура, Top P и максимальное количество токенов вывода.
Как сравнить выбранные программы LLM с Chatbot Arena
Если вы хотите сравнить любые два конкретных LLM, вы можете переключиться в параллельный режим Chatbot Arena. За исключением того факта, что вы можете сами выбирать LLM, этот режим работает почти так же, как боевой. Вы можете настроить параметры, обновить ответы, очистить историю и в конце выбрать победителя.
Однако количество LLM, доступных в этом режиме, ограничено. Вы можете выбрать разные версии Llama 2, Vicuna и ChatGLM. Хотя популярные LLM, такие как GPT-4, GPT-3.5, Claude 1, Claude 2 и т. д., в настоящее время недоступны в этом режиме, Chatbot Arena планирует их добавить.
Сравните LLM с помощью Chatbot Arena
Если вы ищете подходящего чат-бота для своих нужд или просто хотите протестировать различные LLM, Chatbot Arena — отличная платформа.
Он обеспечивает упрощенный способ параллельного сравнения различных языковых моделей. А поскольку он поддерживает таблицу лидеров, основанную на отзывах пользователей, вы можете напрямую просматривать рейтинги различных моделей, не проводя тесты самостоятельно.
