Почему ChatGPT-4 такой медленный по сравнению с ChatGPT-3.5?

С последней версией ChatGPT, GPT-4, выпущенной в марте 2023 года, многие теперь задаются вопросом, почему она такая медленная по сравнению со своей предшественницей GPT-3.5. Итак, какова основная причина здесь?

Почему ChatGPT-4 такой медленный, и стоит ли вместо этого придерживаться GPT-3.5?

Что такое ChatGPT-4?

ChatGPT-4 — новейшая модель Чат-бот OpenAI, известный как ChatGPT. ChatGPT работает на основе искусственного интеллекта, что позволяет ему отвечать на ваши вопросы и подсказки намного лучше, чем предыдущие чат-боты. ChatGPT использует большую языковую модель, основанную на GPT (Generative Pre-trained Transformer), чтобы предоставлять информацию и контент пользователям, а также иметь возможность общаться.

ChatGPT обладает широким спектром возможностей, что делает его полезным для миллионов пользователей. Например, ChatGPT может писать истории, формулировать шутки, переводить текст, обучать пользователей и т. д. Хотя ChatGPT также можно использовать для более незаконных действий, таких как

создание вредоносных программ, его универсальность несколько революционна.

Модель GPT-4 от ChatGPT был выпущен 14 марта 2023 года. Эта версия ChatGPT предназначена для лучшего понимания языка эмоций через текст, а также для лучшего понимания различных языковых диалектов и обработки изображений. GPT-4 также может поддерживать более длительные разговоры и эффективно реагировать на более длинные запросы пользователя.

Кроме того, параметры ГПТ-4 значительно превосходят параметры ГПТ-3,5. Параметры ChatGPT определяют, как ИИ обрабатывает информацию и реагирует на нее. Короче говоря, параметры определяют навыки взаимодействия чат-бота с пользователями. В то время как GPT-3.5 имеет 175 миллиардов параметров, GPT-4 имеет невероятные от 100 до 170 триллионов (по слухам — OpenAI не подтвердил эту цифру).

Именно OpenAI GPT-3.5 использовался для поддержки ChatGPT, который сейчас является самым популярным чат-ботом AI в мире. Таким образом, GPT-3.5 оставила неоспоримый след в сфере ИИ. Но в технологической индустрии все идет вперед, поэтому неудивительно, что у GPT-3.5 теперь есть преемник GPT-4.

Однако GPT-4 отнюдь не идеален. На самом деле большое время отклика GPT-4 вызывает настоящий переполох. Итак, давайте рассмотрим эту проблему и почему это может происходить.

ChatGPT-4 работает медленно

После выпуска GPT-4 многие заметили, что новый чат-бот OpenAI работает невероятно медленно. Это разочаровало множество пользователей, поскольку GPT-4 должен был стать шагом вперед по сравнению с GPT-3.5, а не назад. В результате пользователи GPT-4 обратились к онлайн-платформам, таким как Reddit и форум сообщества OpenAI, чтобы обсудить эту проблему.

На Форум сообщества OpenAI, ряд пользователей выразили недовольство задержкой GPT-4. Один пользователь заявил, что GPT-4 был «чрезвычайно медленным» с их стороны и что даже небольшие запросы, сделанные чат-боту, приводили к необычно длительным задержкам более 30 секунд.

Другие пользователи поспешили поделиться своим опытом работы с GPT-4, а один из них прокомментировал под постом, что «один и тот же вызов с теми же данными может выполняться в 4 раза медленнее, чем 3,5 турбо».

В другой Сообщение на форуме сообщества OpenAI, пользователь прокомментировал, что их подсказки иногда встречаются с "ошибка в потоке тела" сообщение, в результате чего нет ответа. В той же ветке другой человек заявил, что они не могут заставить GPT-4 «успешно ответить с помощью полный сценарий.» Другой пользователь отметил, что они продолжали сталкиваться с сетевыми ошибками при попытке использовать ГПТ-4.

С задержками и неудачными или недоработанными ответами кажется, что GPT-4 завален проблемами, которые быстро отталкивают пользователей.

Так почему именно это происходит? Что-то не так с GPT-4?

Почему GPT-4 медленнее по сравнению с GPT-3.5?

В сообщении на форуме сообщества OpenAI, упомянутом выше, один пользователь ответил, предположив, что задержка была вызвана «текущей проблемой со всей инфраструктурой». перегрузки», добавив, что существует проблема, связанная с «решением масштабируемости в столь короткие сроки с такой популярностью и количеством пользователей как чата, так и API."

В Сообщение Reddit загруженный в сабреддит r/singularity, пользователь изложил несколько возможных причин медлительности GPT-4, начиная с большего размера контекста. В экосистеме GPT размер контекста означает, сколько информации данная версия чат-бота может обработать, а затем предоставить информацию. В то время как размер контекста GPT-3.5 составлял 4 КБ, размер контекста GPT-4 вдвое больше. Таким образом, размер контекста 8K может влиять на общую скорость GPT-4.

Автор Reddit также предположил, что улучшенная управляемость и контроль над GPT-4 могут сыграть роль во времени обработки чат-ботом. Здесь автор заявил, что GPT-4 обладает большей управляемостью и контролем над галлюцинациями и неадекватным поведением. язык может быть виновником, поскольку эти функции добавляют дополнительные шаги к методу обработки GPT-4. информация.

Кроме того, было высказано предположение, что способность GPT-4 обрабатывать изображения может замедлять работу. Эта полезная функция нравится многим, но может иметь подвох. Учитывая, что, по слухам, GPT-4 обрабатывает предоставленное изображение за 10-20 секунд, есть вероятность, что этот компонент увеличивает время отклика (хотя это не объясняет задержек, с которыми сталкиваются пользователи, предоставляющие только текстовые подсказки).

Другие пользователи предположили, что большую роль в этих задержках играет новизна ChatGPT-4. Другими словами, некоторые считают, что новейшему чат-боту OpenAI нужно испытать некоторые трудности роста, прежде чем все недостатки можно будет сгладить.

Но самая большая причина медленности GPT-4 — это количество параметров, которые GPT-4 может использовать по сравнению с GPT-3.5. Феноменальный рост параметров просто означает, что новой модели GPT требуется больше времени для обработки информации и ответа. точно. Вы получаете лучшие ответы с повышенной сложностью, но это занимает немного больше времени.

Стоит ли выбирать GPT-3.5 вместо GPT-4?

Итак, учитывая эти проблемы, следует ли использовать ГПТ-3,5 или ГПТ-4?

На момент написания статьи кажется, что GPT-3.5 является более быстрым вариантом, чем GPT-4. Так много пользователей столкнулись с задержками, что, вероятно, проблема со временем присутствует повсеместно, а не только у нескольких человек. Так что, если ChatGPT-3.5 в настоящее время соответствует всем вашим ожиданиям, и вы не хотите ждать ответа в обмен на дополнительные функции, возможно, стоит пока придерживаться этой версии.

Однако вы должны отметить, что GPT-4 не просто GPT-3.5, а медленнее. Эта версия чат-бота OpenAI имеет множество преимуществ по сравнению со своей предшественницей. Если вы ищете более продвинутого чат-бота с искусственным интеллектом и не возражаете дольше ждать ответов, возможно, стоит перейти с GPT-3.5 на GPT-4.

Со временем задержки GPT-4 могут быть уменьшены или полностью устранены, поэтому терпение здесь может быть добродетелью. Пытаетесь ли вы перейти на GPT-4 сейчас или немного подождать, чтобы увидеть, как обстоят дела с этой версией, вы все равно можете получить много от изящного маленького чат-бота OpenAI.

GPT-4 более совершенен, но имеет отставание

Хотя GPT-4 обладает многочисленными расширенными возможностями по сравнению с GPT-3.5, его значительные задержки и ошибки ответа сделали его непригодным для некоторых. Эти проблемы могут быть решены в ближайшем будущем, но на данный момент GPT-4 определенно предстоит преодолеть некоторые препятствия, прежде чем она будет принята в более широком масштабе.