Google PaLM 2 по сравнению с OpenAI GPT-4: в чем разница?

Google представила следующее поколение своей языковой модели Pathways (PaLM 2) 10 мая 2023 года на конференции Google I/O 2023. Его новая крупноязыковая модель (LLM) может похвастаться значительными улучшениями по сравнению со своим предшественником (PaLM) и, возможно, наконец-то будет готова конкурировать со своим крупнейшим конкурентом, OpenAI GPT-4.

Но сколько улучшений сделал Google? Является ли PaLM 2 создателем различий, на который надеется Google, и, что более важно, с таким количеством схожих возможностей, как PaLM 2 отличается от GPT-4 OpenAI?

PaLM 2 по сравнению с GPT-4: Обзор производительности

PaLM 2 содержит новые и улучшенные возможности над своим предшественником. Одним из уникальных преимуществ PaLM 2 по сравнению с GPT-4 является тот факт, что он доступен в меньших размерах, характерных для определенных приложений, которые не имеют такой большой встроенной вычислительной мощности.

У всех этих разных размеров есть свои меньшие модели, называемые Gecko, Otter, Bison и Unicorn, причем Gecko является самым маленьким, за ним следуют Otter, Bison и, наконец, Unicorn, самая большая модель.

Google также заявляет об улучшении возможностей рассуждений по сравнению с GPT-4 в WinoGrande и DROP, при этом первый имеет небольшой отрыв в ARC-C. Тем не менее, есть значительные улучшения, когда речь идет о PaLM и SOTA.

PaLM 2 также лучше справляется с математикой, согласно 91-страничному отчету Google. Исследовательская работа PaLM 2 [PDF]. Однако то, как Google и OpenAI структурировали результаты своих тестов, затрудняет прямое сравнение двух моделей. Google также пропустил некоторые сравнения, вероятно, потому, что PaLM 2 не работал так же хорошо, как GPT-4.

В MMLU GPT-4 набрал 86,4 балла, а PaLM 2 — 81,2. То же самое и с HellaSwag, где забил GPT-4. 95,3, но PaLM 2 смог набрать только 86,8, а ARC-E, где GPT-4 и PaLM 2 набрали 96,3 и 89,7, соответственно.

Самая крупная модель семейства PaLM 2 — PaLM 2-L. Хотя мы не знаем его точного размера, мы знаем, что он значительно меньше, чем самая большая модель PaLM, но использует больше обучающих вычислений. Согласно Google, PaLM имеет 540 миллиардов параметров, поэтому «значительно меньший» должен поместить PaLM 2 где-то между 10 и 300 миллиардами параметров. Имейте в виду, что эти цифры являются всего лишь предположениями, основанными на том, что Google сказал в документе PaLM 2.

Если это число близко к 100 миллиардам или меньше, PaLM 2, скорее всего, меньше по параметрам, чем ГПТ-3.5. Учитывая, что модель потенциально стоимостью менее 100 миллиардов долларов может идти в ногу с GPT-4 и даже превосходить ее в некоторых задачах, впечатляющий. ГПТ-3.5 изначально все сдувал с ног, включая PaLM, но PaLM 2 значительно восстановился.

Различия в данных обучения GPT-4 и PaLM 2

Хотя Google не раскрывает размер набора обучающих данных PaLM 2, компания сообщает в своем исследовательском документе, что набор обучающих данных нового LLM значительно больше. OpenAI также использовал тот же подход при представлении GPT-4, не заявляя о размере набора обучающих данных.

Однако Google хотел сосредоточиться на более глубоком понимании математики, логики, рассуждений и науки, а это означает, что большая часть обучающих данных PaLM 2 сосредоточена на вышеупомянутых темах. Google сообщает в своем документе, что корпус предварительного обучения PaLM 2 состоит из нескольких источников, включая веб-документы, книги, код, математика и разговорные данные, что дает улучшения по всем направлениям, по крайней мере, по сравнению с Ладонь.

Разговорные навыки PaLM 2 также должны быть на другом уровне, учитывая, что модель прошла обучение. на более чем 100 языках, чтобы обеспечить лучшее понимание контекста и лучший перевод возможности.

Поскольку данные обучения GPT-4 подтверждены, OpenAI сообщила нам, что она обучила модель, используя общедоступные данные и данные, которые она лицензировала. Страница исследования GPT-4 заявляет: «Данные представляют собой набор данных в масштабе Интернета, включая правильные и неправильные решения математических задач, слабые и сильные рассуждения, противоречивые и последовательные утверждения, представляющие большое разнообразие идеологий и идеи».

Когда GPT-4 задают вопрос, он может давать самые разные ответы, не все из которых могут иметь отношение к вашему запросу. Чтобы привести его в соответствие с намерениями пользователя, OpenAI точно настроил поведение модели, используя обучение с подкреплением и обратную связь с человеком.

Хотя мы можем не знать точных данных обучения, на которых обучалась любая из этих моделей, мы знаем, что цель обучения была совершенно другой. Нам придется подождать и посмотреть, как эта разница в целях обучения различает две модели в реальном развертывании.

Чат-боты и сервисы PaLM 2 и GPT-4

Первый портал для доступа к обоим LLM использует соответствующие чат-боты: Bard PaLM 2 и ChatGPT GPT-4. Тем не менее, GPT-4 находится за платным доступом с ChatGPT Plus, а бесплатные пользователи получают доступ только к GPT-3.5. С другой стороны, Bard бесплатен для всех и доступен в 180 странах.

Это не значит, что вы не можете получить доступ к GPT-4 бесплатно. Bing AI Chat от Microsoft использует GPT-4 и является абсолютно бесплатным, открытым для всех и доступным рядом с поиском Bing, крупнейшим конкурентом Google в этой области.

Google I/O 2023 был наполнен объявлениями о том, как интеграция PaLM 2 и генеративного ИИ улучшит Google Workspace. опыт работы с функциями искусственного интеллекта, доступными в Google Docs, Sheets, Slides, Gmail и практически во всех сервисах, предлагаемых поисковым гигантом. Кроме того, Google подтвердил, что PaLM 2 уже интегрирован в более чем 25 продуктов Google, включая Android и YouTube.

Для сравнения, Microsoft уже внедрила функции ИИ в пакет программ Microsoft Office и многие из своих сервисов. На данный момент вы можете испытать оба LLM в их собственных версиях аналогичных предложений от двух конкурирующих компаний, сражающихся лицом к лицу в битве ИИ.

Однако, поскольку GPT-4 вышла раньше и старалась избежать многих ошибок, допущенных Google с оригинальным Bard, она стала де-факто LLM для сторонних разработчиков, стартапов и практически всех, кто хочет внедрить мощную модель ИИ в свои услуги, поэтому далеко. У нас есть список приложений GPT-4, если вы хотите их проверить.

Это не означает, что разработчики не перейдут на PaLM 2 или, по крайней мере, не опробуют его, но Google все еще должен догонять OpenAI на этом фронте. А тот факт, что PaLM 2 имеет открытый исходный код, а не платный API, означает, что он может получить более широкое распространение, чем GPT-4.

Может ли PaLM 2 конкурировать с GPT-4?

PaLM 2 все еще очень новый, поэтому ответ на вопрос, сможет ли он справиться с GPT-4, еще предстоит ответить. Однако со всем, что обещает Google, и с агрессивной манерой, которую он решил использовать для его распространения, похоже, что PaLM 2 может составить конкуренцию GPT-4 за свои деньги.

Тем не менее, GPT-4 по-прежнему является достаточно мощной моделью и, как уже упоминалось ранее, превосходит PaLM 2 во многих сравнениях. Тем не менее, несколько меньших моделей PaLM 2 дают ему неоспоримое преимущество. Сам Gecko настолько легкий, что может работать на мобильных устройствах даже в автономном режиме. Это означает, что PaLM 2 может поддерживать совершенно другой класс продуктов и устройств, которым может быть сложно использовать GPT-4.

Гонка ИИ накаляется

С запуском PaLM2 гонка за господство ИИ обострилась, так как это может быть первый достойный противник, который выступит против GPT-4. С новой мультимодальной моделью ИИ под названием «Близнецы», которая также проходит обучение, Google не показывает никаких признаков замедления.