В то время как OpenAI лидирует в разработке генеративного ИИ, многие обвиняют Google в отставании. Однако, чтобы не отставать, Google представила новую большую языковую модель PaLM 2 на своей конференции Google I/O в 2023 году.
Созданный в четырех различных размерах для ряда приложений, новый LLM от Google, по-видимому, уже поддерживает несколько сервисов Google, и их будет гораздо больше.
Что такое PaLM 2?
На конференции Google I/O 2023, состоявшейся 10 мая, генеральный директор Google Сунда Пичаи представила новейшую игрушку Google: Палм 2.
Сокращенно от Pathways Language Model 2, обновленный LLM от Google представляет собой вторую итерацию PaLM, первая версия которой была запущена еще в апреле 2022 года. Не можете вспомнить PaLM? Что ж, в то время это была большая новость, и она вызвала кучу интереса из-за своей способности немного разговаривать, рассказывать простые анекдоты и так далее. Перенесемся на шесть месяцев вперед, и OpenAI GPT-3.5 взорвал все на свете, в том числе PaLM.
С того времени,
OpenAI запустил GPT-4, массовый апгрейд на GPT-3.5. Тем не менее, в то время как новая модель интегрируется в многочисленные инструменты, в первую очередь в чат Bing AI от Microsoft, Google ставит перед собой цель на OpenAI и GPT-4 с PaLM 2 и будет надеяться, что его модернизированный LLM сможет закрыть то, что казалось значительным пробелом — запуск Google Bard вряд ли был бурным успех.Pichai объявил, что PaLM 2 будет выпускаться в четырех размерах: Gecko, Otter, Bison и Unicorn.
Gecko настолько легкий, что может работать на мобильных устройствах, и достаточно быстр для интерактивных приложений на устройстве даже в автономном режиме. Эта универсальность означает, что PaLM 2 можно настроить для поддержки целых классов продуктов различными способами, чтобы помочь большему количеству людей.
Благодаря тому, что Gecko может обрабатывать около 20 токенов в секунду — токены — это значения, присвоенные реальным словам для использования генеративными моделями ИИ, — похоже, это изменит правила игры для мобильных развертываемых инструментов ИИ.
Тренировочные данные PaLM 2
Google не очень-то спешил с тренировочными данными PaLM 2, что понятно, учитывая, что он был только что выпущен. Но Отчет PaLM 2 [PDF] действительно сказал, что хочет, чтобы PaLM 2 имел более глубокое понимание математики, логики и естественных наук, и что большая часть его учебного корпуса сосредоточена на этих темах.
Тем не менее, стоит отметить, что PaLM не дурачился. Когда Google раскрыла PaLM, она подтвердила, что обучена на 540 миллиардах параметров, что на тот момент было колоссальной цифрой.
Утверждается, что OpenAI GPT-4 использует более одного триллиона параметров, а некоторые предполагают, что эта цифра достигает 1,7 триллиона. Можно с уверенностью сказать, что, поскольку Google хочет, чтобы PaLM 2 напрямую конкурировал с LLM OpenAI, он будет иметь, по крайней мере, сопоставимую цифру, если не больше.
Еще одним значительным преимуществом PaLM 2 являются данные для обучения языку. Google обучил PaLM 2 более чем 100 языкам, чтобы придать ему большую глубину и понимание контекста, а также расширить его возможности перевода.
Но это не только разговорные языки. Ссылаясь на потребность Google в PaLM 2 для улучшения научных и математических рассуждений, LLM также обучен более чем 20 языкам программирования, что делает его феноменальным активом для программистов.
PaLM 2 уже поддерживает сервисы Google, но все еще требует тонкой настройки
Вскоре мы получим PaLM 2 и посмотрим, на что он способен. Если повезет, запуск любых приложений и сервисов PaLM 2 будет лучше, чем Bard.
Но вы, возможно, (технически!) уже использовали PaLM 2. Google подтвердил, что PaLM 2 уже развернут и используется в 25 своих продуктах, включая Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets и другие.
Но отчет PaLM 2 также показывает, что еще многое предстоит сделать, особенно в отношении токсичных ответов на различных языках.
Например, когда PaLM 2 специально получает токсические подсказки, он генерирует токсические ответы более чем в 30% случаев. Кроме того, на определенных языках — английском, немецком и португальском — PaLM 2 давал более токсические ответы. чем в 17% случаев, с подсказками, включающими расовую принадлежность и религию, увеличивающими эту цифру. выше.
Сколько бы исследователи ни пытались очистить данные обучения LLM, некоторые из них неизбежно проскользнут. Следующим этапом является продолжение обучения PaLM 2 для уменьшения этих токсичных реакций.
Это период бума для больших языковых моделей
OpenAI не был первым, кто запустил большую языковую модель, но его модели GPT-3, GPT-3.5 и GPT-4, несомненно, зажгли голубую бумагу для генеративного ИИ.
У Google PaLM 2 есть некоторые проблемы, которые нужно сгладить, но тот факт, что он уже используется в нескольких сервисах Google, показывает уверенность компании в своем последнем LLM.
