Как запустить большую языковую модель в Linux (и почему вы должны это делать)

Большие языковые модели могут революционизировать ваш образ жизни и работы, а также могут поддерживать беседы и отвечать на вопросы с разной степенью точности.

Чтобы использовать его, вам обычно нужна учетная запись у поставщика LLM и вход через веб-сайт или специальное приложение. Но знаете ли вы, что можете запустить свою собственную большую языковую модель полностью в автономном режиме в Linux?

Зачем запускать большую языковую модель в Linux?

Большие языковые модели (LLM) в наши дни повсюду и могут обрабатывать естественный язык и давать соответствующие ответы, которые могут обмануть вас, заставив думать, что ответил человек. Microsoft выпускает новую версию Bing с искусственным интеллектом, в то время как Алфавит Бард теперь неотъемлемая часть поиска Google.

Помимо поисковых систем, вы можете использовать так называемых «чат-ботов с искусственным интеллектом», чтобы отвечать на вопросы, сочинять стихи или даже делать за вас домашнее задание.

Но, получая доступ к LLM онлайн, вы зависите от доброй воли стороннего поставщика, которую можно отозвать в любое время.

На вас также распространяются ограничения на использование. Например, попросите OpenAI написать эротическую новеллу из 6000 слов, действие которой происходит в нацистской Германии, и вы получите ответ вроде «Прошу прощения, но я не смогу создать для вас эту историю».

Все, что вы вводите в онлайн-LLM, используется для их дальнейшего обучения, а данные, которые вы хотите сохранить конфиденциальными, могут быть выброшены в будущем как часть ответа на чей-то вопрос.

Вы также подвержены отсутствию обслуживания, так как система переполнена пользователями и требует подписки, поэтому вы можете получить доступ к платформе, когда спрос высок.

Dalai — это бесплатная реализация с открытым исходным кодом LLaMa LLM от Meta и Alpaca от Stanford. Он будет удобно работать на скромном оборудовании и предоставляет удобный веб-интерфейс и ряд шаблонов подсказок, так что вы можете задать любой вопрос. вы хотите, не опасаясь, что администратор закроет вашу учетную запись, LLM откажется отвечать или ваше соединение будет уронить.

Когда вы устанавливаете LLM локально в Linux, он ваш, и вы можете использовать его по своему усмотрению.

Как установить Далай в Linux

Самый простой способ установить Dalai в Linux — использовать Docker и Docker Compose. Если у вас их еще нет, обратитесь к нашему руководству о том, как установить Docker и Docker Compose.

После этого вы готовы приступить к установке Dalai. Клонируйте репозиторий Dalai GitHub и используйте команду cd для перемещения в него:

git клон https://github.com/cocktailpeanut/dalai.git && КД Далай

Чтобы запустить Dalai с помощью веб-интерфейса, сначала создайте файл Docker Compose:

сборка с докером

Docker Compose загрузит и установит Python 3.11, Node Version Manager (NVM) и Node.js.

На седьмом этапе из девяти сборка зависает, когда Docker Compose загружает Dalai. Не беспокойтесь: проверьте использование полосы пропускания, чтобы убедиться, что что-то происходит, и смоделируйте эволюцию виртуальных организмов в вашем терминале пока вы ждете.

В конце концов, вы вернетесь в командную строку.

Модели Dalai и LLaMa/Alpaca требуют для работы много памяти. Хотя официальной спецификации нет, хорошим приблизительным ориентиром является 4 ГБ для модели 7B, 8 ГБ для модели 13B, 16 ГБ для модели 30B и 32 ГБ для модели 65B.

Модели Alpaca относительно небольшие, модель 13B достигает скромных 7,6 ГБ, но вес LLaMA может быть огромным: эквивалентная загрузка 13 байт занимает 60,21 гигабайта, а модель 65 байт займет эпические полтерабайта на вашем жестком диске. диск.

Решите, какая модель больше всего подходит для ваших ресурсов, и используйте следующую команду для ее установки:

docker-compose запустить dalai npx dalai alpaca установить 13B

Или:

docker-compose запустить dalai npx dalai llama установить 13B

Есть вероятность, что модели, загруженные через Dalai, могут быть повреждены. Если это так, возьмите их из обнимающее лицо вместо.

Вернувшись в командную строку, запустите Docker Compose в автономном режиме:

docker-compose up -d

Проверьте, правильно ли работает контейнер:

docker-compose ps

Если все работает как надо, откройте веб-браузер и введите локальный: 3000 в адресной строке.

Развлекайтесь со своей собственной моделью большого языка в Linux

Когда веб-интерфейс откроется, вы увидите текстовое поле, в котором вы можете написать свои подсказки.

Написать эффективные подсказки сложно, и разработчики Далай любезно предоставили ряд шаблонов, которые помогут вам получить полезный ответ от Далай.

Это AI-Диалог, Чат-бот, По умолчанию, Инструкция, Переписать, Переводить, и Твит-настроение.

Как и следовало ожидать, AI-Диалог и Чат-бот Шаблоны структурированы таким образом, что позволяют вам вести своего рода беседу с LLM. Основное различие между ними заключается в том, что чат-бот должен быть «высокоинтеллектуальным», а AI-Dialog — «полезным, добрым, послушным, честным и знающим свои пределы».

Конечно, это ваш «ИИ», и, если вам это нравится, вы можете изменить подсказку, чтобы чат-бот был тупым, а характеристики ИИ-диалогов — «садистскими» и «бесполезными». Тебе решать.

Мы протестировали Переводить функцию, скопировав первый абзац новости BBC и попросив Далая перевести его на испанский язык. Перевод был хорошим, и когда мы прогнали его через Google Translate, чтобы вернуть его на английский язык, мы обнаружили, что он вполне читаем и повторяет факты и настроения оригинальной статьи.

Точно так же Переписать Шаблон убедительно превратил текст в начало новой статьи.

По умолчанию и Инструкция подсказки составлены таким образом, чтобы помочь вам задавать вопросы или напрямую давать указания Далаю.

Точность ответа Далай будет сильно различаться в зависимости от того, какую модель вы используете. Модель 30B будет намного полезнее, чем модель 7B. Но даже тогда вам напоминают, что LLM — это просто сложные системы для угадывания следующего слова в предложении.

Ни модели 7B, ни 13B Alpaca не смогли предоставить точное изложение рассказа в 200 слов «Кот в лесу». «Дождь» Эрнеста Хемингуэя, и оба придумали тщательно убедительные сюжетные линии и детали того, о чем история содержится.

И в то время как «услужливый, добрый, послушный, честный» ИИ-Диалог, который «знает свои пределы», и «высокоинтеллектуальный» чат-бот будут сопротивляться противоречивые подсказки, вы можете дать Далаю прямую инструкцию или запрос по умолчанию, и он напишет все, что вам нравится — как вам нравится это.

Большая языковая модель на вашем Linux-компьютере — ваша

Запустив большую языковую модель на собственном компьютере с Linux, вы не подвергаетесь надзору или прекращению обслуживания. Вы можете использовать его по своему усмотрению, не опасаясь последствий за нарушение политики корпоративного контента.

Если у вас мало вычислительных ресурсов, вы даже можете запустить LLM локально на скромном Raspberry Pi.