Использование локальной модели большого языка подходит не всем, но есть несколько веских причин, почему вы можете попробовать.

Ключевые выводы

  • Меньше цензуры: местные LLM предлагают свободу обсуждать заставляющие задуматься темы без ограничений, налагаемых на публичные чат-боты, что позволяет вести более открытые разговоры.
  • Лучшая конфиденциальность данных: при использовании локального LLM все генерируемые данные остаются на вашем компьютере, обеспечивая конфиденциальность и предотвращая доступ со стороны компаний, управляющих публичными LLM.
  • Использование в автономном режиме: локальные LLM позволяют бесперебойно использовать в удаленных или изолированных районах без надежного доступа в Интернет, предоставляя ценный инструмент в таких сценариях.

С момента появления ChatGPT в ноябре 2022 года термин «большая языковая модель» (LLM) быстро превратился из нишевого термина для специалистов по искусственному интеллекту в модное словечко у всех на устах. Самая большая привлекательность местного LLM — это возможность воспроизводить возможности чат-бота, такого как ChatGPT, на вашем компьютере без багажа облачной версии.

instagram viewer

Существуют аргументы за и против установки локального LLM на вашем компьютере. Мы развеем шумиху и представим вам факты. Стоит ли использовать местный LLM?

Плюсы использования местных LLM

Почему люди так увлечены созданием собственных большие языковые модели на своих компьютерах? Помимо шумихи и хвастовства, каковы некоторые практические преимущества?

1. Меньше цензуры

Когда ChatGPT и Bing AI впервые появились в сети, то, что оба чат-бота были готовы говорить и делать, было столь же захватывающим, сколь и тревожным. Bing AI вел себя тепло и мило, как будто у него были эмоции. ChatGPT был готов использовать ругательства, если вы вежливо об этом попросите. В то время оба чат-бота даже помогли бы вам сделать бомбу, если бы вы использовали правильные подсказки. Это может звучать как нечто неправильное, но возможность сделать что угодно была символом неограниченных возможностей языковых моделей, которые их использовали.

Сегодня оба чат-боты подвергаются жесткой цензуре что вам даже не помогут написать вымышленный криминальный роман со сценами насилия. Некоторые чат-боты с искусственным интеллектом даже не говорят о религии или политике. Хотя LLM, которые вы можете создать локально, не полностью свободны от цензуры, многие из них с радостью будут делать наводящие на размышления вещи, которые не будут делать общедоступные чат-боты. Итак, если вы не хотите, чтобы робот читал вам лекции о морали при обсуждении тем, представляющих личный интерес, возможно, вам стоит открыть местный LLM.

2. Лучшая конфиденциальность данных

Одна из основных причин, по которой люди выбирают местный LLM, заключается в том, чтобы гарантировать, что все, что происходит на их компьютере, останется на их компьютере. Когда вы используете местный LLM, это похоже на конфиденциальный разговор в вашей гостиной — никто посторонний не может его подслушать. Экспериментируете ли вы с данными своей кредитной карты или ведете конфиденциальные личные разговоры с LLM, все полученные данные хранятся только на вашем компьютере. Альтернативой является использование общедоступных LLM, таких как GPT-4, которые предоставляют ответственным компаниям доступ к вашей информации в чате.

3. Автономное использование

Поскольку Интернет широко доступен и доступен, офлайн-доступ может показаться тривиальной причиной использования местного LLM. Офлайн-доступ может стать особенно важным в удаленных или изолированных местах, где интернет-услуги ненадежны или недоступны. В таких сценариях жизненно важным инструментом становится локальный LLM, работающий независимо от подключения к Интернету. Это позволяет вам продолжать делать все, что вы хотите, без перерыва.

4. Экономия затрат

Средняя цена доступа к работоспособному LLM, такому как GPT-4 или Claude 2, составляет 20 долларов в месяц. Хотя это может показаться не такой уж пугающей ценой, вы все равно получаете несколько досадных ограничений на эту сумму. Например, с GPT-4, доступ к которому осуществляется через ChatGPT, вы ограничены 50 сообщениями за три часа. Преодолеть эти ограничения можно только переход на план ChatGPT Enterprise, что потенциально может стоить тысячи долларов. При использовании местного LLM после установки программного обеспечения вам не придется платить ежемесячную подписку в размере 20 долларов США или периодические расходы. Это все равно, что покупать машину вместо того, чтобы полагаться на услуги каршеринга. Изначально это дорого, но со временем вы сэкономите.

5. Лучшая настройка

Общедоступные чат-боты с искусственным интеллектом имеют ограниченную настройку из соображений безопасности и цензуры. С помощью локально размещенного помощника искусственного интеллекта вы можете полностью настроить модель в соответствии с вашими конкретными потребностями. Вы можете обучить помощника работе с собственными данными, адаптированными к вашим сценариям использования, что повысит релевантность и точность. Например, юрист может оптимизировать свой местный искусственный интеллект для получения более точной юридической информации. Ключевым преимуществом является контроль над настройкой в ​​соответствии с вашими уникальными требованиями.

Минусы использования местных LLM

Прежде чем переключиться, следует учитывать некоторые недостатки использования местного LLM.

1. Ресурсоемкий

Чтобы запустить высокопроизводительный локальный LLM, вам понадобится высокопроизводительное оборудование. Подумайте о мощных процессорах, большом количестве оперативной памяти и, вероятно, выделенном графическом процессоре. Не ждите, что бюджетный ноутбук за 400 долларов обеспечит хорошие впечатления. Реакция будет крайне медленной, особенно в случае более крупных моделей ИИ. Это похоже на запуск новейших видеоигр: для оптимальной производительности нужны мощные характеристики. Возможно, вам даже потребуются специализированные решения для охлаждения. Суть в том, что местные LLM требуют инвестиций в оборудование высшего уровня, чтобы получить скорость и оперативность, которыми вы наслаждаетесь в веб-LLM (или даже улучшить ее). Требования к вычислительным ресурсам на вашей стороне будут значительными по сравнению с использованием веб-сервисов.

2. Более медленные ответы и низкая производительность

Распространенным ограничением местных LLM является более медленное время ответа. Точная скорость зависит от конкретной модели ИИ и используемого оборудования, но большинство настроек отстают от онлайн-сервисов. Получив мгновенные ответы от ChatGPT, Bard и других, местные LLM могут почувствовать себя раздражающе медлительными. Слова медленно просачиваются, а не быстро возвращаются. Это не всегда так, поскольку некоторые локальные развертывания обеспечивают хорошую производительность. Но среднестатистические пользователи сталкиваются с резким снижением скорости работы в Интернете. Итак, приготовьтесь к «культурному шоку» от быстрых онлайн-систем к более медленным местным аналогам.

Короче говоря, если только вы не используете первоклассную систему (мы говорим о AMD Ryzen 5800X3D с Nvidia RTX 4090 и достаточно оперативной памяти, чтобы потопить корабль), общая производительность вашего местного LLM не сравнится с онлайн-чат-ботами с генеративным искусственным интеллектом, которыми вы управляете. привыкший.

3. Сложная установка

Развертывание локального LLM требует больше усилий, чем просто регистрация в веб-сервисе искусственного интеллекта. При наличии подключения к Интернету ваша учетная запись ChatGPT, Bard или Bing AI может быть готова к запуску запросов за считанные минуты. Для настройки полного локального стека LLM требуется загрузка платформ, настройка инфраструктуры и интеграция различных компонентов. Для более крупных моделей этот сложный процесс может занять несколько часов, даже при использовании инструментов, призванных упростить установку. Некоторые передовые системы искусственного интеллекта по-прежнему требуют глубоких технических знаний для локальной работы. Таким образом, в отличие от веб-моделей искусственного интеллекта «подключи и работай», управление собственным искусственным интеллектом требует значительных технических и временных затрат.

4. Ограниченные знания

Многие местные LLM застряли в прошлом. Они имеют ограниченные знания о текущих событиях. Помните, когда ChatGPT не мог получить доступ к Интернету? Когда он мог дать ответы только на вопросы о событиях, произошедших до сентября 2021 года? Да? Что ж, подобно ранним моделям ChatGPT, локально размещенные языковые модели часто обучаются только на данных до определенной конечной даты. В результате они не осведомлены о последних событиях после этого момента.

Кроме того, местные LLM не могут получить доступ к оперативным данным в Интернете. Это ограничивает полезность запросов в реальном времени, таких как цены на акции или погода. Чтобы получить подобие данных в реальном времени, местным LLM обычно требуется дополнительный уровень интеграции с подключенными к Интернету сервисами. Доступ в Интернет является одной из причин, по которой вы можете это сделать. рассмотрите возможность перехода на ChatGPT Plus!

Стоит ли использовать местный LLM?

Локальные модели большого языка предоставляют заманчивые преимущества, но также имеют и реальные недостатки, которые следует учитывать, прежде чем сделать решительный шаг. Меньше цензуры, лучшая конфиденциальность, автономный доступ, экономия средств и возможность настройки — все это убедительные аргументы в пользу локальной настройки вашего LLM. Однако за эти преимущества приходится платить. Поскольку в Интернете имеется множество свободно доступных программ LLM, переход на местные LLM может быть похож на прихлопывание мухи кувалдой – возможно, но излишне. Но помните: если это бесплатно, то вы и данные, которые вы генерируете, скорее всего, являетесь продуктом. Итак, сегодня не существует однозначного правильного или неправильного ответа. Оценка ваших приоритетов позволит определить, подходящее ли сейчас время для перехода.