ChatGPT — революционный чат-бот с искусственным интеллектом от OpenAI, который удивляет Интернет. Вопреки всем устоявшимся тенденциям в области технологий, ChatGPT быстро нашел свое применение практически во всех сферах нашей цифровой жизни.
Очень немногие технические инновации вызвали такой же интерес, как ChatGPT за такое короткое время. Кажется, у него никогда не заканчиваются крутые трюки — каждый день мы узнаем о новых захватывающих вещах, о которых мы не знали, что он может делать.
Но как ChatGPT может делать то, что он может? Как работает ChatGPT?
Как создавался ChatGPT?
Чтобы понять, как работает ChatGPT, стоит взглянуть на его происхождение и мозг передового чат-бота с искусственным интеллектом.
Во-первых, каким бы волшебным ни казался ChatGPT, он был создан человеческим гением, как и любая стоящая программная технология. OpenAI создала ChatGPT, революционную компанию по исследованиям и разработкам в области ИИ, стоящую за другими мощными инструментами ИИ, такими как DALL-E, InstructGPT и Codex. Мы ранее ответили
некоторые вопросы, которые могут у вас возникнуть о ChatGPT, так что смотрите.В то время как ChatGPT стал вирусным к концу 2022 года, большая часть базовой технологии, на которой работает ChatGPT, существует гораздо дольше, хотя и с гораздо меньшей оглаской. Модель ChatGPT построена на основе GPT-3 (или, точнее, GPT-3.5). GPT расшифровывается как «Generative Pre-trained Transformer 3».
GPT-3 — это третья итерация линейки моделей ИИ GPT, которой предшествовали GPT-2 и GPT. Более ранние итерации моделей GPT одинаково полезны, но GPT-3 и тонко настроенная итерация GPT-3.5 намного мощнее. Большая часть возможностей ChatGPT благодаря базовой технологии GPT-3.
Что такое GPT?
Итак, мы установили, что ChatGPT построен на модели GPT третьего поколения. Но что такое GPT?
Давайте начнем с распаковки аббревиатур простым для восприятия и нетехническим способом.
- «Генеративный» в GPT представляет его способность генерировать текст на естественном человеческом языке.
- «Предварительно обученный» представляет собой тот факт, что модель уже была обучена на некотором конечном наборе данных. Так же, как если бы вы прочитали книгу или, может быть, несколько книг, прежде чем вас попросили бы ответить на вопросы об этом.
- «Трансформатор» представляет собой базовую архитектуру машинного обучения, лежащую в основе GPT.
Теперь, собрав все вместе, Generative Pre-trained Transformer (GPT) представляет собой языковую модель, которая была обучены с использованием данных из Интернета с целью создания текста на человеческом языке при представлении быстрый. Итак, мы неоднократно говорили, что GPT обучался, но как он обучался?
Как проходил обучение ChatGPT?
Сам ChatGPT не обучался с нуля. Вместо этого это доработанная версия GPT-3.5, которая сама по себе является доработанной версией GPT-3. Модель GPT-3 была обучена на огромном количестве данных, собранных из Интернета. Подумайте о Википедии, Твиттере и Реддите — в них скармливались данные и человеческие тексты, извлеченные из всех уголков Интернета.
Если вам интересно, как работает обучение GPT, GPT-3 был обучен с использованием комбинации обучения с учителем и обучения с подкреплением через обратную связь с человеком (RLHF). Обучение с учителем — это этап, на котором модель обучается на большом наборе данных текста, извлеченном из Интернета. На этапе обучения с подкреплением его обучают производить лучшие ответы, которые соответствуют тому, что люди сочли бы одновременно человеческим и правильным.
Обучение с контролируемым обучением
Чтобы лучше понять, как обучение с учителем и обучение с подкреплением применимо к ChatGPT, представьте себе сценарий, в котором учитель учит ученика писать эссе. Обучение под наблюдением было бы эквивалентно учителю, дающему ученику прочитать сотни сочинений. Цель здесь состоит в том, чтобы студент научился писать эссе, привыкнув к тону, словарному запасу и структуре сотен эссе.
Однако среди этих сотен эссе будут и хорошие, и плохие. Поскольку студента обучали как на хороших, так и на плохих копиях, иногда студент мог написать плохое эссе, потому что в какой-то момент ему также давали плохие эссе. Это означает, что когда студента просят написать эссе, он может написать копию, которая не приемлема или недостаточно хороша для учителя. Вот где вступает в действие обучение с подкреплением.
Обучение с подкреплением
Как только учитель устанавливает, что ученик понимает общие правила написания эссе, прочитав сотни сочинений, учитель затем дает ученику частое домашнее задание по написанию эссе. Впоследствии учитель давал отзыв о домашнем задании по написанию эссе, рассказывая ученикам, что они сделали хорошо, а что можно улучшить. Учащийся использует обратную связь, чтобы направлять последующие домашние задания по написанию эссе, помогая ученику совершенствоваться с течением времени.
Это похоже на этап обучения с подкреплением при обучении модели GPT. Получив огромное количество текста, извлеченного из Интернета, модель может отвечать на вопросы. Однако его точности будет недостаточно. Инструкторы-люди задают модели вопрос и дают обратную связь о том, какой ответ более подходит для каждого вопроса.
Модель использует обратную связь, чтобы улучшить свою способность отвечать на вопросы более точно и больше походить на то, как ответил бы человек. Именно так ChatGPT может генерировать ответы, похожие на человеческие, которые являются связными, привлекательными и в целом точными.
Как ChatGPT может отвечать на вопросы?
Итак, вы посещаете сайт ChatGPT и авторизуетесь. Вам ChatGPT подсказывает: "написать рэп-песню в стиле Snoop Dogg". Он отвечает лирикой на рэп-песню, которая поразительно похожа на то, что написал бы Снуп Догг. Как это возможно?
Что ж, «волшебство» ChatGPT тесно связано с его обучением.
Изучив каждый дюйм своего учебника по физике 101, есть большая вероятность, что вы сможете ответить на любой заданный вам вопрос из него. Почему? Потому что вы это прочитали и выучили. То же самое и с ChatGPT — он учится. И как показала человеческая цивилизация, при достаточном обучении возможно решение почти любой проблемы.
Хотя вы, вероятно, можете управлять сотнями книг за свою жизнь, ChatGPT или GPT уже поглотили огромный кусок Интернета. Это огромное количество информации. Где-то там наверняка есть тексты многочисленных песен Снуп Догга. Так что, конечно, ChatGPT должен был использовать его (помните, что он предварительно обучен) и распознавать шаблоны в текстах Snoop Dogg. Затем он использовал бы «знание» этого шаблона, чтобы «предсказать» текст песни, похожий на то, что написал бы Снуп Догг.
Акцент здесь делается на «предсказать». ChatGPT не отвечает на вопросы так, как мы, люди. Например, когда вы сталкиваетесь с таким вопросом, как «Какая столица Португалии?» вы могли бы сказать Лиссабон и сказать это как «факт». Однако ChatGPT не отвечает на вопросы со 100% уверенностью. Вместо этого он пытается предсказать правильный ответ на основе данных, которые он использовал в своем наборе обучающих данных.
Подход ChatGPT к ответам на вопросы
Чтобы лучше понять концепцию прогнозирования ответов, представьте, что ChatGPT — детектив, которому поручено раскрыть убийство. Детективу предъявляют улики, но они не знают, кто совершил убийство и как оно произошло. Однако при наличии достаточного количества улик детектив может с большой точностью «предсказать», кто несет ответственность за убийство и как было совершено преступление.
После получения данных из Интернета ChatGPT отбрасывает исходные данные и сохраняет нейронные связи или шаблоны, которые он извлек из данных. Эти связи или шаблоны подобны доказательствам, которые ChatGPT анализирует, когда пытается ответить на любое приглашение.
Итак, в теории ChatGPT похож на очень хороший детектив. Он не знает наверняка, какими должны быть факты ответа, но пытается с впечатляющим точность, чтобы предсказать логическую последовательность текста на человеческом языке, которая наиболее точно отвечала бы на вопрос. Так вы получите ответы на свои вопросы.
И именно поэтому некоторые из этих ответов выглядят очень убедительно, но ужасно ошибочны.
ChatGPT: отвечает как человек, думает как машина
Базовые технические детали ChatGPT сложны. Однако с рудиментарной точки зрения он работает, изучая и воспроизводя то, что он узнал, когда его просят, точно так же, как мы, люди.
По мере того, как ChatGPT развивается благодаря исследованиям, способ его работы может измениться. Однако его основополагающие принципы работы останутся неизменными какое-то время, по крайней мере, до тех пор, пока не появится революционная новая технология.
