Чатбот с открытым исходным кодом, который был обучен на результатах ChatGPT
GPT4All — это экосистема чат-ботов с открытым исходным кодом. В последние дни она приобрела необычайную популярность: есть множество статей на Medium (если вам интересно мое мнение, нажмите здесь), это одна из самых горячих тем в Twitter, и есть множество обучающих материалов на YouTube. Одна из основных причин этого заключается в том, что он является жизнеспособной альтернативой закрытому ChatGPT от OpenAI и может работать на пользовательском оборудовании, например, на вашем ноутбуке. В этой статье мы рассмотрим последнюю версию GPT4All-J: улучшенную модель, программу установки в один клик и пользовательский интерфейс.
Введение GPT4All-J
Мир языковых моделей бурлит новыми открытиями, и гиганты искусственного интеллекта перегоняют друг друга в гонке за создание наиболее продвинутых LLM. За последние месяцы мы стали свидетелями появления грандиозного ChatGPT и теперь GPT-4. Просто для ясности, GPT (Generative Pre-trained Transformer) — это базовая языковая модель, а ChatGPT — конкретная реализация, нацеленная на общение. Билл Гейтс охарактеризовал труды OpenAI как начало «эпохи ИИ». Если вам кажется, что трудно угнаться за стремительным темпом инноваций, не волнуйтесь — вы не одиноки. Свыше 1000 ученых уже подписали петицию, призывая приостановить разработку ИИ, мощнее GPT-4, на ближайшие полгода.
Несмотря на поразительные технические прорывы, многие из них остаются скрытыми от общественности. OpenAI, как ни парадоксально, уже давно подвергается критике за отсутствие открытости, и некоторые называют его ClosedAI. Исследователи и энтузиасты жаждут открытых альтернатив.
Если вы не в курсе последних новостей, обратите внимание на LLaMA от Meta (GitHub), говорят, что она превосходит GPT-3. Хотя LLaMA не является полностью открытым кодом, она распространяется под лицензией GNU, и после регистрации вы можете получить весовые коэффициенты. Такая политика облегчила развитие LLaMA, и сообщество взяло на себя дальнейшую эстафету. Модель была портирована на C/C++ под именем llama.cpp, а ученые из Стэнфорда расширили ее до модели, способной выполнять инструкции, наподобие ChatGPT, и назвали ее Alpaca. Также есть GPT4All, о которой пойдет речь в этом блоге. Здесь я сделаю краткий обзор и расскажу, как запустить его локально, чтобы вы знали, чего ждать.
Но прежде, давайте оценим, насколько быстро сообщество сможет разработать открытую версию. Чтобы представить, насколько революционными являются эти технологии, давайте сравним популярность соответствующих репозиториев на GitHub с помощью звезд. Например, знаменитый фреймворк PyTorch собрал около 65 тысяч звезд за шесть лет. В то время как репозитории, связанные с новыми языковыми моделями, достигли огромной популярности всего за один месяц.
Возвращаясь к GPT4All, это инициатива, направленная на создание доступной альтернативы для всех желающих использовать мощь GPT-4. Основным преимуществом этого проекта является его открытый исходный код, что позволяет ему быть легко модифицированным и улучшенным сообществом.
GPT4All
Но теперь давайте погрузимся глубже и представим GPT4All. Это чат-бот в стиле помощника от Nomic AI, который только что был выпущен в открытый доступ.
Today we're releasing GPT4All, an assistant-style chatbot distilled from 430k GPT-3.5-Turbo outputs that you can run on your laptop. pic.twitter.com/VzvRYPLfoY
— Nomic AI (@nomic_ai) March 28, 2023
Как создать чатбота-ассистента типа ChatGPT, используя существующие языковые модели вроде LLaMA? Ответ может удивить: изучайте поведение чатбота, взаимодействуя с ним. В случае с GPT4All это подразумевало сбор различных вопросов и подсказок из открытых источников, а затем их передачу ChatGPT (точнее, GPT-3.5-Turbo) для создания 806 199 высококачественных пар подсказок. Далее данные обрабатывались, удалялись ответы с низким разнообразием и обеспечивался широкий спектр тематик. После обучения модели, авторы обнаружили, что она работает лучше следующей модели в своем классе.
Одной из интересных особенностей данной работы является выпуск квантованной 4-битной версии модели. Это означает, что некоторые операции выполняются с пониженной точностью, а не с полной, что позволяет получить более компактную модель. В то время как модели типа ChatGPT работают на специализированном оборудовании, например, на Nvidia A100 — аппаратном монстре с 80 ГБ оперативной памяти и стоимостью 15 тысяч долларов США, GPT4All позволяет запустить модель на стандартном потребительском оборудовании. Теперь давайте приступим к реализации собственного проекта на основе этой модели.
Настройка GPT4All
Чтобы запустить GPT4All, следуйте этим простым инструкциям, предполагая, что у вас уже установлен и работает Python:
- Перейдите на страницу GitHub-репозитория и следуйте инструкциям по установке.
- Скачайте квантованную контрольную точку (ссылка указана в разделе «Попробуйте сами»). Размер файла составляет 4,2 ГБ. В моем случае, загрузка шла со скоростью 1,4 Мб/с, что заняло некоторое время.
- Клонируйте репозиторий.
- Скопируйте скачанную контрольную точку в папку «chat».
- Настройте среду и установите необходимые зависимости.
- Запустите чатбот.
Если вы используете M1 MacBook Pro, перейдите в папку «chat» и выполните следующую команду:
./gpt4all-lora-quantized-OSX-m1
Теперь GPT4All успешно настроен и запущен на вашем компьютере, и вы можете начать использовать его для создания собственного чатбота-ассистента.
Установка всего необходимого займет всего несколько минут. В моем случае, самым времязатратным этапом была загрузка. На моем компьютере результаты отображались в режиме реального времени.
Результаты
Так как же эффективна квантованная модель GPT4All в сравнении с другими бенчмарками? Хотя существуют подробно разработанные тестовые наборы, ниже представлены краткие сведения о том, что можно ожидать от использования готовой модели:
(В данном случае, следует добавить конкретные результаты или сравнения с другими моделями, чтобы продемонстрировать эффективность квантованной модели GPT4All в решении задач или выполнении операций).
Хотя есть некоторые очевидные ошибки (NLP-> NLU), я действительно поражен результатом.
Давайте попробуем что-нибудь более творческое, например, поэзию:
Я нахожу ее очень удобной для использования — опять же, учитывая, что она была запущена на ноутбуке MacBook Pro. Пусть это и не GPT-3.5 или даже GPT-4, но в этом есть своя магия.
Несколько слов об особенностях использования
При использовании GPT4All вам следует помнить о рекомендациях по использованию, изложенных автором:
Веса модели GPT4All и данные предназначены и лицензированы только для исследовательских целей, и любое коммерческое использование запрещено. GPT4All основана на LLaMA, которая имеет не-коммерческую лицензию. Данные помощника собраны из GPT-3.5-Turbo от OpenAI, условия использования которого запрещают разработку моделей, конкурирующих с OpenAI в коммерческом плане.
Кроме того, обратите внимание, что ChatGPT имеет множество защитных функций.
Обсуждение
Проекты с открытым исходным кодом и усилия сообщества действительно могут быть чрезвычайно мощными в реализации технологий и ускорении идей. GPT4All — отличный пример этого. В сущности, я считаю, что это открывает интересную перспективу для бизнес-аспектов моделей с закрытым исходным кодом. Если вы предоставляете ИИ в качестве услуги, сколько времени пройдет, пока энтузиасты изучат ваш ИИ настолько, что смогут его имитировать? В случае с GPT4All в их статье указано интересное замечание: Им потребовалось четыре дня работы, 800 долларов на GPU и 500 долларов на вызовы API OpenAI. Это действительно необычно.
Это поднимает вопрос о жизнеспособности моделей с закрытым исходным кодом. Возможно, лучше изначально сделать их открытыми, привлечь сообщество и, возможно, получить возможность контролировать разработку? Открытость может привести к ускоренному обмену идеями, инновациям и большей адаптации технологии. Однако с другой стороны, компании могут опасаться потери интеллектуальной собственности и возможности монетизации. В любом случае, важно найти баланс между сотрудничеством с сообществом и защитой интересов бизнеса.
