Ученые Стэнфорда создали аналог ChatGPT за $600 и выложили его на GitHub

Исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.

Об этом рассказал New Atlas.

Alpaca во многом похож на ChatGPT, но он построен на языковой модели с открытым кодом и значительно дешевле в создании.

Как создать ИИ за $600

Ученые Стэнфордского университета начали работу с языковой модели Meta LLaMA 7B с открытым кодом — самой маленькой и дешевой из доступных моделей LLaMA.

Эта маленькая языковая модель имела некоторые возможности, но значительно отставала от ChatGPT в большинстве задач. Главное конкурентное преимущество моделей GPT в основном связано с огромным количеством времени и рабочей силы, которую OpenAI потратил на обучение ИИ.

Когда модель LLaMA 7B была запущена, команда Стэнфордского университета фактически попросила GPT взять 175 пар инструкций/выходов, написанных человеком, и начала генерировать больше в том же стиле и формате, по 20 за раз.

Это было автоматизировано с помощью одного из полезных API OpenAI, и за короткое время у команды было около 52 000 образцов разговоров, которые можно использовать во время обучения модели LLaMA.

Затем они использовали эти данные для точной настройки модели LLaMA. Этот процесс длился около трех часов в восьми компьютерах облачной обработки A100 емкостью 80 ГБ.

Стэнфордская команда использовала GPT-3.5, чтобы предоставить LLaMA 7B набор инструкций по выполнению своей работы.

Затем они протестировали модель Alpaca на базовой языковой модели ChatGPT в различных областях, включая написание электронных писем, работу с социальными сетями и инструменты производительности. Alpaca успешно сдал 90 из этих тестов, GPT — 89.

«Мы были очень удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишут исследователи.

Ученые заявили, что могли бы сделать это подешевле, если бы стремились оптимизировать процесс.

Особенно учитывая, что теперь есть доступ к гораздо более мощному GPT 4.0 , а также к более мощным моделям LLaMA , которые можно использовать как основу.

Потенциал и угрозы

Исследователи из Стэнфордского университета подсчитали, что запустили и протестировали новую модель за $600. Ее показатели демонстрируют, как быстро весь сектор и его возможности могут выйти из-под контроля.

Команда Стэнфордского университета опубликовала на Github 52 000 вопросов, использованных в этом исследовании, вместе с кодом для генерации дополнительных вопросов и кодом, который они использовали для настройки модели LLaMA.

Группа ученых отмечает, что «еще не настроила модель Alpaca, чтобы она была безопасной», и просит всех устанавливающих ее отчитываться об обнаруженных проблемах.

Что это значит? Это означает, что теперь неограниченное количество неконтролируемых языковых моделей можно настроить людьми со знаниями машинного обучения, недорого и вполне легально.

Кроме того, это существенно сказывается и по карманам крупных компаний, разрабатывающих свои языковые модели и системы ИИ.

Источник: highload.today