Технологии

Ученые Стэнфорда создали аналог ChatGPT за $600 и выложили его на GitHub

Лайнуть/Поделиться

Исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.

Об этом рассказал New Atlas.

Alpaca во многом похож на ChatGPT, но он построен на языковой модели с открытым кодом и значительно дешевле в создании.

Как создать ИИ за $600

Ученые Стэнфордского университета начали работу с языковой модели Meta LLaMA 7B с открытым кодом — самой маленькой и дешевой из доступных моделей LLaMA.

Эта маленькая языковая модель имела некоторые возможности, но значительно отставала от ChatGPT в большинстве задач. Главное конкурентное преимущество моделей GPT в основном связано с огромным количеством времени и рабочей силы, которую OpenAI потратил на обучение ИИ.

Когда модель LLaMA 7B была запущена, команда Стэнфордского университета фактически попросила GPT взять 175 пар инструкций/выходов, написанных человеком, и начала генерировать больше в том же стиле и формате, по 20 за раз.

Это было автоматизировано с помощью одного из полезных API OpenAI, и за короткое время у команды было около 52 000 образцов разговоров, которые можно использовать во время обучения модели LLaMA.

Затем они использовали эти данные для точной настройки модели LLaMA. Этот процесс длился около трех часов в восьми компьютерах облачной обработки A100 емкостью 80 ГБ.

Стэнфордская команда использовала GPT-3.5, чтобы предоставить LLaMA 7B набор инструкций по выполнению своей работы.

Затем они протестировали модель Alpaca на базовой языковой модели ChatGPT в различных областях, включая написание электронных писем, работу с социальными сетями и инструменты производительности. Alpaca успешно сдал 90 из этих тестов, GPT — 89.

«Мы были очень удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишут исследователи.

Ученые заявили, что могли бы сделать это подешевле, если бы стремились оптимизировать процесс.

Особенно учитывая, что теперь есть доступ к гораздо более мощному GPT 4.0 , а также к более мощным моделям LLaMA , которые можно использовать как основу.

Потенциал и угрозы

Исследователи из Стэнфордского университета подсчитали, что запустили и протестировали новую модель за $600. Ее показатели демонстрируют, как быстро весь сектор и его возможности могут выйти из-под контроля.

Команда Стэнфордского университета опубликовала на Github 52 000 вопросов, использованных в этом исследовании, вместе с кодом для генерации дополнительных вопросов и кодом, который они использовали для настройки модели LLaMA.

Группа ученых отмечает, что «еще не настроила модель Alpaca, чтобы она была безопасной», и просит всех устанавливающих ее отчитываться об обнаруженных проблемах.

Что это значит? Это означает, что теперь неограниченное количество неконтролируемых языковых моделей можно настроить людьми со знаниями машинного обучения, недорого и вполне легально.

Кроме того, это существенно сказывается и по карманам крупных компаний, разрабатывающих свои языковые модели и системы ИИ.

Источник: highload.today

Редакция

Опубликовала
Редакция
Метки: ИИ

Недавние публикации

Всплеск воспоминаний или почему лучшие годы страны – это годы вашей юности и молодости

Всплеск воспоминаний (reminiscence bump) — это феномен, при котором люди старше сорока лет имеют тенденцию… Читать далее

02/10/2023

Большие корпорации чаще совершают мошенничество

Согласно результатам исследования, опубликованным в журнале Justice Quarterly, компании, входящие в список Fortune 500 и… Читать далее

02/10/2023

Причина безвкусности помидоров, купленных в магазине

Помидоры, купленные в магазине, на вкус ужасно отвратительны - ну, или безвкусны. Ученые обнаружили, что… Читать далее

02/10/2023

Сигаретные окурки существенно вредят растениям

Сигаретные окурки - самый распространенный вид мусора на планете: ежегодно их выбрасывается 4,5 триллиона штук,… Читать далее

02/10/2023

Подтверждено вращение первой сфотографированной черной дыры

Чтобы получить первое изображение черной дыры, исследователям пришлось объединить данные, полученные от обсерваторий по всему… Читать далее

01/10/2023

Препарат, имитирующий физические упражнения, снижает вес и повышает мышечную активность у мышей

Совершенно новый вид лекарств, испытанный на мышах, показывает многообещающие результаты, которые могут привести к разработке… Читать далее

30/09/2023