Исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.
Об этом рассказал New Atlas.
Alpaca во многом похож на ChatGPT, но он построен на языковой модели с открытым кодом и значительно дешевле в создании.
Ученые Стэнфордского университета начали работу с языковой модели Meta LLaMA 7B с открытым кодом — самой маленькой и дешевой из доступных моделей LLaMA.
Эта маленькая языковая модель имела некоторые возможности, но значительно отставала от ChatGPT в большинстве задач. Главное конкурентное преимущество моделей GPT в основном связано с огромным количеством времени и рабочей силы, которую OpenAI потратил на обучение ИИ.
Когда модель LLaMA 7B была запущена, команда Стэнфордского университета фактически попросила GPT взять 175 пар инструкций/выходов, написанных человеком, и начала генерировать больше в том же стиле и формате, по 20 за раз.
Это было автоматизировано с помощью одного из полезных API OpenAI, и за короткое время у команды было около 52 000 образцов разговоров, которые можно использовать во время обучения модели LLaMA.
Затем они использовали эти данные для точной настройки модели LLaMA. Этот процесс длился около трех часов в восьми компьютерах облачной обработки A100 емкостью 80 ГБ.
Стэнфордская команда использовала GPT-3.5, чтобы предоставить LLaMA 7B набор инструкций по выполнению своей работы.
Затем они протестировали модель Alpaca на базовой языковой модели ChatGPT в различных областях, включая написание электронных писем, работу с социальными сетями и инструменты производительности. Alpaca успешно сдал 90 из этих тестов, GPT — 89.
«Мы были очень удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишут исследователи.
Ученые заявили, что могли бы сделать это подешевле, если бы стремились оптимизировать процесс.
Особенно учитывая, что теперь есть доступ к гораздо более мощному GPT 4.0 , а также к более мощным моделям LLaMA , которые можно использовать как основу.
Исследователи из Стэнфордского университета подсчитали, что запустили и протестировали новую модель за $600. Ее показатели демонстрируют, как быстро весь сектор и его возможности могут выйти из-под контроля.
Команда Стэнфордского университета опубликовала на Github 52 000 вопросов, использованных в этом исследовании, вместе с кодом для генерации дополнительных вопросов и кодом, который они использовали для настройки модели LLaMA.
Группа ученых отмечает, что «еще не настроила модель Alpaca, чтобы она была безопасной», и просит всех устанавливающих ее отчитываться об обнаруженных проблемах.
Что это значит? Это означает, что теперь неограниченное количество неконтролируемых языковых моделей можно настроить людьми со знаниями машинного обучения, недорого и вполне легально.
Кроме того, это существенно сказывается и по карманам крупных компаний, разрабатывающих свои языковые модели и системы ИИ.
Источник: highload.today
Всплеск воспоминаний (reminiscence bump) — это феномен, при котором люди старше сорока лет имеют тенденцию… Читать далее
Согласно результатам исследования, опубликованным в журнале Justice Quarterly, компании, входящие в список Fortune 500 и… Читать далее
Помидоры, купленные в магазине, на вкус ужасно отвратительны - ну, или безвкусны. Ученые обнаружили, что… Читать далее
Сигаретные окурки - самый распространенный вид мусора на планете: ежегодно их выбрасывается 4,5 триллиона штук,… Читать далее
Чтобы получить первое изображение черной дыры, исследователям пришлось объединить данные, полученные от обсерваторий по всему… Читать далее
Совершенно новый вид лекарств, испытанный на мышах, показывает многообещающие результаты, которые могут привести к разработке… Читать далее