Технологии

Ученые Стэнфорда создали аналог ChatGPT за $600 и выложили его на GitHub

Лайнуть/Поделиться

Исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT – 89.

Об этом рассказал New Atlas.

Alpaca во многом похож на ChatGPT, но он построен на языковой модели с открытым кодом и значительно дешевле в создании.

Как создать ИИ за $600

Ученые Стэнфордского университета начали работу с языковой модели Meta LLaMA 7B с открытым кодом — самой маленькой и дешевой из доступных моделей LLaMA.

Эта маленькая языковая модель имела некоторые возможности, но значительно отставала от ChatGPT в большинстве задач. Главное конкурентное преимущество моделей GPT в основном связано с огромным количеством времени и рабочей силы, которую OpenAI потратил на обучение ИИ.

Когда модель LLaMA 7B была запущена, команда Стэнфордского университета фактически попросила GPT взять 175 пар инструкций/выходов, написанных человеком, и начала генерировать больше в том же стиле и формате, по 20 за раз.

Это было автоматизировано с помощью одного из полезных API OpenAI, и за короткое время у команды было около 52 000 образцов разговоров, которые можно использовать во время обучения модели LLaMA.

Затем они использовали эти данные для точной настройки модели LLaMA. Этот процесс длился около трех часов в восьми компьютерах облачной обработки A100 емкостью 80 ГБ.

Стэнфордская команда использовала GPT-3.5, чтобы предоставить LLaMA 7B набор инструкций по выполнению своей работы.

Затем они протестировали модель Alpaca на базовой языковой модели ChatGPT в различных областях, включая написание электронных писем, работу с социальными сетями и инструменты производительности. Alpaca успешно сдал 90 из этих тестов, GPT — 89.

«Мы были очень удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишут исследователи.

Ученые заявили, что могли бы сделать это подешевле, если бы стремились оптимизировать процесс.

Особенно учитывая, что теперь есть доступ к гораздо более мощному GPT 4.0 , а также к более мощным моделям LLaMA , которые можно использовать как основу.

Потенциал и угрозы

Исследователи из Стэнфордского университета подсчитали, что запустили и протестировали новую модель за $600. Ее показатели демонстрируют, как быстро весь сектор и его возможности могут выйти из-под контроля.

Команда Стэнфордского университета опубликовала на Github 52 000 вопросов, использованных в этом исследовании, вместе с кодом для генерации дополнительных вопросов и кодом, который они использовали для настройки модели LLaMA.

Группа ученых отмечает, что «еще не настроила модель Alpaca, чтобы она была безопасной», и просит всех устанавливающих ее отчитываться об обнаруженных проблемах.

Что это значит? Это означает, что теперь неограниченное количество неконтролируемых языковых моделей можно настроить людьми со знаниями машинного обучения, недорого и вполне легально.

Кроме того, это существенно сказывается и по карманам крупных компаний, разрабатывающих свои языковые модели и системы ИИ.

Источник: highload.today

Редакция

Метки: ИИ

Недавние публикации

Предсказательная сила эволюционной биологии

Кратко: Эволюционная биология демонстрирует свою предсказательную мощь на примере голого землекопа. В 1974 году Ричард… Читать далее

07/06/2024

Объем головки полового члена связан с преждевременной эякуляцией

Пожизненная(врожденная) преждевременная эякуляция чаще встречается у людей с большим объемом головки полового члена. Таковы результаты… Читать далее

24/05/2024

Прием пробиотиков влияет на принятие социальных решений

Бактерии в кишечнике влияют на чувство справедливости. Исследование, опубликованное в журнале PNAS Nexus в этом… Читать далее

18/05/2024

Ярлык героя приводит к эксплуатации медсестер, учителей и военных

Новое исследование, опубликованное в Journal of Personality and Social Psychology, предполагает, что героизация таких групп… Читать далее

03/05/2024

Фундаментальное открытие: Свет может испарять воду без тепла.

Удивительный «фотомолекулярный эффект», обнаруженный исследователями Массачусетского технологического института, может повлиять на расчеты изменения климата и… Читать далее

26/04/2024

Моргание не только увлажняет глаза, но и помогает лучше видеть

Моргание, на которое мы тратим от 3 до 8 процентов времени бодрствования, помогает обрабатывать визуальную… Читать далее

17/04/2024