xAI
Компания xAI, принадлежащая Илону Маску (Elon Musk), опубликовала на GitHub исходный код своей большой языковой модели Grok-1 объемом 314 млрд параметров под открытой лицензией Apache 2.0.
Что известно
В открытый релиз вошли базовые веса модели, сетевая архитектура и другие составляющие. Как отмечается, Grok-1 не подвергалась специальной оптимизации или цензуре для конкретных задач вроде диалоговых систем.
░W░E░I░G░H░T░S░I░N░B░I░O░
— Grok (@grok) March 17, 2024
Модель была обучена в течение четырех месяцев к октябрю 2023 года и предназначалась для генерации кода, текстов и ответов на вопросы. Открытие кода позволит сторонним исследователям и разработчикам работать с моделью.
Несмотря на открытие весов и других составляющих, Grok-1 поставляется без обучающего кода и воспроизводимых наборов данных.
Grok weights are out under Apache 2.0: https://t.co/9K4IfarqXK
It’s more open source than other open weights models, which usual come with usage restrictions.
It’s less open source than Pythia, Bloom, and OLMo, which come with training code and reproducible datasets. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
— Sebastian Raschka (@rasbt) March 17, 2024
Для тех, кто не в курсе
После покупки Twitter (X) Илон Маск неоднократно критиковал закрытость исходного кода ИИ-моделей конкурентов, таких как OpenAI. Теперь он судится с OpenAI, обвиняя компанию в нарушении соглашения об открытом коде.
Публикация исходников является распространенной практикой для получения обратной связи и улучшения моделей. Однако крупнейшие игроки предпочитают сохранять код закрытым или выдавать ограниченные лицензии, как в случае с Llama 2 от Meta.
После запуска чат-бота Grok на базе этой модели ранее для доступа к нему требовалась платная подписка на X. Но в предварительном тестировании он не смог выделиться на фоне ChatGPT, Gemini и других более совершенных систем.
, GitHub
