Изображение сгенерировано с помощью Microsoft Designer и DALL-E 2
Большая языковая модель Claude 3 Opus от компании Anthropic впервые превзошла GPT-4 от OpenAI на Chatbot Arena — популярном краудсорсинговом рейтинге, используемом исследователями для оценки возможностей языковых моделей ИИ.
Что известно
Независимый исследователь Саймон Уиллисон (Simon Willison) отметил, что это первый случай, когда лучшие доступные модели, такие как Opus для сложных задач и Haiku для эффективности, принадлежат поставщику, отличному от OpenAI.
Рейтинг чат-ботов на Chatbot Arena
Chatbot Arena управляется организацией Large Model Systems Organization (LMSYS ORG) и основана на субъективных оценках пользователей, сравнивающих выходные данные различных языковых моделей. Этот подход помогает преодолеть трудности в объективной оценке производительности чат-ботов с ИИ.
Успех Claude 3 свидетельствует о растущей конкуренции в сфере языковых моделей ИИ. Некоторые пользователи уже заменили ChatGPT на Claude 3 в своих рабочих процессах, что может повлиять на долю рынка OpenAI.
Тем не менее ожидается, что OpenAI выпустит новую крупную модель, преемницу GPT-4 Turbo, в течение этого года, возможно, летом. Это, вероятно, приведет к дальнейшим изменениям в рейтингах Chatbot Arena в ближайшие месяцы и годы.
Исследователи подчеркивают важность разнообразия ведущих поставщиков в этой области, поскольку оно способствует развитию технологий языковых моделей ИИ и повышению их производительности.
