Китайский технологический гигант Alibaba Group Holding анонсировал новую мультимодальную модель искусственного интеллекта Qwen2.5-Omni-7B, способную обрабатывать текст, изображения, аудио и видео прямо на мобильных устройствах и ноутбуках.
Модель Qwen2.5-Omni-7B, представленная 20 июня, стала новейшим дополнением к линейке Qwen. Несмотря на относительно небольшой размер (7 миллиардов параметров), она демонстрирует высокую производительность и оптимизирована для работы на смартфонах, планшетах и ноутбуках. Это делает передовые ИИ-технологии более доступными для рядовых пользователей.
Alibaba заявила, что модель способна обрабатывать различные типы данных и генерировать ответы в реальном времени в виде текста или аудио. Компания также сделала Qwen2.5-Omni-7B open-source, разместив ее на платформах Hugging Face, GitHub и ModelScope. Кроме того, модель уже интегрирована в чат-бот Qwen Chat.
Среди потенциальных сценариев использования Alibaba выделяет помощь слабовидящим — модель может озвучивать описания окружающей среды в реальном времени. Также возможны кулинарные подсказки с анализом ингредиентов и пошаговыми инструкциями по приготовлению блюд. Модель может обрабатывать изображения, видео и аудио без необходимости подключения к облачным серверам.
Qwen2.5-Omni-7B показала впечатляющие результаты в бенчмарках, набрав 56.1 балла в OmniBench (против 42.9 у Google Gemini-1.5-Pro), 92.4 балла в CV15 (аудио) и 59.2 балла в M3B (мультимодальное понимание), превзойдя предыдущие модели Alibaba.
Новая разработка Alibaba соответствует глобальному тренду на эффективные ИИ-модели, способные работать локально без постоянного интернет-подключения. Это не только ускоряет обработку данных, но и решает вопросы конфиденциальности.
С выходом Qwen2.5-Omni-7B Alibaba укрепляет свои позиции в гонке ИИ-технологий, предлагая компактную, но мощную модель, которая может работать на обычных устройствах. Это открывает новые возможности для разработчиков и пользователей, делая сложные ИИ-функции более доступными. Alibaba активно инвестирует в развитие ИИ-направления, планируя вложить $53 млрд за три года в инфраструктуру и ИИ-ресурсы. Недавно компания объявила о сотрудничестве с BMW по разработке умных автомобилей нового поколения.