Провайдер облачных и ИИ-технологий Cloud.ru представил Evolution ML Inference – первый в России готовый облачный сервис для инференса (вывода) больших языковых моделей (LLM) с возможностью разделения графических процессоров (GPU) и гибким подходом к утилизации вычислительных ресурсов. Сервис уже доступен для пользователей в режиме General availability и войдет в состав Cloud.ru Evolution AI Factory – готового набора инструментов для работы с ИИ в облаке.
Evolution ML Inference подходит для компаний и пользователей, разрабатывающих ИИ- и МО-решения. С его помощью можно быстро и с минимальными затратами запустить собственную модель машинного обучения и персональный конечный продукт для работы. Это полностью управляемый сервис – пользователь настраивает только конфигурацию, модель и тип масштабирования. При этом Cloud.ru обеспечивает доступ к мощным графическим процессорам и полное администрирование инфраструктуры.
Ключевые преимущества сервиса включают технологию Shared GPU, которая позволяет разделять GPU-ресурсы и эффективно управлять vRAM, повышая утилизацию мощностей в ИИ-проектах на 15-45% по сравнению с традиционным использованием графических процессоров. Кроме того, пользователи могут запускать модели без необходимости сборки образа из Hugging Face или использовать собственные образы, что обеспечивает высокую степень адаптации систем.
Эта инициатива связана с растущим интересом к ИИ-технологиям в России, особенно в контексте оптимизации затрат и эффективного использования ресурсов. Евгений Колбин, генеральный директор Cloud.ru, отметил, что около 70% пользователей загружают GPU-ресурсы тоньше чем на 55%, что подчеркивает необходимость в эффективной инфраструктуре.
В будущем, Evolution ML Inference может значительно упростить доступ к ИИ и сделать использование AI-инструментов более доступным для бизнеса, позволяя клиентам концентрироваться на разработке инновационных решений. С учетом текущих тенденций в области искусственного интеллекта, такой сервис, основанный на гибком масштабировании и адаптации, может стать важным инструментом для компаний, стремящихся использовать ИИ в своей деятельности.