Pruna AI, европейский стартап, работающий над алгоритмами сжатия для моделей искусственного интеллекта, создает свой фреймворк оптимизации открытым исходным кодом. Этот инструмент позволяет разработчикам применять несколько методов повышения эффективности, таких как кэширование, прунинг (обрезка), квантизация и дистилляция, к заданной модели AI.
“Мы также стандартизируем сохранение и загрузку сжатых моделей, применяем комбинации этих методов сжатия, а также оцениваем вашу сжатую модель после ее сжатия”, — рассказал TechCrunch соучредитель и технический директор Pruna AI Джон Рачван. По словам Рачвана, фреймворк Pruna AI может оценить, происходит ли значительная потеря качества после сжатия модели, а также получаемый при этом прирост производительности.
“Если использовать метафору, мы похожи на то, как Hugging Face стандартизировала трансформаторы и диффузоры — как их вызывать, как их сохранять, загружать и т. д. Мы делаем то же самое, но для методов эффективности”, — добавил он. Крупные лаборатории AI уже используют различные методы сжатия, например, OpenAI полагается на дистилляцию для создания более быстрых версий своих флагманских моделей, таких как GPT-4 Turbo.
Метод дистилляции, используемый для извлечения знаний из большой модели AI с моделью «учитель-ученик», позволяет более компактным моделям приближаться к поведению оригинала, что значительно увеличивает их производительность и сокращает вычислительные затраты. Рачван подчеркивает, что крупные компании, как правило, создают такие инструменты внутри своей экосистемы, в то время как open-source-среда предлагает отдельные методы оптимизации.
Признавая актуальность подхода Pruna AI, стоит отметить, что фокус компании в настоящее время направлен на модели генерации изображений и видео, хотя поддерживаются и другие типы AI, включая большие языковые модели и системы компьютерного зрения. Существующие пользователи Pruna AI, такие как Scenario и PhotoRoom, уже внедряют разработанные решения в свои процессы.
В дополнение к версии с открытым исходным кодом, Pruna AI предлагает корпоративные решения с расширенными функциями оптимизации, такими как компрессорный агент. “Вы просто загружаете свою модель и указываете, что хотите увеличить скорость, не теряя в точности более чем на 2% — и агент сам найдет оптимальную комбинацию для вас”, — добавил Рачван. Такая модель работы аналогична аренде GPU в облачных сервисах, что помогает клиентам существенно экономить на вычислениях.
Ранее в этом году Pruna AI привлек $6,5 млн в рамках посевного раунда. Среди инвесторов стартапа — EQT Ventures, Daphni, Motier Ventures и Kima Ventures. Запуск фреймворка с открытым исходным кодом запланирован на четверг, и ожидается, что он окажет значительное влияние на оптимизацию работы нейросетей во всем мире.