Ученые из T-Bank AI Research разработали методику обучения больших языковых моделей (LLM), основанную на методах Trust Region, что позволяет улучшить качество текстов искусственного интеллекта на 15% по пяти показателям: точность, связность, стиль, логика рассуждений и информативность.
Современные языковые модели часто теряют качество при длительном обучении, и новый подход помогает избежать этого, обновляя «настройки по умолчанию» модели. В ходе экспериментов, проведенных с использованием метрик Alpaca Eval 2.0 и Arena Hard, был зафиксирован рост качества ответов ИИ с 2.3 до 15.1 процентных пунктов по сравнению с традиционными методами.
Метод Trust Region включает два типа обновлений: мягкое (небольшие изменения на каждом шаге) и жесткое (модель обновляется целиком). Обновления позволяют моделям давать более понятные и безопасные ответы, улучшая качество на 10–15% в задачах, связанных с сокращением длинных текстов, а также повысил способность моделей меньше путаться в сложных задачах и эффективнее следовать инструкциям пользователей.
Разработанный метод может быть применен в различных сферах, таких как создание виртуальных ассистентов и чат-ботов, и отличается простой реализацией и высокой совместимостью с существующими подходами. В будущем метод Trust Region будет способствовать развитию более эффективных языковых моделей и новой парадигмы в области искусственного интеллекта.
Источник: Т-Банк Специалисты T-Bank AI Research разработали новый метод обучения больших языковых моделей (LLM), который повышает точность и безопасность их ответов на 15%. Технология улучшает качество работы ИИ по пяти ключевым параметрам, что делает его более надежным для бизнеса и обычных пользователей.
Одна из проблем современных языковых моделей — снижение качества при длительном обучении. Чтобы решить эту задачу, исследователи модифицировали метод оптимизации Trust Region. Вместо фиксированных начальных настроек модель теперь периодически обновляет опорные точки. Это происходит двумя способами: постепенными небольшими изменениями (мягкое обновление) или полным пересчетом параметров через определенные интервалы (жесткое обновление).
Тесты показали, что такой подход позволяет ИИ давать более точные и последовательные ответы. Например, в задачах по сокращению текстов качество результатов выросло на 10–15% по сравнению с традиционными методами. Модели лучше следуют инструкциям и реже допускают ошибки в сложных запросах.
Разработка может применяться в различных сферах, включая виртуальных ассистентов, образовательные и медицинские чат-боты. Основные преимущества метода — более высокая точность, связность и информативность ответов, а также снижение риска «переобучения» на ошибочных данных. При этом технология остается совместимой с существующими алгоритмами и не требует сложной интеграции.
«Наш новый подход позволяет сохранять баланс между способностями модели решать новую узкую задачу и общим пониманием картины мира, что открывает возможности для создания более гибких и адаптивных моделей. Это направление еще далеко не исчерпано — у ученых остается большое пространство для дальнейших исследований ИИ и улучшений, которые могут привести к новым прорывам в оптимизации языковых моделей и их применении в реальном мире». Борис Шапошников, руководитель научной группы AI Alignment, лаборатория исследований искусственного интеллекта T-Bank AI Research.
Новый подход позволяет компаниям повысить эффективность своих ИИ-решений, что может способствовать дальнейшему развитию технологий в этой области.