Умная камера в приложении «Яндекс» научилась делать комплименты с помощью нейросетей. Технологии компьютерного зрения позволяют распознавать даже мелкие детали на изображениях. Поэтому умная камера пишет приятные слова, обращаясь к каждому пользователю индивидуально. Например, она может сделать комплимент по поводу цвета глаз, улыбки, образа или причёски, рассказали Хабру в пресс-службе компании.
Комплиментами можно поделиться, чтобы поднять настроение близким, или использовать их как текст для открытки, например, валентинки. Для этого нужно сделать селфи, загрузить фотографию или уже готовое изображение и написать в строке запроса «сделай комплимент». Эта функция находит применение благодаря принципам работы VLM-нейросети (Visual Language Model — визуально-языковая модель), которая используется в умной камере и Поиске с Нейро от «Яндекса».
С помощью VLM-нейросети пользователи могут эффективно работать с изображениями. Эта технология уже улучшила визуальный поиск по картинкам в интернете, а теперь применяется для создания комплиментов. Чтобы научить умную камеру использовать оригинальные и поэтичные эпитеты и сравнения, нейросети показали более 14 тыс. пар изображений и текстов с приятными словами.
Благодаря способностям VLM-нейросети распознавать детали, такие как выражение лица, украшения, цвет глаз и элементы интерьера, комплимент всегда получается личным. Например, умная камера может сравнить взгляд коллеги на экран ноутбука со взглядом мудрого философа, а волосы подруги описать как гладкие, словно шёлк.
Скоро возможность получить комплимент от умной камеры появится также в мобильном приложении «Яндекс Браузер» для iOS и Android. Команда Яндекса объявила о запуске интересной функции для умной камеры в своём мобильном приложении. Как сообщается, технологии компьютерного зрения могут распознавать даже мелкие детали на изображениях, что позволяет умной камере написание приятных слов персонально для каждого пользователя.