Компания VK (бывшая Mail.ru Group) внедрила в продукты холдинга технологии глубокого понимания контента Discovery. Как рассказали в пресс-службе, кросс-форматная контентная модель анализирует название, обложку, аудио и видеоряд ролика по отдельности. Нейросеть объединяет все данные в едином пространстве, что позволяет рекомендательной системе «понимать смысл» контента и объединять разные форматы. Например, такая модель может предложить похожий по смыслу ролик в «VK Видео» на основе понравившегося текстового поста ВКонтакте или короткого видео в «VK Клипах», что делает рекомендации кросс-платформенными. 

Распознавание персон на видео. Иллюстрация: VK

Мультимодальная языковая модель (MMLM) сравнивает контент по смыслу и тематике, объясняет комментарии, описывает интересы пользователя к конкретным сценам и учитывает эмоциональный тон материалов. Нейросеть обучена более чем на трех миллионах русскоязычных материалов и может анализировать видео, изображения, тексты и аудио. С ней рекомендательные алгоритмы быстрее показывают новый контент в продуктах VK без необходимости получения первых пользовательских реакций.

Кросс-форматная контентная модель. Иллюстрация: VK

Рекомендательная система автоматически распознает известных персон на видео, что позволяет алгоритмам учитывать как тематики контента, так и присутствие в роликах конкретных популярных личностей. Технология построена на двух моделях машинного обучения: одна анализирует видеоряд с частотой один кадр в секунду, а вторая определяет на кадрах лица и формирует единый «образ» героя. 

Мультимодальная языковая модель. Иллюстрация: VK

Помимо «VK Видео» и внутренних задач поиска и аналитики, технологии будут использоваться в других продуктах VK с пользовательским  контентом — от коротких видео до музыки.

Подробнее на iXBT