Команда Яндекса обновила технологию фотоконтроля в фирменном сервисе аренды автомобилей. Как рассказали в пресс-службе, теперь фотографии арендных автомобилей на необходимость мойки и ремонта анализирует комплекс нейросетей для работы с визуальными данными. Ежедневно через него проходят 150 тысяч фотографий машин из автопарка сервиса, что в 2,5 раза больше в сравнении с предшествующим алгоритмом.

В Яндексе рассказали:

Ранее в каршеринге решения об операционных задачах — мойка и ремонт — принимал алгоритм с ML-фильтрацией и ручной модерацией. Сейчас процесс фотоконтроля стал почти полностью автоматизированным благодаря комплексу нейросетей для обработки визуальных данных: визуальному трансформеру (ViT) и визуально-языковой модели (VLM). Эти модели каждый день анализируют состояние 12 тысяч машин из автопарка сервиса.

При аренде приложение запрашивает у пользователя фотографии выбранной машины и просит ответить на несколько вопросов о её состоянии, после чего система анализирует полученные данные. Чтобы нейросети могли выявлять повреждения, например, царапины и вмятины, и фиксировать загрязнения, «Яндекс Драйв» обучил модели на специально размеченных наборах данных. В случае загрязнений компьютерное зрение присваивает транспортному средству балл от 1 до 100: чем выше оценка, тем выше вероятность, что автомобиль в скором времени будет отправлен на мойку. При расчете показателя учитываются текущий сезон и история поездок конкретного автомобиля. 

Точность работы системы повышает визуально-языковая модель (VLM). Она используется для подтверждения и уточнения результатов, полученных на более ранних этапах, — помогает различать типы повреждений и определять степень загрязнений, корректно классифицировать спорные случаи и обеспечивать стабильность качества проверки в сервисе. Полнота повреждений, определяемых технологией, равна 99,9%. 

В Яндексе отметили:

Благодаря новому подходу большую часть рутинных решений в Драйве технологии принимают самостоятельно, а модераторы сосредоточены на сложных и нестандартных случаях. Внедрение комплекса нейросетей позволило ускорить операционный процесс, не теряя точности, и на 17% снизить негативный фидбек  пользователей на чистоту автомобиля.