Google использует технологию машинного обучения для улучшения портретного режима в Pixel 3
На смену технологии фокусировки Dual Pixel, пришло машинное обучение. Компания Google переходит от субпиксельной съемки, которая не всегда корректно «различала» фон и объект, к новому программному решению проблемы. А заключается оно в создании нейронной сети на основе TensorFlow Lite – кроссплатформенной системы для запуска моделей машинного обучения. Однако это лишь половина работы, поскольку для машинного обучения необходима большая база данных.
И вот тут компания Google включила настоящий креатив и изготовила конструкцию под названием Frankenphone, подозрительно напоминающую устройства из разряда «я у мамы инженер». Однако, несмотря на внешнюю чудаковатость устройства, содержащего сразу 5 смартфонов Pixel 3, оно вполне транспортабельное. Именно через это чудо техники и производится сбор данных, а именно фотографирование одних и тех же объектов с разных ракурсов съемки. Все пять смартфонов связаны через Wi-Fi, что позволяет делать фото одновременно с минимальной задержкой около 2 миллисекунд.
Такой подход помогает TensorFlow анализировать снимки, учитывать угол параллакса, прогнозировать глубину изображения и определять фон, который нужно размыть.
Источник(и)
