Samsung объяснила, как её смартфоны фотографируют Луну. Всё-таки дело в ИИ
В ответ на пост пользователя Reddit по поводу того, что смартфоны Galaxy фотографируют Луну, дорисовывая текстуры, компания Samsung опубликовала в своём блоге заметку с пояснением, как на самом деле это происходит. Сама статья не является чем-то новым, это английская версия прошлогоднего материала с небольшими изменениями и более подробным описанием. Тем не менее она даёт представление о том, какие технологии и методы используются смартфонами Galaxy для фотографирования Луны, и как происходит сам процесс съёмки.
Samsung начинает свой статью с объяснения того, что собой представляет функция Scene Optimizer («Оптимизация сцены»), которая использует расширенный ИИ для распознавания объектов. Впервые она появилась в Galaxy S21 и объединяет несколько методов получения качественных снимков Луны. При 25-кратном (и выше) масштабировании в работу вступает Super Resolution, используя многокадровую обработку для объединения более 10 изображений в одно. Это позволяет уменьшить шум и увеличить резкость. Далее идёт процесс оптимизации экспозиции, чтобы Луна не выглядела размытой на тёмном небе, Zoom Lock позволяет задействовать оптическую и цифровую стабилизацию изображения для уменьшения размытости изображения.
Распознавание спутника Земли фактически осуществляется с помощью ИИ-модели, которая была изначально обучена на основе фотографий различных форм и деталей Луны. Однако споры вызвали механизм улучшения деталей снимка, который Samsung, видимо, недостаточно объяснила изначально. В блоге компании этот описан процесс описывается следующим образом:
«После многокадровой обработки камера смартфона Galaxy дополнительно задействует Scene Optimizer, а точнее механизм улучшения деталей на основе глубокого обучения, чтобы убрать оставшийся шум и улучшить детали изображения».
Samsung демонстрирует схему процесса, в котором механизм улучшения деталей описывается как свёрточная нейронная сеть (тип модели машинного обучения, используемая для обработки изображений), и сравнивает полученный результат с эталоном. Похоже, именно на этом этапе добавляются детали, которых не было изначально, и это может объяснить, почему пользователь Reddit получил чёткое фото Луны с размытого изображения. Текстуры создаются программным обеспечением камеры Samsung.
Получается, что Samsung, с одной стороны, пытается опровергнуть сообщения о «фейковой» Луне, а с другой — подчёркивает, как много делается вычислений (в том числе с помощью ИИ) для создания таких изображений.