в последние дни вновь озадачился темой, что снимает лучше Зеркалка, или хороший мобильный телефон. И заморочился настолько что купил и новую Зеркалку (вернее системную камеру) и дорогой фотофлагман, от хуавея, аналог тому про, что я писал выше (p30 pro) правда мой называется хонор P20 про Но начинка там практически идентичная вышел он даже позже p30 pro. Так, что теперь не будет повода меня упрекать за то, что я пишу о том чего сам не покупал.)
Подробного обзора пока делать не буду. Лучше скину несколько фоток из тех же мест, что и делал до этого. Жаль только в районе Лавочки поставили дополнительный фонарь, сравнение будет не полностью корректным. Но годы идут все меняется, фонарь вырвать я не могу. можно ориентироваться по дальнему фону.
Начну с системной камер samsung nx200 Это камера с матрицей от среднеразмерного зеркального фотоаппарата вышла в 2013 году. Объектив родной китовый (дешовый).
и телефон Huawei P20 Pro модель декабря 2019 года.
снимал в автоматическом ночном режиме по Яркости и четкости деталей однозначная победа за хуавеем (мобилкой) Но есть существенный минус паразитные засветы от фонарей обычно такое бывает на грязном стекле, но вроде протирал тщательно. Может быть поменяю стекло. А может режим съемки, а может что то еще придумаю, пока не знаю, что.
Но на предыдущей мобилке (редми 8 про) таких сильных засветов не было
Но однозначно можно сделать выводы что в автоматическом режиме с базовыми объективами без зуммирования Зеркалки сливают мобильным телефонам.
Конечно моно перекрутить объектив на светосильный. Установить аппарат на штатив, снимать в раве а потом вручную на компьютере вытягивать оттенки. Но это так долго и муторно. Особенно если фотографий много. Но может быть попозже все же попробую заморочиться.
пишите если тема интересна могу сделать более подробный разбор.
Anti -> Я старался. Но давайте пока отложим технические подробности. Просто поглядите какую красоту сфоткал мобильник Хуавей. ну и немного я.)
Снимал в полной темноте в 9 вечера в пасмурный и промозглый весенний вечер. Холодным ветром сдувала с крыши, но я постарался сфоткать почетче, вроде как получилось неплохо. Но хотелось бы услышать ваше мнение.)
Давайте снова не о себе, мои финансовые ресурсы весьма ограничены и самый крутой телефон я покупать не хочу, у меня сейчас фотофлагман 2019 года, а как обстоят дела весной 2021 что новенького появилось? По прежнему по камерам лидируют Китайцы, толька Сяоми вырвала первое место у Хуавей выпустив Xiaomi Mi 11 Ultra Основная матрица дюймового размера. Для тех кто не разбирается - это как на беззеркалках начального уровня, или в 4 раза больше чем на привычных компактных фотоаппаратах (мыльницах) На картинке видно размер матриц вверху. Цифра 1. такая матрица использовалась в беззеркалках никон. (а сейчас в телефоне от сяоми) самая маленькая использовалась в старых телефонах (например айфон 7). на остальных камерах телефон использует матрицы 1/2 дюйма, (как в дорогих мыльницах, или как в моем фото флагмане 2019 года) на всех камерах стоит оптический стабилизатор изображения, который помогает убрать тряску в видео и делает фотографии резче при съемке с рук. на широкоугольной вроде стабилизатора нет, но на широком угле он меньше всего нужен, там тряска практически незаметна и так. Огромные матрицы, дорогая стабилизированная оптика в купе со сверхмощным процессором и продвинутой интеллектуальной обработкой позволяет получать потрясающее качество. раньше я не особо верил в интеллектуальную обработку, но времена меняются процессоры в телефонах зачастую работают быстрее и мощнее чем в среднебюджетных компьютерах. плюс в них вмонтированы отдельные модуль искусственного интеллекта. Попробую вкратце объяснить как все работает: в сложных условиях съемки, вы жмете на кнопочку и телефон делает 3-10 фотографий за 1-5 секунд. (да ночью может снимать и 5 секунд) фотографии делаются на разной выдержке и с разной светочувствительностью матрицы, на одних фотографиях лучше видны темные места, на других светлые. Одни фотографии имеют резкие края но не видны детали в тенях, Другие получаются нерезкие, много паразитных цветных точек (шумов) но хорошо проработаны темные места. И задача Искусственного Интеллекта собрать это все воедино. нечто подобное делают и профессиональные фотографы в специальном софте (фотошоп лайтрум и.т.д.) Но это занимает у них несколько минут. а если фотографий много, то и несколько часов , или даже дней. А искусственный интеллект делает все за секунды. И исходников у него не 1 (как у проф. фотографа) а порою сразу штук 10, что сильно расширяет возможности. Вот и получается, что маленький телефон во многих режимах, (включая сложные ночные) может снимать круче чем огромная зеркалка. А насколько круче, думаю можно увидеть из обзора этого маленького чуда Xiaomi Mi 11 Ultra
примеры фотографий. Которые мне показались наиболее интересными. Сверхширик в вертикальной съемке
Ночная съемка
Сравнение с хуавей п40 про (прошлогодний фотофлагман).
тестов видео к сожалению пока с гулькин нос. Нашел только одно, Но там фокус не попал на лицо, а оператор поленился пальчиком по лицу ткнуть. Но качество все же оценить можно.
Позже может еще вернемся к этому телефону. Прошу сильно не ругать, что не купил его себе, а нифу беру из интернета, но блин 100 тысяч за телефон... Даже такой крутой. Ну нафик.
Почему современные дорогие а иногда и средне бюджетные телефоны снимают лучше Безумно дорогих огромных зеркалок с крутой оптикой и огромной матрицей. Написать хотел давно, но все руки не доходили. Статья конечно не моя но почти все тезисы из неё я поддерживаю. Основные вы можете увидеть на картинке ниже, а дальше будет подробное описание почему так.
Что такое вычислительная фотография?
Везде, включая википедию, дают примерно такое определение: вычислительная фотография — любые техники захвата и обработки изображений, где вместо оптических преобразований используются цифровые вычисления.
В нём всё отлично, кроме того, что оно ужасно. Под него подходит даже автофокус, но не влезает пленоптика, которая уже принесла нам много полезного. Размытость официальных определений как бы намекает, что мы понятия не имеем о чём все говорим.
Пионер вычислительной фотографии, профессор Стенфорда Marc Levoy (он же сейчас отвечает за камеру в Google Pixel) приводит другое определение — набор методов компьютерной визуализации, улучшающих или расширяющих возможности цифровой фотографии, при использовании которых получается обычная фотография, которая не могла технически быть снята на данную камеру традиционным способом. В посте я придерживаюсь именно его.
Итак, во всём были виноваты смартфоны.
У смартфонов не было выбора, кроме как дать жизнь новому виду фотографии — вычислительной
Их маленькие шумные матрицы и крохотные несветосильные объективы по всем законам физики должны были приносить боль и страдание. Они и приносили, пока их разработчики не догадались хитро использовать их сильные стороны, чтобы побороть слабые — быстрые электронные затворы, мощные процессоры и софт.
Большинство громких исследований в области вычислительной фотографии приходятся на 2005-2015 года, что в науке считается буквально вчера. Прямо сейчас на наших глазах и в наших карманах развивается новая область знаний и технологий, которой никогда не было.
Вычислительная фотография — это не только селфи с нейро-боке. Недавняя фотография черной дыры не появилась бы на свет без методов вычислительной фотографии. Чтобы снять такое фото на обычный телескоп, нам бы пришлось сделать его размером с Землю. Однако, объединив данные восьми радиотелескопов в разных точках нашего шарика и написав немного скриптов на питоне, мы получили первую в мире фотографию горизонта событий. Для селфи тоже сгодится. Начало: цифровая обработка Представим, что мы вернули 2007-й. Наша мама — анархия, а наши фотографии — шумные 0.6 Mpx джипеги, снятые на скейтборд. Примерно тогда у нас появляется первое непреодолимое желание наложить на них пресетов, чтобы скрыть всю всратость мобильных матриц. Так мы помешались на инстаграм-фильтрах. С появлением аппаратных шейдеров и OpenCL на смартфонах их быстро переписали под GPU и это считалось дико круто. Для 2012 года, конечно. Сегодня любой школьник может сделать такое хоть на CSS и ему всё равно не перепадёт на выпускном.
Однако, прогресс фильтров сегодня не остановился. Ребята из Дехансера, например, отлично упарываются по нелинейным фильтрам — вместо пролетарского тон-маппинга они используют более сложные нелинейные преобразования, что по их словам открывает куда больше возможностей.
Нелинейными преобразованиями можно натворить много дел, но они невероятно сложны, а мы, человеки, невероятно тупы. Как только в науке дело доходит до нелинейных преобразований, мы предпочитаем идти в численные методы и напихивать везде нейросетей, чтобы те писали шедевры за нас. То же было и здесь.
Автоматика и мечты о кнопке «шедевр» Когда все привыкли к фильтрам, мы начали встраивать их прямо в камеры. Телефоны давно стали немного «дорабатывать» изображение, даже не говоря нам об этом.
История скрывает кто именно из производителей был первым, но чисто для понимания как давно это было — в iOS 5.0, которая вышла аж в 2011 году, уже был публичный API для Auto Enhancing Images. Одному только Джобсу известно сколько он ещё использовался до открытия на публику.
Простая автоматика делала примерно то же, что кнопка авто-улучшения в фоторедакторах — вытягивала провалы в свете и тенях, наваливала сатурейшена, убирала красные глаза и фиксила цвет лица. Пользователи даже не догадывались, что «драматически улучшенная камера» в новом смартфоне была лишь заслугой пары новых шейдеров.
До выхода первого Google Pixel и начала хайпа по вычислительной фотографии оставалось еще пять лет.
Сегодня же бои за кнопку «шедевр» перешли на поле машинного обучения. Наигравшись с тон-маппингом все ринулись тренировать CNN'ы и GAN'ы, чтобы машины двигали ползуночки вместо нас. Сеть обучали определять оптимальный набор параметров для этого изображения, чтобы на выходе приблизить его к некому субъективному пониманию «хорошей фотографии», заложенного разработчиком.
Нейро-улучшение давно реализовано в том же Pixelmator Pro и других современных фоторедакторах. Работает, как можно догадаться, плохо и не всегда.
Стекинг 90% успеха мобильных камер Настоящая вычислительная фотография началась со стекинга — наложения нескольких фотографий друг на друга. Для смартфона не было проблемой нащелкать десяток кадров за полсекунды. В их камерах ведь нет медленных механических частей — диафрагма фиксирована, а вместо шторки затвора экспозицией управляет сама матрица. Процессор просто командует матрице сколько микросекунд ей ловить фотоны и считывает результат.
Технически, телефон может снимать фото со скоростью видео, а видео с разрешением фото, что даст на выходе дикое 12К-видео, но на практике всё упирается в скорость шины и процессора. Потому всегда ставят программные лимиты, иначе получается очень дорого.
Сам по себе стекинг придумали давно. Еще деды ставили плагины на Photoshop 7.0 чтоб собрать несколько фотографий в вырвиглазный HDR или склеить панораму 18000x600 пикселей и... никто так и не придумал что с этим ужасом делать дальше. Богатые времена были, жаль дикие.
Сейчас мы стали взрослые и называем это «эпсилон-фотографией» — когда изменяя один из параметров камеры (экспозицию, фокус, положение) и склеивая полученные кадры мы получаем нечто, что не могло быть снято одним кадром. Но это термин для теоретиков, на практике же прижилось другое название — стекинг. Сегодня по факту на нём строится большинство всех инноваций в мобильных камерах.
Вещь, о которой многие не задумываются, но она важна для понимания всей мобильной и вычислительной фотографии: камера в современном смартфоне начинает делать фотографии сразу как только вы открываете её приложение. Что логично, ей ведь надо как-то передавать изображение на экран. Однако, помимо экрана, она сохраняет кадры высокого разрешения в свой собственный фоновый циклический буфер, где хранит их еще пару секунд.
Когда вы нажимаете кнопку «снять фото» — оно на самом деле уже снято, камера просто берет последнее фото из этого буфера
Сегодня так работает любая мобильная камера сегодня. Буферизация позволяет реализовать не просто нулевую задержку затвора, о которой так давно мечтали фотографы, а даже отрицательную — при нажатии на кнопку, смартфон заглядывает в прошлое, смотрит на 10-15 последних фото из буфера и начинает неистово их склеивать. Больше не нужно ждать пока телефон нащелкает кадров для HDR или ночного режима — просто выгрузи всё из буфера, пользователь даже не поймёт.
Именно благодаря отрицательному лагу затвора реализована фича Live Photo в айфонах и её аналоги у других. Способны ли матрицы фотоаппаратов фиксировать весь диапазон яркости, доступный нашему глазу — старая горячая тема для срачей. Одни говорят нет, ведь глаз способен видеть до 25 f-стопов когда даже из топовой фуллфрейм-зелкалки можно вытянуть максимум 14 в редакторе. Другие называют сравнение некорректным, ведь глазу помогает мозг, автоматически подстраивая зрачок и достраивая изображение своими нейросетями, а моментальный динамический диапазон глаза на самом деле не больше 10-14 f-стопов. Оставим эти споры лучшим диванным мыслителям интернета.
Факт остаётся фактом: снимая друзей на фоне яркого неба без HDR любую мобильную камеру, вы получаете либо нормальное небо и чёрные лица друзей, либо прорисованных друзей, но выжженное к херам небо.
Решение давно придумано — расширять диапазон яркости с помощью HDR (High-dynamic-range). Нужно снять несколько кадров с разной выдержкой и склеить их вместе. Чтобы один был «нормальный», второй посветлее, третий потемнее. Берём тёмные места из светлого кадра, пересветы заполняем из тёмного — профит. Остаётся лишь решить задачу автоматического брекетинга — насколько сдвинуть экспозицию каждого кадра, чтобы не переборщить, но с определением средней яркости картинки сейчас справится второкурсник технического вуза. На последних iPhone, Pixel и Galaxy режим HDR вообще включается автоматически, когда нехитрый алгоритм внутри камеры определяет, что вы снимаете что-то контрастное в солнечный день. Можно даже заметить как телефон переключает режим записи в буфер, чтобы сохранять сдвинутые по экспозиции кадры — в камере падает fps, а сама картинка становится как будто сочнее, чем в реальности.
Момент переключения хорошо заметен, если снимать на улице. Присмотритесь к своему смартфону в следующий раз.
Минус HDR с брекетингом по экспозиции — его непроходимая беспомощность при плохом освещении. Даже в свете комнатной лампы кадры получаются такими тёмными, что кумплюктир не может их выровнять и склеить. Для решения проблемы со светом в 2013-м Google показал иной подход к HDR в вышедшем тогда смартфоне Nexus. Он назывался HDR+ и использовал стекинг по времени. Стекинг по времени Симуляция длинной выдержки и тайм-лапс
Стекинг по времени позволяет получить длинную выдержку с помощью серии коротких. Первопроходцами в нём были любители поснимать следы от звезд на ночном небе, которым было неудобно открывать затвор сразу на два часа. Так было тяжело заранее рассчитать все настройки, а от малейшей тряски весь кадр выходил испорченным. Они решили открывать затвор лишь на пару минут, но много раз, а потом шли домой и клеили полученные кадры в фотошопе. Получается, камера никогда фактически не снимала на длинной выдержке, но мы получали эффект её имитации, складывая несколько снятых подряд кадров. Для смартфонов уже давно была куча приложений, использующих этот трюк, но все они не нужны с тех пор как фича была добавлена почти во все стандартные камеры. Сегодня даже айфон легко склеит вам длинную выдержку из Live Photo. Вернёмся к гуглу с его ночным HDR. Оказалось, с помощью брекетинга по времени можно реализовать неплохой HDR в темноте. Технология впервые появилась в Nexus 5 и называлась HDR+. Остальные же телефоны на Android получили её как бы в подарок. Технология до сих пор настолько популярна, что ей хвалятся даже в презентации последних Pixel.
Работает HDR+ достаточно просто: определив, что вы снимаете в темноте, камера выгружает из буфера 8-15 последних фотографий в RAW чтобы наложить их друг на друга. Таким образом алгоритм собирает больше информации о тёмных участках кадра чтобы минимизировать шумы — пиксели, где по каким-то причинам камера не смогла собрать всю информацию и лажанула.
Как если бы вы не знали как выглядит капибара и попросили пять человек описать её — их рассказы были бы примерно одинаковыми, но каждый упомянул бы какую-то уникальную деталь. Так вы бы собрали больше информации, чем просто спросив одного. То же и с пикселями.
Сложение снятых с одной точки кадров даёт тот же фейковый эффект длинной выдержки как со звёздами выше. Экспозиция десятков кадров суммируется, ошибки на одном минимизируются на других. Представьте сколько бы каждый раз пришлось щелкать затвором зеркалки, чтобы достичь такого. Оставалось только решить проблему автоматической цветокоррекции — снятые в темноте кадры обычно получаются поголовно жёлтыми или зелёными, а мы вроде как хотим сочности дневного освещения. В ранних версиях HDR+ это решали простым подкручиванием настроек, как в фильтрах а-ля инстраграм. Потом же подогнали на помощь нейросети — примерно как те, что используют для превращения черно-белых фотографий цветные. Сейчас это не сложно.
Так появился Night Sight — технология «ночной фотографии» в Pixel 2 и 3. В описании так и говорят: «machine learning techniques built on top of HDR+, that make Night Sight work». По сути ими вытягивают цветокоррекцию. Машину обучили на датасете фоточек «до» и «после», чтобы из всякого набора тёмных кривых фотографий делать одну красивую. Датасет, кстати, выложили в открытый доступ. Может, ребята из Apple возьмут его и наконец-то научат свои стеклянные лопаты нормально снимать в темноте.
Вдобавок, в Night Sight используется вычисление вектора движения объектов в кадре, чтобы нормализовать смазы и призраков, которые обязательно получатся на длинной выдержке. Так смартфон может взять четкие части с других кадров и «заклеить» проблемные места. В конце 2019 года в iPhone тоже появился ночной режим, который технически работает точно так же. Было очевидно :) Панорамы — популярное развлечение жителей сельской местности. Истории пока не известно случаев, чтобы панорама-сосиска была бы интересна кому-то, но не упомянуть её нельзя — для многих с этого и начался стекинг. Первый же полезный способ применения панорамы — получение фотографии большего разрешения, чем позволяет матрица камеры путём склейки нескольких кадров. Фотографы давно используют разный софт для так называемых фотографий с супер-разрешением — когда немного смещенные фотографии как бы дополняют друг друга между пикселей. Таким образом можно получить хоть в сотни гигапикселей, что весьма полезно, если вам надо распечатать всё на рекламном плакате размером с дом.
Другой, уже более интересный подход — Pixel Shifting. Некоторые беззеркалки типа Sony и Olympus начали поддерживать его еще с 2014-го, но они лишь снимали за вас пять фоток, а клеить результат равно заставляли потом руками. Типичные инновации больших камер.
Смартфоны же преуспели здесь по одной смешной причине — когда вы снимаете фото, ваши руки трясутся. Эта на первый взгляд проблема легла в основу реализации нативного супер-разрешения на смартфонах.
Чтобы понять как это работает, надо вспомнить как устроена матрица любого фотоаппарата. Каждый её пиксель (фотодиод) способен фиксировать только интенсивность света — т.е. количество залетевших фотонов. Однако, пиксель не может измерить его цвет (длину волны). Чтобы получить RGB-картинку, пришлось нагородить костылей — накрыть матрицу сеткой разноцветных стёклышек чтобы каждый фотодиод отвечал только за свой цвет — R, G или B.
Самая популярная реализация такой сетки называется фильтром Байера и используется сегодня в большинстве матриц. Выглядит как на картинке ниже. Получается, если лучик красного цвета был невезуч и попал на зеленое или синее стёклышко матрицы — эти фотоны будут просто отброшены на помойку фильтром Байера. То есть мы смело можем терять на этом 2/3 фотонов.
Зелёных ячеек в фильтре Байера больше — так сделали по аналогии с человеческим глазом. Получается, что из 50 миллионов пикселей на матрице зеленый цвет будет улавливать 25 млн, красный и синий — по 12.5 млн. Остальное будет усреднено — этот процесс называется дебайеризация или демозаик, и это такой жирный смешной костыль, на котором всё держится. Отвратительно. Другие типы матриц (типа Foveon) пока ну как-то совсем не прижились. Хотя некоторые производители до сих пор иногда пытаются использовать матрицы без фильтра Байера для улучшения резкости и динамического диапазона.
Когда света мало или детали объекта совсем крошечны, мы теряем кучу информации потому что фильтр Байера нагло выбрасывает фотоны с неугодной длиной волны. Поэтому и придумали делать Pixel Shifting — смещать матрицу на 1 пиксель вверх-вниз-вправо-влево чтобы поймать их все. Фотография при этом не получается в 4 раза больше, как может показаться, просто процессор использует эти данные чтобы точнее записать значение каждого пикселя. Усредняет не по соседям, так сказать, а по четырём значениям самого себя. Тряска же наших рук при съемке фото на телефон делает этот процесс естественным следствием. В камерах последних iPhone и Google Pixel эта штука встроена в процессор и включается когда нужно, особенно при зуме. У гугла она называется Super Res Zoom и позволяет очень круто зумить, а у айфона Deep Fusion — там есть небольшое отличие, что промежуточные кадры снимаются еще и с разной выдержкой, но в целом суть та же.
Когда в очередной раз встретие 100x zoom в новом Huawei, знайте — это оно. Оптического там от силы 10x.
Наложение друг на друга немного смещённых фотографий позволяет собрать больше информации о цвете каждого пикселя, а значит уменьшить шумы, увеличить резкость и поднять разрешение не увеличивая физическое число мегапикселей матрицы.
Стекинг по фокусу Управление глубиной резкости в пост-продакшене
Всё это тоже переехало и на смартфоны, правда без особого хайпа. В 2013-м выходит Nokia Lumia 1020 с «Refocus App», а в 2014 и Samsung Galaxy S5 с режимом «Selective Focus». Работали они по одной и той же схеме: по нажатию на кнопку они быстро делали 3 фотографии — одну с «нормальным» фокусом, вторую со сдвинутым вперед и третью со сдвинутым назад. Программа выравнивала кадры и позволяла выбрать один из них, что преподносилось как «настоящее» управление фокусом в пост-продакшене.
Никакой дальнейшей обработки не было, ведь даже этого простого хака было достаточно чтобы вбить еще один гвоздь в крышку Lytro и аналогов с их честным рефокусом. Кстати, поговорим о них (мастер переходов 80 lvl).
Вычислительный RAW Переосмысление RAW-файлов под алгоритмы Хитрые стекинги с ночными режимами и нейросетями, конечно, хороши, но у них есть один главный минус — всё это даёт в результате обычный JPEG. Да, очень сочный, светлый, яркий, но всё-таки JPEG с его главным минусом — его практически невозможно нормально доредактировать в пост-продакшене.
Потеребонькать цвета, микроконтрасты, вот это вот всё наше любимое.
Мы имеем всю мощь стекинга и вычислительной фотографии, но сливаем результат в крестьянские джипеги
Как если бы нам подали в ресторане нежнейшую пасту, а потом захерачили сверху всё кетчупом.
Оно и понятно — обычным людям джипегов достаточно. Даже мне в блоге для тревел-постов в последние годы сполна хватает айфоньих фоток без обработки, что уж говорить про инстаграм и соцсети, которые пережимают их в 10 шакалов.
Не довольны здесь фотографы. Они познали всю мощь вычислительной фотографии, поняли, зеркалке физически такое не повторить, но всё равно не могут начать пользоваться её прелестями, ведь там на выходе обычные джепеги. Потому что мы всё еще верим, что RAW неприкасаем и пишем туда сырые пиксели одного единственного кадра.
Зная все плюшки стекинга, представляете как обидно. В джепеге у тебя прекрасный ночной режим, склеенный из десятка кадров и лихо стабилизированной экспозицией в 2 секунды, а в RAW одинокий шумный квадрат с трясучкой.
Так вот в последние годы мы начали понимать, что пора бы переосмыслить суть RAW-файлов. Отныне это не просто слепок пикселей с матрицы, а контейнер для промежуточных результатов работы всех алгоритмов, дающее право фотографу собрать и настроить финальное фото так, как он задумал.
В таком многослойном DNG-файле может отдельно лежать вытянутая ночным режимом фотография, её карта глубин и другие полезные маски.
Так на сцену выходит вычислительный RAW, который есть в Google Pixel с 2018, и появился в iPhone в 2020 под названием Pro RAW. Оба используют формат DNG.
Сейчас вечеринка вычислительных RAW'ов только начинается. На андроид-смартфонах мало кто всерьез снимал в RAW, потому и софта под такое особо не пилили. С появлением Apple Pro RAW же сразу зашевелились и разработчики — Пиксельматор и Лайтрум наперегонки сейчас будут хвастаться красивой многослойной обработкой.
Вычислительные матрицы Световые поля и пленоптика Как мы поняли выше, наши матрицы — это ужас на костылях. По своему устройству они мало изменялись с самого начала времён. Мы лишь совершенствовали техпроцесс — уменьшали расстояние между пикселями, боролись с шумами-наводками, добавляли специальные пиксели для работы фазового автофокуса. Но стоит даже взять самую дорогую зеркалку и попытаться снять на неё бегущего кота при комнатном освещении — кот, мягко говоря, победит. Мы уже давно пытаемся изобрести что-то получше. Много попыток и исследований в этой области гуглится по запросу «computational sensor» или «non-bayer sensor», и даже пример с Pixel Shifting выше можно отнести к попыткам улучшения матриц с помощью вычислений.
Однако, самые многообещающие истории в последние лет двадцать приходят к нам именно из мира так называемых пленоптических камер.
Чтобы вы не уснули от предвкушения надвигающихся сложных слов, вброшу инсайд, что камера последних Google Pixel как раз тоже «немного» пленоптическая. Всего на два пикселя, но даже это позволяет ей вычислять честную оптическую глубину кадра и без второй камеры как у всех.
Пленоптика — мощное оружие, которое пока еще не выстрелило. Пленоптическая камера
Придумана в 1994-м, собрана в Стенфорде в 2004. Первая потребительская камера — Lytro, выпущена в 2012-м. С похожими технологиями сейчас активно экспериментирует VR-индустрия.
От обычной камеры пленоптическая отличается лишь одной модификацией — матрица в ней накрыта сеткой из линз, каждая из которых покрывает несколько реальных пикселей. Как-то так: Если правильно рассчитать расстояние от сетки до матрицы и размер диафрагмы, в итоговом изображении получатся четкие кластеры из пикселей — эдакие мини-версии оригинального изображения. Оказывается, если взять из каждого кластера, скажем, один центральный пиксель и склеить картинку только по ним — она ничем не будет отличаться от снятой на обычную камеру. Да, мы немного потеряли в разрешении, но просто попросим Sony досыпать еще мегапикселей в новых матрицах.
Веселье же на этом только начинается. Если взять другой пиксель из каждого кластера и снова склеить картинку — получится снова нормальная фотография, только как будто снятая со сдвигом на один пиксель. Таким образом, имея кластеры 10x10 пикселей, мы получим 100 изображений предмета с «немного» разных точек. Больше размер кластера — больше изображений, но меньше разрешение. В мире смартфонов с 41-мегапиксельными матрицами мы хоть и можем немного пренебречь разрешением, но у всего есть предел. Приходится сохранять баланс. Окей, мы собрали пленоптическую камеру, и что это нам даёт?
Честный рефокус Фича, о которой жужжали все журналисты в статьях про Lytro — возможность честной корректировки фокуса в пост-продакшене. Под честной имеется в виду, что мы не применяем всякие алгоритмы деблюринга, а используем исключительно имеющиеся под рукой пиксели, выбирая или усредняя их из кластеров в нужном порядке.
RAW-фотография с пленоптической камеры выглядит странно. Чтобы получить из неё привычный резкий джипег, надо сначала его собрать. Для этого надо выбрать каждый пиксель джипега из одного из кластеров RAW'а. В зависимости от того, как мы их выберем, будет меняться результат.
Например, чем дальше находится кластер от места падения оригинального луча, тем более этот луч получается в расфокусе. Потому что оптика. Чтобы получить смещённое по фокусу изображение, нам лишь надо выбрать пиксели на нужном нам удалении от оригинального — либо ближе, либо дальше. Картинку надо читать справа налево — мы как бы восстанавливаем изображение, зная пиксели на матрице. Сверху получаем чёткий оригинал, снизу — вычисляем то, что было за ним. То есть вычислительно сдвигаем фокус Со сдвигом фокуса на себя было сложнее — чисто физически таких пикселей в кластерах было меньше. Сначала разработчики даже не хотели давать пользователю возможность фокусироваться руками — камера сама решала это программно. Пользователям такое будущее не понравилось, потому фичу добавили в поздних прошивках под названием «креативный режим», но сделали рефокус в нём сильно ограниченным ровно по этой причине.
Анкеты
Фотки
Моб.чат
ЧАВО?
30 новых тем
Админ 
бывалая 
Обратная связь