Внутренности камеры iPhone 11, часть 1: совершенно новая камера

В прошлом месяце мы уже писали о том, что нового в железе и программном обеспечении камер iPhone 11 и 11 Pro. И вы могли заметить, что изменения, произошедшие в оборудовании, были довольно скромными. Всё внимание было уделено программной обработке изображений.

И это действительно так: впечатляющие улучшения качества снимков в новых iPhone стоит отнести в основном на счёт программных усовершенствований. Я потратил некоторое время на изучение процесса получения изображения у iPhone 11, и, судя по всему, это одно из самых значительных улучшений, связанных с камерой, в линейке iPhone 11.

Что такое фотография?

Звучит так, будто мы решили сначала удариться в философию, или пишем сценарий для рекламы фотографии на iPad. Но чтобы подчеркнуть уникальные особенности камеры iPhone 11, нам нужно сначала понять, чего мы можем ждать от фотографии.

Уже довольно долгое время ваши фотографии делаете не вы. И это не пренебрежительное замечание в вашу сторону, дорогой читатель: когда вы нажимаете пальцем на кнопку спуска, iPhone 11 для уменьшения воспринимаемой задержки, берёт фотографию, уже сделанную им ещё до того, как вы прикоснулись к экрану.



Это делается за счёт своеобразного кольцевого буфера из фотографий, начинающего работать, как только вы открываете приложение Camera. Когда вы нажимаете на спуск, iPhone 11 выбирает самый резкий снимок из этого буфера. И сохраняет фото, которое, как думает пользователь, ничего не знающий об этом подлоге, он сделал сам. Нет, нет – вы просто намекнули, помогли камере выбрать одно фото из множества тех, что она делает сама.

Вы, конечно, можете заявить, что это всё равно был намеренный шаг. И без ваших действий фотографии бы не было.



Однако полученное фото не является результатом единственной экспозиции. iPhone 11 делает множество снимков – как говорят в презентации от Apple, дофига – и интеллектуально совмещает их.

В прошлом году в iPhone XS появился режим Smart HDR, комбинировавший передержанные и недодержанные фотографии, чтобы гарантировать повышенную детализацию на фрагментах снимка, которые оказались в тени, или сильно пересвеченными. HDR – это "расширенный динамический диапазон", и много десятилетий он служил недостижимой мечтой технологии фотографии.

Умный HDR становится ещё умнее

С тех самых пор, как люди впервые нанесли галогенид серебра на пластину, чтобы получить фотоснимок, мы разочаровывались ограниченными возможностями фотографии по фиксации деталей в ярких и тёмных областях изображения.


Сложно подобрать правильную экспозицию сразу и для фона и для самого здания. Изображение справа похоже на то, что видит глаз.

Наши глаза на самом деле неплохо с этим справляются. У них есть примерно 20 ступеней экспозиции динамического диапазона. Для сравнения, одна из новейших и величайших фотокамер, Sony A7R4, способна воспринимать 15 ступеней. У iPhone 11 их около 10.

Задолго до цифровой эры фотографы, использовавшие плёнку, сталкивались со сходными проблемами при переходе от плёночного негатива (13 ступеней) к бумаге (8 ступеней). Приходилось хитрить и изворачиваться, чтобы проявить фотографию так, чтобы её можно было напечатать.


Хребет Титон и Змеистая река в национальном парке Гранд-Титон, 1942 год, Энсел Адамс. Этой фотографии требовалась олдскульная обработка, чтобы получить знакомый нам по HDR вид

Сегодня опытный фотограф может восстановить динамический диапазон из одного изображения формата RAW при помощи редактирования. Это ручной процесс, и в сложных ситуациях в нём можно столкнуться с ограничениями фотоматрицы.




Получение приемлемого изображения из хитрой экспозиции iPhone 11 Pro при редактировании. У RAW-файлов iPhone 11 впечатляющий динамический диапазон.

Smart HDR использует совсем другой подход, «хитростью» добиваясь увеличения ДД. Вам не нужна 15-ступенчатая матрица, способная улавливать больше деталей в светлых и тёмных областях одновременно. Вам нужна матрица, способная делать снимки достаточно быстро, и умный софт, способный совмещать их. «Редактирование» происходит в реальном времени, без участия фотографа.

Как мы писали в прошлом году, у этого подхода есть свои компромиссы. Если настраивать матрицу iPhone 11 на быстрое снятие кадров с небольшой экспозицией, мы будем получать изображения с шумом – и это подтверждают RAW-файлы с iPhone XS и XR. Поэтому нам потребуется уменьшение шума, побочным эффектом которого является потеря детализации.


Оригинал и сильное уменьшение шума в Lightroom. Кирпичи стены превратились в акварель.

Что интересно, это уменьшение шума привело к появлению обвинений компании Apple в применении сглаживающего кожу фильтра к каждому снимку. На самом же деле сглаживались все текстуры. По большей части фотографии из-за этого получались более красивыми, однако можно было заметить потерю детализации. Фотки выглядели размытыми:


iPhone XS RAW против Smart HDR HEIC

Это сделало съёмку в формате RAW привлекательным вариантом для искушённых фотографов, использующих iPhone. Детали сохранялись, и при помощи инструментов типа Halide Smart RAW или ручного редактирования от шума можно было почти избавиться. В редакторе RAW часто можно было восстановить динамический диапазон почти как у Smart HDR. Мне это нравилось больше, чем «обработанный» вид фотографий iPhone XS/XR.


Smart HDR


Отредактированное изображение iPhone XS RAW

Но после появления iPhone 11 я сразу же заметил потрясающее улучшение качества по сравнению с предшественником. Smart HDR стал «умнее».

На iPhone XS и XR Smart HDR иногда перегибал палку, сглаживая текстуры или делая подсвеченные места излишне плоскими. Иногда он вообще не справлялся, и отказывался оставлять передержанную фотографию просто передержанной.


Пример того, как Smart HDR тупил на iPhone XS

Это классическая проблема HDR. Иногда можно восстановить динамический диапазон, получив плоскую картинку без контраста. В худшем случае, фотки просто были испорчены. У Smart HDR было такое сильное предубеждение против подсветки, что стало очень легко распознавать фотографии, сделанные с iPhone XS и XR.


Не сильно плоский кадр. На фотках iPhone XS RAW есть достаточно динамического диапазона, но от зернистости никуда не деться

Камера iPhone 11 знает, что иногда вы хотите чрезмерной засветки. И это более умный Smart HDR.

Дьяволы деталей

Фотографии с iPhone 11 демонстрируют примечательную детализацию:


Обычное фото с сотового телефона

(Для этой статьи я буду оценивать обычные фотографии, сделанные на iPhone 11. С версии iOS 13.2 Apple иногда использует обработку Deep Fusion, которую мы рассмотрим в будущих статьях).

Детали – это то, чего нам всегда не хватает в снимках. Есть почти иррациональная погоня за чёткостью, нескончаемые требования к увеличению количества мегапикселей и постоянное обсуждение размера матрицы, необходимого для получения приемлемых снимков.

На iFixit (и нашей разборке) видно, что размер и количество мегапикселей матрицы iPhone 11 остались такими же, как у XS. Что делает Apple, чтобы достичь такого увеличения количества деталей?

Изменились две вещи.

Оборудование

Изменения в оборудовании небольшие, но под капотом (под объективом?) проведено несколько очевидных улучшений. В частности, улучшен диапазон ISO, прибавляющий 33% на основной камере и 42% на телеобъективе.

Что такое ISO? Это мера чувствительности к свету. В прошлом веке она обозначала чувствительность фотоплёнки. К примеру, ISO выше 800 очень чувствительна, и даже подвержена воздействию аэропортовского рентгена.



Сегодня ISO – это настройка матрицы. Если света мало, ISO можно увеличить. В результате вы можете делать снимки с большой скоростью затвора, и они получатся более резкими. Компромисс состоит в том, что повышение ISO повышает количество шума. Требуется усиление функции уменьшения шума, что понижает количество деталей.

Многие решили, что повышение максимальной ISO на iPhone 11 нужно лишь для ночного режима, но улучшение диапазона также значительно улучшает ситуацию с повседневным шумом. Чтобы увидеть разницу, не нужно использовать новое ISO на максимум. Вы увидите её в большинстве снимков.

Есть только одно исключение: минимальный ISO на iPhone 11 вырос, что означает, что на базовом уровне он немного шумнее, чем iPhone XS и XR. Однако:


iPhone XS RAW и iPhone 11 Pro RAW, на базовом уровне ISO (20 на XS, 32 на iPhone 11). Легко заметить улучшение детализации на рекламном щите на верху тёмного здания и солнечных панелях. Снято со штатива.

Судя по всему, матрица даёт больше детализации при небольшом добавочном шуме.

В то же время, у оборудования есть свои пределы. Люди сравнивали результаты снимков с iPhone 11 с DSLR или другими крупными камерами, однако вот, как выглядит матрица iPhone 11 по сравнению с матрицей Sony A7R4:



Да, для получения хороших кадров требуется волшебство. И в этом году волшебство стало ещё сложнее. Или, точнее, догадливее.

Серьёзное улучшение: выборочная постобработка

При редактировании фото вы можете решить применить фильтр ко всему изображению, например, сделать сцену поярче или увеличить резкость. Однако вы можете применять эффекты выборочно к части изображения, так, как частенько журналы сглаживают кожу модели, чтобы та выглядела более гладкой.

Apple добавила сходную ретушь к процессу получения снимков. iPhone 11 автоматически разбивает изображение на части и применяет к ним разное по силе уменьшение шума. Вы, возможно, не разглядите на этом снимке результаты уменьшения шума:



Если сильно выкрутить контраст, можно увидеть в облаках «акварельные» артефакты:


Обработанный HEIC и RAW

В небе шум устраняется агрессивнее. Поскольку небо обычно имеет однородную поверхность, iOS решает, что может применить более сильное уменьшение шума, сделав небо гладким без единого зёрнышка.

В других областях применяются другие уровни уменьшения шума. Кактусы и другие объекты, которые камера посчитала достойными детализации, остались почти без обработки.

Однако, и эта технология не идеальна. На оригинале не очень чёткие кусты потеряли детализацию. iOS не знает, где тут кактус, а где – небо. Она применяет уменьшение шума, судя по всему, на основе изначального количества деталей.


Один из способов, которыми компьютер видит детали

Распознавая лицо, iOS ведёт себя совсем по-другому. Она может специально сохранять детализацию текстуры кожи, волос и одежды.




Подредактировано, чтобы выделить те области, где семантическая разметка сохранила текстуру. Фоновые украшения довольно щедро размыты, но камера особенно позаботилась о том, чтобы текстура кожи и волос моего друга Крисе сохранились на изображении. Серая оконная рама за ним, обладавшая богатой текстурой, стала полностью «акварельным».

Apple называет это «сегментацией фотографий». Они используют машинное обучение для разбивания фото на кусочки и обработки каждого из них отдельно. Впечатляет то, что всё это проделывается мгновенно.


iOS 13 может специально выделять волосы, зубы, глаза, кожу и т.д.

Эта целевая постобработка и делает iPhone 11 совершенно новой камерой. Прошлогодний Smart HDR был не таким избирательным. Новое изменение процесса обработки редактирует все сделанные вами снимки, чтобы сохранить определённые области изображения или сгладить текстуры.

В ночном режиме iPhone 11 также можно заметить исчезновение деталей в некоторых областях. Однако обычно это происходит в тех частях изображения, до которых вам нет особенного дела. Ночной режим каким-то удивительным, и даже загадочным образом умеет получить иногда даже более резкое изображение, чем обычный режим, и сохраняет детали в частях изображения, выбранных камерой во время его обработки.

Иронично, что прошлогодний скандал Beautygate оказался ложным, поскольку в этом году iPhone 11 реально подравнивает некоторые части изображения сильнее, чем другие. Но поскольку камера теперь достаточно умна, чтобы делать это выборочно, и делать это там, где вы этого не заметите, никаких скандалов в этом году не возникло. Изображения просто выглядят резче и мягче.

Улучшение устранения шума

Довольно сложно объективно сравнить то, как избавляются от шума iPhone 11 и iPhone XS (семантическую разметку невозможно отключить), кажется, что у iPhone 11 уменьшение шума лучше сохраняет детали.

Можно было бы предположить, что новая система уменьшения шума использует машинное обучение для заполнения деталей, которые можно было бы иначе потерять – так делают многие сегодняшние технологии. И, тем не менее, такое улучшение можно только приветствовать.

Постобработка и сверхширокоугольные объективы

Мы уже упоминали, что расстроены невозможностью получить файл RAW от объективов с сверхширокоугольным углом зрения. Возможно, это исправить обновление ПО. На следующем фото вы можете видеть, как все детали по большей части размыты:



Сверхширокоугольные объективы – самые медленные из трёх задних объективов, поэтому им приходится использовать большее значение ISO. Если вы хотите увидеть результат их работы в реальном времени, покрутите это новое модное колёсико зума из приложенияи Camera сразу после начала заката. Как только вы опуститесь ниже значения 0,9х, вы начнёте замечать, как текстура, допустим, вашего ковра исчезает.


С уменьшением количества света результат работы сверхширокоугольных объективов делается очень размытым и выдаёт много артефактов уменьшения шума

У УШЛ есть одна уникальная трудность: хроматические аберрации, или говоря простым языком, фиолетовые края. У телеобъектива эта проблема ощущается меньше, но мы можем наблюдать её в его RAW. Обратите внимание на немного заметные розово-фиолетовые края листьев на этом снимке, сделанном в ботаническом саду Гонконга против солнечного света:



К этому привычны фотографы, снимающие «быстрыми объективами» (с большой апертурой; в диапазоне от f/2.0 до f/0.95, причём чем меньше число, тем больше апертура). Чем больше света впускает объектив, тем сильнее вероятность того, что она пострадает от этого эффекта. К счастью в приложениях типа Lightroom можно убирать такие края. А теперь автоматическая постобработка от Apple бережёт снимки от этой хроматической аберрации.


Результат выглядит гораздо лучше после быстрого применения магии Apple

Если у вас будет пример RAW, сделанного на сверхширокоугольные объективы, мне бы хотелось посмотреть на него без коррекции. Везде, от искажений «рыбий глаз» до краевых эффектов, я хочу видеть (уродливую) правду.

Убедительный соперник для зеркалок?

Произошедшие в этом году изменения весьма внушительны. Благодаря улучшениям железа, семантическим поправкам в каждом кадре, обновлению Smart HDR и подстройкам алгоритма удаления шума, iPhone 11 и 11 Pro стали реальными претендентами на трон среди камер смартфонов.

В прошлом iPhone делали отличные фотографии для соцсетей, однако при просмотре на большом экране они не выдерживали конкуренции. Поэтому я часто беру с собой в поездки «большую» камеру.

Но эти серьёзные улучшения в обработке кадров позволяют заявить, что iPhone 11 – это первый iPhone, реально соперничающий с фотоаппаратом.


Ах, это? Это просто кадр с главного объектива iPhone 11 Pro, ужатое на 50%. Ага.

Благодаря ловким алгоритмам обработки, чёткость и детализация дошли до уровня, пригодного для печати и просмотра на экранах высокого разрешения.

Один из снимков ниже был сделан камерой Sony A7R4 за $4000 – новейшей флагманской полнокадровой камерой, вышедшей в сентябре – на объектив G-Master за $1400 с длиной фокуса близкой к широкоугольному объективу iPhone (у камеры 24 мм, у iPhone 26 мм). Второй кадр был сделан на iPhone 11 Pro с телеобъективом 52 мм.



Возможно, вы поймёте, какой из них сделала какая из камер, однако вопрос не в достижении паритета, а в том, когда будет достигнуто «достаточно хорошее» качество. Производители камер должны напрячься.

Очевидно, изначальный кадр у Sony был гораздо крупнее, однако у него и матрица на 61 мп против 12 мп у iPhone 11. Изображение с iPhone 11 пришлось лишь немного уменьшить, чтобы привести в соответствие с частью кадра от Sony.

Значит ли это, что RAW уже не нужен?

Нет.

Казалось бы, со всеми этими деталями смысла снимать в RAW уже нет. Ведь если мы можем получить все детали без шума, какой смысл?

Однако смысл снимать в RAW на iPhone 11 всё ещё остаётся – если вам нужно вытянуть ещё больше из этого крохотного, но способного массива камер.

В RAW всё ещё прячется больше деталей

Это может вас удивить, но да: в RAW всё ещё прячется больше деталей. Особенно это заметно на мелких деталях, которые семантическая разметка и алгоритм уменьшения шума не считают за важные, и когда Smart HDR перебарщивает со слиянием деталей:


Слева — Smart HDR, справа – отредактированный RAW

Да, детали всё ещё лучше сохраняются в RAW. Посмотрите на этот участок кадра без масштабирования. На свитер, волосы, траву и даже деревья на фоне:


Smart HDR против RAW

Да, зернистость имеется. Но небольшая зернистость, которая возникает почти при любых условиях съёмки, по моему мнению, только улучшает снимок.


Раздражает ли зернистость в этом снимке, или добавляет ему шарма?

Конечно, вы всегда можете использовать ваше любимое приложение для того, чтобы позже убрать шум. Но это только одна из возможностей – в отличие от случая, когда у вас есть только изображение, с которого безвозвратно убрали весь шум, а с ним и часть деталей и текстур.

Гибкость в редактировании

Сохраняя картинку в JPEG или HEIC, алгоритм выбрасывает большой объём полезных для редактирования данных. Работа со светлыми и тёмными областями иногда обнаруживает странные участки и грани объектов:





Иногда при восстановлении подсвеченных участков небо выглядит странно; а дополнительные данные, содержащиеся в файле RAW, позволяют сделать естественно выглядящие градиенты:





Сейчас RAW-файлы у iPhone 11 склоняются к яркой и плоской картинке. И несмотря на этот, казалось бы, передержанный вид, агрессивное занижение экспозиции не выдаёт никаких новых деталей, которые могли бы быть потеряны в подсвеченных областях:





Для профессионалов привожу начальное состояние уровней:



Не нужен никакой HDR. Красивое и плавное уменьшение подсвеченных областей.

JPEG или HEIC со сходной экспозицией может выглядеть примерно так же при использовании Smart HDR, но менее гибок при редактировании.

Редактирование баланса белого – это сверхспособность

Камеры сталкиваются с различными типами освещения, и им приходится догадываться о том, что на снимке белого цвета. Вы можете сделать кадр с прекрасной снежной сценой в Рождество, и обнаружить, что на снимке снег будет синим или жёлтым. Вашу камеру сбивает с толку голубой отсвет неба на белом снегу, или оранжевое свечение заката.

Если вы делаете фото при помощи приложения Camera, баланс белого встраивается в снимок, и поменять его нельзя. Вы можете поменять все цвета, настраивая оттенок или тон [tint/hue], но не можете просто постфактум назначить баланс белого. В файлах RAW это сделать можно, и это даёт вам способность делать выразительные снимки с абсолютно разным настроением:





Или использовать очень творческий подход к цвету и цветовому балансу, создавая кадры, отлично вписывающиеся в сабреддит /r/outrun[посвящён ретрофутуристской эстетике 80-х с неоновыми огнями и хромом / прим. перев.]:





Чем больше камеры самостоятельно редактируют для нас снимки, тем чаще хочется отказаться от навязанной камерой эстетики и взять всё в свои руки. Ведь фотография, в конце концов, это искусство!

Выбирать не нужно

Если всё это звучит несколько сумбурно, то мы решили, что лучший способ дать вам возможность насладиться обеими мирами – магией обработки и неограниченными возможностями RAW – это дать вам доступ в оба мира сразу. Такие приложения, как Halide, могут одновременно снимать в RAW и обработанный JPEG, чтобы вы потом могли выбрать, что вам нравится больше. Если только вы не снимаете на сверхширокоугольный объектив.

Halide 1.15: умный и ещё умнее

У Halide 1.15 есть новая настройка: «включить умнейшую обработку». Это позволяет камере обрабатывать снимок так долго, как это необходимо, и выжать из неё весь динамический диапазон целиком.

Единственный минус состоит в том, что для этого нужно отключить снимки в RAW, поскольку невозможно одновременно снимать в RAW и заниматься обработкой изображения (это ограничение нам неподвластно).









Новая настройка доступна для устройств, работающих под iOS 13, и лучше всего её результаты видны на iPhone XS, XR, 11 и 11 Pro. Deep Fusion доступна только на iPhone 11 и 11 Pro, начиная с iOS 13.2.

Нам очень интересно дать вам поиграться сразу с RAW-изображениями и полностью обработанными снимками, и узнать, что вам больше понравилось.