Google Camera的 HDR+算法有多厉害？

特约词人ming

HDR+ 的基本原理在楼上的回答内已经解释的相当清晰了，一句话解释就是拍一打照片（Burst），然后把各张的噪声平均掉，包括读出噪声和散粒噪声都可以相当程度的降低，理论上无法逾越的界限就是传感器本身的 fixed-pattern 噪声。算法本身的原理其实天文摄影中用了很久了，真正厉害的地方是在于整个 software-defined 的管线在 Nexus 6 上都能顺溜的跑，而且是从开始拍摄最开始就着手为画质优化了。由于数码传感器的原理，clip 掉的高光是怎么都救不回来的，所以测光阶段，HDR+ 就会直接读 RAW 来计算曝光值，跟一般的中央重点、分区测光等都不同，它是直接用整张 RAW 的数据来计算，通过 ETTR 来防止高光溢出。于此同时，它也密切的监视着手震，在手按下快门的一瞬间后会等手稳定再开始拍摄，拍摄那一打照片期间依然会根据机身的抖动放弃并重拍模糊的张。通过完整的一套拍摄管线来从采集阶段之初就保障曝光的健全，HDR+ 才能正确合并结果并 tone map 出好看的结果。
整套管线由于对硬件的依赖并不强，最基础的版本基本上只需要支持 Neon 就能运行，所以才能被 port 得遍地开花。不过由于第三方设备缺少对应的 profile 适配（例如 noise model 校准不对等）等，还无法达到最佳的效果，比如会被涂抹得一塌糊涂、画面某些部分有诡异的偏色等等。目前可以代表这个管线最佳效果的设备应该是 Pixel 2 系列了。Pixel 2 堆栈后的数据质量好到内置的 tone mapping 已经开始拖后腿了，如果想要发挥该设备的潜力，推荐使用第三方修改版的 Google Camera，改高连拍张数的同时启用 HDR+ RAW+JPEG，这个 RAW 是货真价实的堆栈 14 bit。
最佳效果有多好呢？我拿出了我这里有的三款设备在都输出 DNG 的情况下对比了一下，处理软件均为 Lightroom Classic CC 7.1。

Pixel 2 XL, 1/5s ISO 4800, f/1.8

Pixel XL, 1/5s ISO 4800, f/2.0

Galaxy S7 Edge, 1/7s ISO 1430, f/1.7
关于作为对比的 Galaxy S7 Edge 为什么是 1/7s，因为第三方软件拍 RAW 快门速度已经放不慢了。至于选择 ISO 1430 的原因，这里是出于高光档位的考虑，请看下图


方便对比较低的数值，这边Y轴设成了对数坐标系。可以看到实际上 Pixel 2 XL 在这个 ISO rating 下 clip 的像素已经比 S7 Edge 少了不少了，真的要一样的话 S7 Edge 的 ISO 还得降降。出图的时候通过 Lightroom 拉成了类似的亮度，说实话不同 Exposure Index （或者说 EV0 定义不同）的设备在比较 RAW 数据的时候 ISO 是没有任何意义的，它一般只代表 jpeg 直出的亮度，设备内部对应的增益完全不同。
颜色不同？对，颜色不同，暗部偏色导致的。Pixel XL 初代的高感辉光已经导致整张图都有点偏色了，S7 Edge 也歪，只有 Pixel 2 XL 毫无压力……
Pixel 2 XL 的 HDR+ 同初代还有一个区别就是，零延迟快门模式（现在叫 HDR+ On，原完整管线改称 HDR+ Enhanced）下依然是完整的测光管线，初代是完全依赖 ISP 的返回值的，会造成高光炸成一片。
Emmmm 然后我就开始好奇这玩意在极限情况下到底有多强，于是跑进了半夜一片漆黑的人民公园。

现场的肉眼亮度差不多是这个样子的，可能还要暗一些？然后我对着 RAW 猛力拉了一气：

Pixel 2 XL, 1/5s ISO 4538, f/1.8

HDR+ 直出JPEG
对比一下这张 HDR+ 直接机内直出的 jpeg，可以看到浪费了不少高光档位，另外 RAW 在处理的时候也根据记忆调整了一下白平衡。在日间大光比场景下，HDR+ 直出的 tone mapping 容易弄出边缘假亮，主要是因为原本 HDR+ 的算法是为了性能优化的，这次 Pixel 2 系列用的参数比较激进，容易出问题，让整张照片看起来非常不自然，而且高光依然是硬 clip，并没有做高光混合，在一个及以上通道溢出的时候会出现色相偏移（皮肤高光焦黄、天空亮的地方变成青色等）。

Pixel 2 XL, 1/5s ISO 4800, f/1.8
看起来挺惨的……不过等一下

猛力拉低曝光一看，我靠……它到底保留了多少高光信息
以下是样张时间：






又一张1/5s ISO 4800

来 放肆吸猫
我还真没在白天拍到什么好的样张，再加上近期上海空气质量一般……下次再更新吧
期待一下在不久的将来 Pixel Visual Core 被 Google Camera 用来加速的时候，先前对处理速度妥协的地方能有较大的提升吧，目前版本的 Google Camera 依然是 HVX 加速。
顺便，求全景能上 HDR+ 和 optical flow 啊！！！