与传统的FS-WDR的区别

FS-WDR 技术 是 HDR 技术的 一部分。但是在 FS-WDR 时代 ,由于显示端设备以及传输过程中 的能力 限制 造成我们使用多帧曝光 合成而 采集下来的高动态范围数据不能完全显示出来。因此 使用 了 DRC 进行 数据的动态范围压缩。 而使用了HDR 模式之后, 配合新的传输协议 和显示器显示能力, 可以达到将高动态范围数据进行端到端传输的要求。

人眼对亮度敏感度模型( Barten 曲线 & Schreiber 曲线)

从 ITU-R 定的标准来看,目前主流以 Barten 的 建模结果作为主流测试结果。
环境 光越暗,人眼需要用来分辨亮度变化的 △ I 越大 。 这意味着如果亮度变化小于环境光的变化,人眼无法分辨 该处的细节无法体现。 这一 特性也可以用来指导传输曲线的设定 。

Barten 曲线是对人眼对亮度识别度的数学建模结果,反应的是人眼对亮 度识别的敏感度阈值(JND),而 JND 最大的物理意义在于,任何变化如果小于 JND, 观察者感受不到,属于无效变化。因此研究 Barten 曲线与 HVS(Human Visual System,视觉感知系统)的关系,能够为我们有效传输动态信息带来指导。

具体到量化结果,通过实验结果我们得到,一般来说人眼的动态范围不超过 10^5。而目 前 SDR 的显示器显示亮度范围 0.5nit-500nit,则动态范围只在 103数量级上,未来 HDR 显示器的亮度规格要求在 0.05nit-1000nit,相比 SDR 显示器,动态范围拥有明显提升。

用一句话形容,就是显示器和带宽能力提升,提升了摄像机信号的输出标准。

调试HDR遇到的问题

1. 海思WDR亮区偏粉

WDR融合有两种模式,一种是wdr一种是fusion,fusion不带运动检测,看一下是否用的是fusion,如果用的是fusion,需要设备白平衡增益在WDR合成前的DG1处,其他模式都是在WB处

2. HDR的AF聚焦特别容易虚

需要注意统计数据不能选到短帧上面去,短帧特别黑,细节太少,没法作为参考。
AF的统计数据如何选取,参考海思统计数据文档

pstFEAeStat1、pstBEAeStat1 分别表示位于FE 及BE的全局1024 段直方图统计信息。建议在WDR 模式下数据开方使能,线性模式下数据开方关闭。像素值较小的数据开方处理后像素值明显变大,相当于统计信息通过压缩亮区的统计精度来提升了暗区的统计精度。使用FE统计信息时需要减去黑电平,直方图应减去10bit黑电平,均值应减去16bit黑电平。

线性模式推荐使用 WDR 合成前(FE)1024段直方图。

WDR 模式推荐使用WDR 合成前(FE)1024段直方图,或者使用WDR 合成后(BE)开方模式的1024段直方图。

实际中对比了两处AE数据源,分别是BE处开方数据和FE出不开方数据。这两个地方数据区别在于,FE和BE分别是WDR合成前和合成后的数据,如果取FE数据,需要更改为取长帧数据FE1,并且减去黑电平,如果取BE数据,需要通过开方的形式来压缩亮区提升暗区精读。实验结果发现,BE处数据亮度压缩不大,整体画面比FE1更亮,动态范围没有FE1大,亮区过曝,画面亮度更接近正常画面,DRC调节相对容易,FE1亮区细节更好,但整体画面偏暗,需要针对暗区做进一步调节。目前暂时取FE1数据。

3. HDR下白平衡统计值偏小

配置白平衡统计模块位置在DRC 后,并关闭亮度对白平衡权重的影响,可以优化WDR 模式下暗区偏红问题。

4. 曝光比生效的步骤

需要把曝光时间写入到AE结构体中aeResult->u32IntTime,ISP需要用这个曝光时间计算曝光比!!

2 帧合成WDR模式下,u32IntTime[0~1]有效,配置值由小到大,依次表示最短到最长的曝光时间,用于计算长短帧曝光比,u32IntTime[1:3]建议配置等于u32IntTime[1]。

5. 测试曝光比是否生效的方法

  1. 用普通的gamma特别的暗,因为图像中大部分用的都是长帧的数据,如果是16:1的曝光比的话,现在的动态范围就是原来的16倍,但是画面的主体还是集中在长帧(1/16),而原来的gamma对1/16的部分提升不够高,就会显得很暗,一般需要用DRC进行提亮
  2. 通过长短帧融合的阈值进行判断,对着一个动态范围稍微大一点的场景,窗外的话长帧肯定是过曝了,看不出来什么,主要看比较暗的地方。把短帧的阈值降到最大,那么整张图都是用的短帧的数据,那么此刻图像暗处的噪声肯定是比原先大得多的,这样就可以证明长短帧的融合确实生效了

6. 运动瑕疵

可以通过修改曝光表的方式,减少室外的快门时间

7. 画面亮度暗

需要引入DRC模块对画面的动态范围重新分配。

8. 暗处对比度差,画面偏红

引入CA模块,调整CA曲线,根据画面的亮度调节当前饱和度,降低暗处的饱和度。

9. 调整CCM后,蓝色依然饱和度较低

引入CLUT,通过3D查找表的方式重新对蓝色进行调整。

10. 蓝色屏幕有明显噪点跳动

调整CCM、CLUT、CA模块均无法有效改善。后面发现是DRC模块中PDStrength(去紫边参数)引入的。

因为紫边矫正把正常的蓝色物体都检测成边缘了,同时带来一系列的噪声。该值默认设置为35,但是去紫边效果不好,反而抑制了正常场景下的蓝色,建议调低或者设为0。设置为0后蓝色饱和度明显提升,问题9中CLUT的强度可适当下调。

11. 对比度微调

调整DRC模块中的contrastControl调节对比度。

关闭CSC模块中bLimitedRangeEn选项,可提高画面对比度。

同时也可以开启LDCI局部对比度增强。

12. 拍摄高亮物体(灯)存在蓝紫边

调节DRC中的PDStrength (去紫边)参数从实验结果上看,并不能缓解紫边现象,反而会影响正常场景。可以引入CAC模块对紫边进行校正。WDR下紫边主要由短帧引入,因此可以采集短帧数据进行CAC标定和校正。从下图中看,虽然标定环境有限,但对紫边抑制上依然能够有一定效果。部分场景下仍存在紫边,可调整FSWDR模块Fusion.FusionThr中短帧的阈值来限制短帧最大亮度,去除紫边,但该值较小会让原本使用短帧的像素使用长帧,从而降低画面的动态范围。