阅读论文《learning image-adaptive 3d lookup tables for high performance photo enhancement in real-time》

   2020 TPAMI,通过3D LUT操作实现快速图像画质增强,也是即hdrnet之后少有的能从快速底层角度做图像增强的工作。3D LUT已经被广泛应用在调整图像的颜色上,但是它们都是人工设计的,因此该论文对该方法进行了网络上的实现。论文的核心是学习多个基本的3D LUT,以及使用一个CNN,学习不同LUT的权重,这样就使得3D LUT是可以对图像自适应的,由于CNN是在低分辨率下,且3D LUT操作非常方便,因此可以达到较快的速度。整体结构如下所示:

   3D lattice包括M三次方的元素,其中M是每个颜色通道bins,一般设成是33。不同的3D LUT有不同的RGB输出,因为是三通道,因此一个3D LUT包括3M三次方的参数。3D LUT的基本操作包括查找和三次线性插值,结构示意图如下所示:

插值的公式表示如下,该过程是可导的:

然后是预测权重的网络,这里输入的是Downsample版本的输入图像,其能直接感知图像的全局信息如亮度、色度对比度,输出为权重系数,对3D LUT的结果进行加权处理。在具体学习时,对于监督学习,这里使用的是L2 loss,对于非监督学习,这里使用的是GAN loss。此外,对3D LUT也做了约束,包括Smooth正则约束,即对每个LUT每个通道输出作用的结果使用TV loss。以及单调性正则约束,可以增加模型泛化性,论文的实验效果非常好,详情看论文。

0%