Learning Deep CNN Denoiser Prior for Image Restoration

Learning Deep CNN Denoiser Prior for Image Restoration

使用CNN去噪先验,实现图像复原

Iter CNN = IRCNN

论文

Paper

Abstract

  • strategies for solving inverse problems(图像恢复等问题,主要包括图像去噪、图像去模糊和图像超分辨率重建)

-基于模型的优化方法 Model-based optimization methods

优点:对于处理不同的逆问题都非常灵活

缺点:为了更好的效果而采用各种复杂的先验,非常地费时

-判别式学习的方法 Discriminative learning methods

优点:快速测试

缺点:由于是针对特定的任务,所以有一定限制
  • 变量分离技术 variable splitting techniques

可以帮助噪声先验denoiser prior 可以作为基于模型的最优化方法的其中一个模块来解决这些逆问题(e.g., deblurring).噪声先验通过判别式学习方法获得。

通过CNN训练一个噪声器,加入到基于模型的最优化方法来解决其他的逆问题

在分离变量技术的帮助下,我们可以同时使用两种方法的各自优点

Introduction

退化模型 degraded observation

$$ y=H x + v$$

$y$ 模糊图像 the blurred image

$x$ 隐藏的清晰图像 latent sharp image

$H$ 退化矩阵 degradation matrix

$v$ 附加的高斯白噪声 additive white Gaussian noise 标准差standard deviation为$\sigma$

Image restoration (IR)图像恢复有三种典型的任务

在图像去噪image denoising中,$H$是单位矩阵(identity matrix)

图像去模糊image deblurring中,$H$的模糊算子blurring operator

图像超分辨super-resolution中,$H$是下采样down-sampling和模糊的复合算子composite operator

MAP(最大后验估计)

$$ \hat{x}=\left. arg \text{ }max \right|_{x} log^{p(y|x)}+log^{p(x)} \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(1)$$

$log^{p(y|x)}$ 对数似然函数 log-likelihood

$log^{p(x)}$ 关于$x$的先验

等式$(1)$可以重新表示为

$$ \hat{x}=\left. arg \text{ }min \right|_{x} \frac{1}{2}|| y-H x||^{2}+\lambda \Phi(x) \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(2)$$

$ \frac{1}{2}|| y-H x||^{2}||$ 保真项 a fidelity term

$\Phi(x)$ 正则化项 a regularization term

$\lambda$ 权衡参数 a trade-off parameter

先验也叫作正则化项,可以用来约束解空间

the prior which is also called regularization needs to be adopted to constraint the solution space

为了解决等式$(2)$,一般有两种方法,基于模型的优化方法(Model-based optimization methods)和判别学习方法(Discriminative learning methods).

基于模型的优化方法

  • 特例化退化矩阵

  • 目标是用一些优化算法来直接解决该式,这些算法包含非常消耗时间的迭代推理iterative inference.

判别学习方法

  • 使用训练数据来学习学习出来退化矩阵

  • 尝试学习先验参数$\Theta$,并且通过最优化损失函数来实现紧凑推理compact inference.

$$ \left. min \right|_{\Theta} l(\hat{x},x)\text{ }\text{ }\text{ }s.t.\text{ }\text{ }\text{ }\hat{x}=\left. arg \text{ }min \right|_{x} \frac{1}{2}||y-H x||^{2}+\lambda\Phi(x,H;\Theta)\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(3)$$

这个推理是在MAP估计指导的,是判别式学习方法

用预定的非线性方法来替换MAP推理

$$ \hat{x}=f(y,H;\Theta)$$

变量分离技术(variable splitting technique)

变量分离技术(variable splitting technique),如ADMM(alternating direction method of multipliers ),HQS(half quadratic splitting)方法,使得可以分别处理保真项(fidelity term)和正则项(regularization term),其中正则项仅对应于去噪的子问题。因此,可以在基于模型的优化方法中使用discriminative denoisers。

本文的目标在于训练一系列快速高效的discriminative denoisers,并把它们用于基于模型优化的方法中,解决求逆问题。不使用MAP相关方法,而是使用CNN学习denoisers。

CNN techniques-Rectifier Linear Units (ReLU) batch normalization Adam dilated convolution

本文贡献:

-训练出一系列CNN denoisers。使用变量分离技术,强大的denoisers可以为基于模型的优化方法带来图像先验。

-学习到的CNN denoisers被作为一个模块部分插入基于模型的优化方法中,解决其他的求逆问题。

半二次方分裂 Half Quadratic Splitting (HQS)

$$ \hat{x}=\left. arg \text{ }min \right|_{x} \frac{1}{2}|| y-H x||^{2}+\lambda \Phi(x) \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(2)$$

引入辅助变量auxiliary variable $z$

$$ \hat{x}=\left. arg \text{ }min \right|_{x} \frac{1}{2}|| y-H x||^{2}+\lambda\Phi(z)\text{ }\text{ }\text{ }s.t.\text{ }\text{ }\text{ }z = x\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(4)$$

HQS 尝试去最小化下面的成本函数

$$ L_{\mu}(x,z)=\frac{1}{2}|| y-H x||^{2}+\lambda\Phi(z)+\frac{\mu}{2}||z-x||^{2}\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(5)$$

$\mu$ 惩罚参数penalty parameter which varies iteratively in a non-descending order.

等式$(5)$可以被下面这两个迭代的式子所解决

$$\begin{cases}
x_{k+1}=\left. arg\text{ }min \right|_{x}|| y-H x||^{2}+\mu||x-z_k||^{2}\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(6a)\\
&&&&\\
z_{k+1}=\left. arg\text{ } min \right|_{z}\frac{\mu}{2} ||z-x_{k+1}||+\lambda\Phi(z)\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(6b)
\end{cases}$$

可以看到保真项与正则化项被分开到两个子问题中

等式$(6a)$ 保真项在二次正则化最小二乘问题quadratic regularized least-squares problem

有很多针对不同的退化矩阵的快速解法

最简单的解法是

$$ x_{k+1}=(H^{T}H+\mu I)^{-1}(H^{T}y+\mu z_{k}) \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(7)$$

正则化项涉及在等式$(6b)$,可以被重写为

$$ z_{k+1}=\left. arg\text{ } min \right|_{z} \frac{1}{2(\sqrt{\lambda / \mu})^2} ||x_{k+1}-z||^2+\Phi(z)\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(8)$$

通过贝叶斯概率公式

等式$(8)$通过以噪声水平$\sqrt{\lambda / \mu}$高斯去噪器的去噪图像$x_{k+1}$

去噪器可以作为等式$(2)$的模块,为了强调这个,重写等式$(8)$

$$ z_{k+1}=Denoiser(x_{k+1},\sqrt{\lambda / \mu})\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(9)$$

值得注意的是图像先验$\Phi( )$可以间接被去噪先验替代




CNN 先验

Learning a Data-Driven Image Prior

1.Motivation

MAP-based blind image deblurring methods

$$ \left. min \right| _{I,k} ||I \otimes k-B||^{2}_{2}+\gamma||k||^{2}_{2}+p(I)$$