盲图像去模糊(blind image deblurring)

盲图像去模糊(blind image deblurring)

应用

• Natural image deblurring

• Specific scenes

– Text images

– Face images

– Low-light images

初探去模糊





图像的去模糊image deblurring按照模糊核的性质来分类可分为: 盲图像去模糊(BID-Blind Image Deblurring)和非盲图像去模糊(NBID-Non-Blind Image Deblurring)。$BID$就是在模糊核未知的情况下恢复出清晰的图像。在这种情况下,除了采集到的图像,没有 其他的任何信息。$NBID$是在模糊核已知的情况下恢复出清晰的原始图像。 因为有了模糊核这个非常重要的信息,去模糊的工作就相对来说容易多了,主要任务就是如何在保持细节的情况下抑制噪声。过去三四十年, 很多研究都集中在这个领域, 也有了不少很实用的方法,比如维纳滤波, Richardson-Lucy方法。后来有些方法是基于去噪方法的, 比如傅立叶,小波,Curvelet,和TV方法。 一般来说,$NBID$是$BID$的基础。 一旦模糊核估计出来, 所有的$NBID$方法都可以在$BID$中使用

盲图像去模糊(blind image deblurring)

$BID$是图像处理和计算机视觉领域中的一个经典问题,它的目标是将模糊输入中隐藏的图像进行恢复。当模糊形状满足归一化uniform和空间不变性spatially invariant的时候,模糊过程可以用以下的方式进行建模:





$$ y=k \otimes x + n $$

$y$ 模糊图像 the blurred image

$x$ 隐藏的清晰图像 latent sharp image

$k$ 模糊核 blur kernel

$n$ 噪声 noise

$\otimes$ denotes convolution operator

Blind image deblurring is challenging





因为$k$和$x$都是未知的,不同的$k$和$x$,可能产生相同的$y$。

11 is the product of two numbers

11 = 1 x 11

11 = 2 x 5.5

11 = 3 x 3.667

假设没有噪声





假设有噪声





为了解决这个问题,e.g., blurred images and delta blur kernels.关于模糊核和图像的额外约束和先验知识都是必需的。

图像去模糊主要被划分成了两步:

1、模糊核的估计 kernel estimation 以由粗到精的方式避免局部极小值

2、去模糊

Estimation of the Blur Kernel

去模糊算法的一个自然的出发点就是首先从概率的角度出发建立去模糊问题对应的方程。

Probabilistic approach

利用一些关于清晰图$x$的先验知识,根据贝叶斯理论,我们能够构建出关于未知量的后验分布:

$$ p(k,x|y) ∝ p(y|x,k)p(x)p(k)$$

$∝$ 正比于的关系

$p(k,x|y)$ 后验分布 $Posterior$ $distribution$

$p(y|x,k)$ 似然 $Likelihood$

$p(x)$ 先验 $Sharp$ $image$ $statistics$

$p(k)$ 先验 $Blur$ $kernel$ $prior$–$Positive$ $and$ $sparse$

$p(y|x,k)$ 似然 $Likelihood$

假设我们已经获知降质过程中干扰图像的噪声类型,我们就能够很容易的写出模糊图像的似然$p(y|x,k)$ ,即$y$ 关于$x,k$ 的条件概率密度

通常假设噪声为均勾的高斯噪声于是其中的似然项描述为:

$$p(y|x,k) ∝ \prod^{}_{i}exp(-\frac{(k\otimes x)_{i}-y_{i}}{2σ^{2}})$$

其中$σ$是噪声的标准差

$p(k)$ 先验 Blur kernel prior–Positive and sparse





首先图像的形成过程就是光子在传感器上不断累积的过程,因此模糊核中的所有元素都是非负的,即其次,更为重要的一点是模糊核通常是稀疏的,也即包含相对少量的非零元素。模糊核的这种非负稀疏特点被之前的图像去模糊方法广泛地使用。

$p(x)$ 先验 Sharp image statistics




清晰图像的梯度分布

although images of real-world scenes vary greatly in their absolute color distributions, they obey 重尾分布heavytailed distributions in their gradients

梯度的分布大部分在小的值,但是相比高斯分布来说,对梯度值较大的值有更大的可能性

the distribution of gradients has most of its mass on small values but gives signicantly more probability to large values than a Gaussian distribution




模糊图像的梯度分布




The parametric model is built with mixture of Gaussians

混合高斯模型的基本思想是:对每一个像素,定义K个状态, 每个状态用一个高斯函数表示,这些状态一部分表示背景的像素值,其余部分则表示前景的像素值。

zero mean mixture-of-Gaussians model provide a good approximation to the empirical distribution





以上分析来自[3 Fergus et al., SIGGRAPH 2006]

(1) maximum a posterior (MAP)(最大后验)

Maximum A Posteriori, MAP是贝叶斯学派常用的估计方法!

假设数据$x_1,x_2,……,x_n$是独立同分布($i.i.d$)的一组样本,$X=(x_1,x_2,……,x_n)$,那么MAP对$\theta$的估计方法如下推导

$\hat{\theta}_{MAP}=arg maxP(\theta|X)$

$=arg min- P(\theta|X)$

$=arg min- log^{P(\theta|X)}$

由贝叶斯公式可知

$P(\theta|X)=\frac{P(X|\theta)×P(\theta)}{P(X)}$

带入得:

$=arg\text{ }min- log^{P(X|\theta)} - log^{P(\theta)} + log^{P(X)}$

$P(X)$可以丢掉因为与$\theta$无关

$=arg\text{ }min- log^{P(X|\theta)} - log^{P(\theta)}$

$MAP_{x,k}framework$

$$ p(k,x|y) ∝ p(y|x,k)p(x)p(k)$$

$$ \Downarrow $$

$$ \left. max \right|_{k,x} p(k,x|y)$$

$$ \Downarrow $$

$$ (\hat{x},\hat{k})=\left. arg\text{ }max \right|_{k,x}P(x,k|f)=\left. arg\text{ }min \right|_{k,x} [(y-k\otimes x)+\phi(x)+\psi(k)]$$

(2) 变分贝叶斯推断 variational Bayesian inference

[3 Fergus et al., SIGGRAPH 2006]通过变分贝叶斯推断variational Bayesian inference来使用高斯混合模型mixture of Gaussians学习图像梯度先验image gradient prior

[1 Levin et al, CVPR 2009]show that 变分贝叶斯推断the variational Bayesian inference method [3] is able to avoid 平凡解trivial solutions while naive MAP based methods may not.

但是变分贝叶斯推断方法计算非常复杂

$$ p(k|y) ∝ p(y|k)p(k)$$

$$=\int_{x} p(y,x|k)p(k)dx$$

$$=\int_{x} p(y|x,k)p(x)p(k)dx$$

参考论文

[1]Understanding and evaluating blind deconvolution algorithmsLevin et al, CVPR 2009

[2]High-quality motion deblurring from a single imageShan et al., SIGGRAPH 2008

[3]Removing Camera Shake From a Single PhotographFergus et al., SIGGRAPH 2006附录推导论文笔记

[4]Blind Image Deblurring Using Dark Channel Prior
Pan Jinshan
Pan Jinshan Projects
Projects
Paper
Project Web

[5]基于强度与梯度先验的$L_0$正则化文本图像去模糊(Deblurring Text Images via $L_0$-Regularized Intensity and Gradient Prior)Projects
Paper