1. 之前在网上看了一些关于核范数优化的文章,但是并没有清晰的了解整个优化的过程,因此找了一篇论文(A Singular Value Thresholding Algorithm for Matrix Completion)系统的学习了奇异值阈值算法并且利用亚梯度推导最优解的过程。

由亚梯度方法推导可以得到上述等式,即核范数的最优解等于对Y进行软阈值操作,从而进一步得到最优解

  1. 除此之外,还阅读了一篇关于加权核范数在图像去噪方面应用的文章

Weighted Nuclear Norm Minimization with Application to Image Denoising

  1. 研究背景:

核范数平等的正则化每一个奇异值,限制了处理实际问题的能力,在实际情况中,奇异值具有明确的物理意义,应该用不同的方式对待,更大的奇异值通常与主要投影元素有关,因此最好缩小得更少。因此本文研究了加权核范数最小化,给奇异值分配不同的权重,并且利用图像非局部自相似性将WNNM算法用于图像去噪。

  1. 推导过程

WNMM的优化问题:

W代表权重向量,作者分别在三种情况下讨论了该问题的最优解

(后续推导需要使用的定理)

  1. The weights are in a non-ascending order(w1≥w2……≥0)

尽管权重系数不是相同的,但是由于权重系数非递增,仍然可以使用软阈值算法对每个奇异值进行操作,因此得到的结果为:

  1. The weights are in an arbitrary order

在这种情况下,WNNM求解是一个非凸问题,没有全局最优解,因此使用迭代算法来解决。

the optimal solution of P and Q are the column and row bases of the SVD of matrix Λ,,然后进行迭代,得到最终解。

  1. The weights are in a non-descending order

在该种情况下,最优解仍然是

  1. 参数设置

w:由于较大奇异值比较小的奇异值更重要,因此,在实际应用中,奇异值越大应该缩小得越少,所以奇异值得权重应该与奇异值成反比:

n代表在Yj中相同patches数目,c是一个常数,使得除数不为0.

Xj的奇异值:由于Xj的奇异值不能直接得到,因此:

  1. 将WNNM用于图像去噪,经过以下步骤得到恢复的图像

       

  1. 结论

与BM3D等方法相比,WNNM不仅可以实现可见的PSNR改进,还可以更好的保存图片局部结构,并产生更少的视觉伪影。

1、NNM方法的缺点:平等的正则化每一个奇异值,极大地限制了处理实际问题的能力和灵活性,奇异值具有明确的物理意义,应该用不同的方式对待。更大的奇异值通常与主要投影元素有关,因此最好缩小得更少。--利用亚梯度方法进行推导

2、低秩矩阵近似旨在从其退化的观测中恢复底层低秩矩阵,目前有两种方法。(1)低秩矩阵分解,找到一个矩阵X尽可能的接近Y—非凸优化,同时分解成两个低秩矩阵的乘积(2)NNM,用X来近似Y,同时令X的核范数最小化—最紧密的凸松弛,可以通过软阈值轻松的解决。

3、图像的非局部相似性(对于自然图像中给定的local patch,在图像中可以找到许多与之相似的patch---基于此的算法(NCSR,LSSC))极大的促进了图像的降噪效果

3、WNNM算法通常是非凸的,论文贡献:(1)提供了WNNM的解决方案(2)对于图像去噪具有强大的潜力

Logo

分享最新的 NVIDIA AI Software 资源以及活动/会议信息,精选收录AI相关技术内容,欢迎大家加入社区并参与讨论。

更多推荐