PSNR

Peak Signal to Noise Ratio，峰值信噪比，用于评价图像的质量。

衡量最大值信号和背景噪音之间的图像质量参考值。单位为 dB，其值越大，图像失真越少。一般来说，PSNR 高于 40dB 说明图像质量几乎与原图一样好；在 30-40dB 之间通常表示图像质量的失真损失在可接受范围内；在 20-30dB 之间说明图像质量比较差；PSNR 低于 20dB 说明图像失真严重。

$$\begin{gathered} PSNR=10\cdot {\log }_{10}\frac{MA{X}_I^2}{MSE} \\ MSE=\frac{1}{mn}\sum _{i=0}^{m-1}\sum _{j=0}^{n-1}[I(i,j)-K(i,j){]}^2 \end{gathered}$$

其中 - $I$ 为 $m\times n$ 的灰度图； - $K$ 为 $m\times n$ 的噪声图； - $MA{X}_I$ 为图片可能的最大像素值，即 $n$-bit 的图像的 $MA{X}_I=2^n-1$。

SSIM

structural similarity index，结构相似性，用于衡量两幅图像间的结构相似性。

使用亮度、对比度以及结构量化图像的属性，用均值估计亮度，方差估计对比度，协方差估计结构相似度。SSIM 值的范围为 $[0,1]$，越大代表图像越相似。如果两张图片完全一样时，SSIM 值为 1。

$$SSIM(x,y)=\frac{(2{\mu }_x{\mu }_y+c_1)(2{\sigma }_{xy}+c_2)}{({\mu }_x^2+{\mu }_y^2+c_1)({\sigma }_x^2+{\sigma }_y^2+c_2)}$$

其中 - $u$ 为均值； - $\sigma$ 为方差/协方差； - $c_i=(k_{i}L{)}^2$，$L$ 为像素范围，$n$-bit 的图像的 $L=2^n-1$，$k_i$ 为超参数。

LPIPS

Learned Perceptual Image Patch Similarity，学习感知图像块相似度，也称为感知损失（perceptual loss），用于度量两张图像之间的差别。

给定两个输入，利用 $\mathcal{F}$ 网络提取 $L$ 层的特征，然后利用 $w_l$ 点乘来放缩通道，最后计算 $L_2$ 损失

$$d(x,x_0)=\sum _l\frac{1}{H_l{W}_l}\sum _{h,w}||w_l\odot ({\hat{y}}_{hw}^l-{\hat{y}}_{0hw}^l)|{|}_2^2$$

其中 - $x$ 为 ground truth 图像块； - $x_0$ 为含噪声图像失真块。

相关论文： - ZHANG R, ISOLA P, EFROS A A, et al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric [J]. IEEE, 2018.

LMD

Landmark Distance，用于评估面部图像生成质量的指标。

度量生成的面部图像与真实面部图像之间的面部特征点的距离，以评估生成图像的面部特征的准确性。

计算LMD的一般步骤如下： 1. 从生成的面部图像和真实面部图像中检测面部特征点（例如，眼睛、鼻子、嘴巴等）的位置； 2. 计算每个特征点之间的欧几里得距离； 3. 汇总或平均这些距离，以获得 LMD 的最终值。

$$LMD=\frac{1}{N}\sum _{i=1}^N\sqrt{(x_{g_i}-x_{r_i}{)}^2+(y_{g_i}-y_{r_i}{)}^2}$$

其中 - $N$ 为特征点数量； - $x_{g_i}$ 和 $y_{g_i}$ 分别是生成图像上第 $i$ 个特征点的 x 和 y 坐标； - $x_{r_i}$ 和 $y_{r_i}$ 分别是真实图像上第 i 个特征点的 x 和 y 坐标。

FID

Fréchet Inception Distance，用于评估生成模型性能的指标，特别是在生成对抗网络（GANs）中广泛使用。

测量生成图像与真实图像分布之间的差异，即生成图像的质量和多样性。较低的 FID 值表示生成图像更接近真实图像的分布，对应的生成模型更好。

FID 的计算基于两个图像分布之间的特征向量空间的 Fréchet距离。

$$FID(P,G)=||{\mu }_p-{\mu }_G|{|}^2+Tr({\mathrm{\Sigma }}_P+{\mathrm{\Sigma }}_G-2\sqrt{{\mathrm{\Sigma }}_P{\mathrm{\Sigma }}_G})$$

其中 - $P$ 表示真实图像分布的特征向量集合，通常使用 Inception 网络的中间层的输出来表示； - $G$ 表示生成图像分布的特征向量集合，也使用相同的方式表示； - ${\mu }_p$ 和 ${\mu }_G$ 分别是 $P$ 和 $G$ 的特征向量集合的均值； - ${\mathrm{\Sigma }}_P$ 和 ${\mathrm{\Sigma }}_G$ 分别是 $P$ 和 $G$ 的特征向量集合的协方差矩阵； - $Tr({\mathrm{\Sigma }}_P+{\mathrm{\Sigma }}_G-2\sqrt{{\mathrm{\Sigma }}_P{\mathrm{\Sigma }}_G})$ 表示协方差矩阵的迹的平方根。

参考资料

• 【图像评价指标】PSNR LPIPS LMD SSIM FID