概念引入

gan的通俗理解

摘要

1.研究条件生成式对抗网络在图像翻译任务中的通用解决方案
2.网络不仅学习从输入图像到输出图像的映射，还学习了用干训练该映射的损失函数
3.证明了这种方法可以有效应用在图像合成、图像上色等多种图像翻译任务中
4.使用作者发布的pix2pix软件，大量用户已经成功进行了自己的实验，进一步证明了此方法的泛化性
5. 这项工作表明可以在不手工设计损失函数的情况下，也能获得理想的结果

研究背景

图像翻译问题

图像翻译技术能够将图像中内容从一个图像域Ｘ转换到另一个图像域Ｙ，可以看作是将原始图像的某种属性Ｘ移除，重新赋予其新的属性Ｙ，也即是图像间的跨域转换。

图像修复

视频插帧

图像编辑

风格迁移

超分辨率

图像质量评价
图像质量评价（Image Quality Assessment,IQA）是图像处理中的基本技术之一，主要通过对图像进行特性分析研究，然后评估出图像优劣（图像失真程度）。图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。近年来，随着对数字图像领域的广泛研究，图像质量评价的研究也越来越受到研究者的关注，提出并完善了许多图像质量评价的指标和方法。

• 像素损失
• 结构性损失
• 色彩损失
• 锐度损失
• 感知损失

目标函数

• Loss由 传统像素loss 和 Gan loss组成
• l1 loss 比l2 loss 更能减少生成图像的模糊
• 初始层的随机噪声z，在训练过程中会被忽略，
导致网络的条件输入只对应固定的输出
• 在推断时，通过保留dropout来产生轻微的
随机性
• 如何得到更大随机性的生成结果，更完整的
去拟合输入的分布，仍然有待研究

模型结构与参数

生成器
• 基于经典的Encoder-decoder结构
• 在很多图像翻译任务中，输出和输出图像外观
看起来不同，但结构信息是相同的
• 在Encode过程中，feature map的尺寸不断减
小，低级特征将会丢失
• 在第 i 层与第 n–i 层间加入skip-connection，
把 i 层的特征直接传到第 n–i 层

判别器
像素级的l1 loss能很好的捕捉到图像中的低频信息，GAN的判别器只需要关注高频信息
• 把图像切成 N*N 的patch，其中N显著小于图像尺寸
• 假设在大于N时，像素之间是相互独立的，从而可以把图像建模成马尔科夫随机场
• 把判别器在所有patch上的推断结果，求平均来作为最终输出
• 可以把PatchGAN理解为对图像 纹理/style损失 的计算
• PatchGAN具有较少的参数，运行得更快，并且可以应用于任意大的图像

训练参数
采用原始GAN的loss替换技巧，把最小化 log(1-D(x, G(x, z)) ，替换成最大化 logD(x, G(x, z))
• 生成器和判别器的训练次数为1:1，训练速度为2:1，稍稍降低判别器的优化速度
• 使用Adam优化器，学习速率为2e-4
• Batch size在 1-10 之间，不同的数据集上有所区别
• 推断时保留dropout，来增加输出的随机性
• 推断时使用batch为1的batch normalization，实际是就是 instance normalization
• instance normalization 仅在图像内部进行操作，可以保留不同生成图像之间的独立性

评价方式

1人工评价

2FCN-SCORE
判断图像的类别是否能被模型识别出来，类似于
Inception Score
• 使用应用于语义分割任务的流行网络结构——
FCN-8s，并在cityscapes数据集上进行训练
• 根据网络分类的精度，来对图像的质量进行打分
• 由于图像翻译不太关注生成图像的多样性，所以
不需要像 Inception Score 一样关注总体生成图
像的分布

目标函数分析

•只使用L1 loss，结果合理但模糊
• 只使用cGAN loss，结果锐利但存在artifacts
• 通过对L1 loss和cGAN loss进行一定的加权
（100:1），可以结合两者的优点
• 只使用GAN loss，生成图像发生模式崩溃
• 使用GAN + L1，结果与CGAN + L1

• 光谱维度中的情况，与像素维度上的情况类似
• 只使用L1 loss，更倾向于生成平均的浅灰色；使用cGAN loss，生成的色彩更接近真实情况

模型分析

生成器

判别器

应用分析


语义分割