2015年PC同步发售的巫师三，转眼也成了“老游戏”，CDPR显然也没打算在近期几年将巫师系列重制一遍，于是这项任务落到了MOD制作者头上。今天介绍的这项AI技术——SRGAN（超分辨率生成对抗网络），能够在不吃电脑配置、不影响帧数的情况下，将游戏画质提升一大截。
提升游戏画面素质
无论是游戏厂商还是显卡厂商，大家一直共同致力于提升游戏的画面素质，给玩家带来更好的游戏体验，老黄鼓捣着光线追踪和DLSS技术，苏妈带着3A平台，游戏厂商不断炒着冷饭IP，老游戏高清化后继续卖，一个是要我们换新显卡，一个是让我们掏钱再为冷饭付费。
今天文章中的这项“SRGAN”（超分辨率生成对抗网络）技术，已经在《巫师3》上取得了非常优秀的表现，如果装上MOD，玩家不需要购买新显卡，也不需要对游戏做任何改变，在内存不爆、不影响fps帧数的情况下，就能体验到几乎比原版3090还要清晰的画面细节，绝对是理想中用来提升游戏画质最好的技术之一！
游戏界的福音
这项高清化技术目前已经用在了《重返德军总部》、《毁灭战士》、《上古卷轴III：晨风》、《马克思·佩恩》等一票老游戏上，目前FF7和FF9也已经用SRGAN高清重制了一遍材质，如果等不及玩FF7RE的第二章，也可试试高清化之后的感觉，找找童年回忆。可以预期的是，这项技术同样也有可能用在新游戏开发上，或者用来去挽救已发售游戏的画质黑洞。
这项技术更重要的一点是，相比于公司重新对这些老游戏进行开发，SRGAN能最大程度上保留并“发扬”原有的纹理和艺术风格，也就是当初玩是什么样，现在玩也是什么样，只是在材质上变得更加精细，能在最大限度上继承老游戏，玩家不需要再忍受上古年代画质的摧残，新技术下的画面材质会更加讨喜玩家的眼球。
The Witcher 3 HD Reworked Project 12.0
超分辨率技术
从计算机图形学领域诞生，一直到结合深度学习后的计算机视觉领域，如何将图像高清化一直是科研一线人员需要解决的“最功利性”也是最实际的问题，由此衍生出了超分辨率领域，用一句话概括这个方向的大目标：输入一张低分辨率图片，生成高分辨率图片！
我们买显示屏时候，时常会说要2k/4k画质的，这里的2k/4k就是图像分辨率（Image resolution），同样的游戏也是以画面图像作为载体，自然就有分辨率的问题，游戏越精细，细节越多、分辨率越高，那么显然游戏的画面素质和玩家的体验就会更好，所以提升分辨率一直是硬件厂商和游戏厂商共同奋斗的目标。
一部分玩家可能觉得画质更高是个伪命题，游戏不需要那么高的画质，你说我没事会蹲在草地上看有几根草，看草的纹理细节吗？——可以不看，但不能没有。其实从图形学和计算机视觉科研技术发展来讲，画面高清化（超分辨率技术）一直都是最前沿的课题，也不只是用在游戏中。
所谓超分辨率技术（Super-Resolution），就是通过硬件或软件的方法提高原有图像的分辨率，经过一系列对低分辨率图像（LR, low resolution）的操作，通过重建LR图像来得到一幅高分辨率（HR, high resolution）的图像，这个过程就是超分辨率重建，明确了科研目标，随之而来的就是漫长的技术更迭史。
传统的超分方法
早年计算机图形学领域有很多经典问题和算法，比如图像补全（Image Inpainting）和图像插值(Image Interpolation)，图像补全自然很好理解，就是将模糊或者是噪声破坏后的图像，在不使用奇技淫巧那些障眼法的操作下，将其复原修补成原状，图像补全在如今的超分领域中仍然是大量研究的课题。
Image Inpainting
图像插值技术，显然学过离散或计图的都忘不了这个经典算法，在数据分析预处理也会遇到对Null进行插值，这项技术同样比较古老，早在牛顿和拉格朗日时期就存在，后来被用于计算机图像处理上。简单来说，就是通过估算函数在其他点的近似值，用来填补LR图像像素间的“空隙”，这样就能实现最基础的超分操作——让低分辨率的图像变成高分辨率图像。
超分辨率技术的历史
比较传统插值方法的最邻插值算法，类似于照搬最近的像素，但这样做的缺点是会让图像的边缘产生锯齿、不平滑的像素块，于是传统的抗锯齿技术（Anti-aliasing）也诞生了，时至今日，我们仍然能在游戏中看到抗锯齿选项，这些问题自图形学诞生以来就是科研人员研究的方向，研究成果自然也经游戏开发人员之手提升游戏画面效果，造福广大玩家。
再往后诞生了双线性插值，可以从数学上理解为从两个向量方向上分别进行一次线性插值，优点是能让游戏画面边缘看起来更平滑，缺点自然是损失了细节，所以说早期传统的插值超分算法理念，始终是在增加游戏画面细节和抗锯齿问题之间找平衡点。现如今许多算法都是厂商内置的，玩家可以根据自己的喜好调节这些选项配置，所谓厂商优化好坏大概就是这些算法是否能最大限度发挥当前的电脑性能。
递进一层，将双线性思维扩散到多项式思维，我们有了拉格朗日插值和牛顿插值，这些多项式插值，插值也俗称“内插”，可能初学时期理解这两个插值法时会感到吃力，那说明还是没有学透线性代数，为啥要学范德蒙行列式？因为这两个插值法就是范德蒙行列式思想在图形学的应用，这里推荐所有工科生上一门数值计算课程，搭配再好好过一轮数学。推荐阅读：机器学习入门——数学基础（代数篇）
实际上，在后来单纯基于传统的插值算法来实现超分辨率图像重建算法的论文并不多，插值无论是从算法内核还是从实际效果来看，都存在着显著的局限性。以目前水平来看，一般认为，插值对低分辨率图像的改进质量是有限的（生成高分辨率图像的表现不佳），并不能真正意义上将低分辨率图像变成现在人们熟悉的超高分辨率图像（时代的标准也在一步步提高），于是就有了下面AI时代的技术更新。
AI年代的超分技术（包含下期预告）
AI时代，无论是超分辨率算法，还是超分辨率应用，都是井喷式的发展，从技术层面来讲可以分为两个方向，一类是监督性的超分技术，也就是通过对一组组LR-HR的图像进行学习，从而实现优质的超分算法，这个方向主要是四个子领域着手改良：
Accelerating the Super-Resolution Convolutional Neural Network
- 模型架构（ model frameworks）
- 上采样方法（ upsampling methods）
- 网络设计（network design）
- 学习策略（learning strategies）
第二种即为无监督性的超分技术，简单讲，就是不喂数据，因为这年头收集大量对照的HR-LR数据也不是一件容易事，无监督性的超分技术显然成为了更前沿的一项研究，将zero-shot learning和Deep Image Prior两项利器引入成为了无监督超分领域未来的排头兵。
Unsupervised Learning for Real-World Super-Resolution
当然笔者这里最喜欢，也最推荐的实际上是无监督超分领域的子课题，将生成对抗网络（Generative Adversarial Network）应用于图像超分领域（Image Super-Resolution），结合起来，所以就有了巫师3高清MOD这项“SRGAN”的技术。
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network
展望与未来
本文主要是介绍了当超分辨率应用在游戏时，这项技术发展的历史和最前沿的研究，当在技术上取得突破时，受益的是所有人，可预见的是，无论未来游戏的画面素质发展到什么地步，都是科研人员和游戏技术人员共同努力的结果，而超分这项技术至少在图像年代，仍然是图形学和计算机视觉最重要的研究之一。
以下六篇文章是巫师3、马克思佩恩这些高清MOD技术的相关文章，其中14年和16年发表在ECCV上的SRCNN与FSRCNN算是深度学习在超分辨率（SR）领域的开山之作，如果要学习制作这种类型的MOD可参考上篇文章：巫师三——AI如何帮助老游戏画质重获新生（一）。
- SRCNN(ECCV14) - Dong, Chao, et al. "Learning a deep convolutional network for image super-resolution." European conference on computer vision. Springer, Cham, 2014.
- FSRCNN(ECCV16) - Dong, Chao, Chen Change Loy, and Xiaoou Tang. "Accelerating the super-resolution convolutional neural network." European conference on computer vision. Springer, Cham, 2016.
而17、18年的SRGAN与改良ESRGAN，则是因为受到了Ian Goodfellow（准图灵奖大佬）的启发，将生成对抗网络用于超分辨率领域，同属该子领域开创性的工作，发表在CVPR2017上，而ESRGAN则是对前作的结构进行改良：引入残差单元（RRDB）与改进GAN网络（RaGAN）。
- SRGAN(CVPR17) -Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network."; Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
- ESRGAN(ECCV18) - Wang, Xintao, et al. "Esrgan: Enhanced super-resolution generative adversarial networks." Proceedings of the European Conference on Computer Vision (ECCV) Workshops. 2018.
发表在CVPR2018上的STFGAN，这篇文章的团队与ESRGAN相同，巫师3高清材质MOD的作者HalkHogan也是公开表达了对ESRGAN、STFGAN两篇文章的感谢，并表示他还会在其他游戏上继续沿用这些论文的技术（实际上已经有其他MOD作者在使用ESRGAN对老游戏画质进行优化）。
- SFTGAN(CVPR18) - Wang, Xintao, et al. "Recovering realistic texture in image super-resolution by deep spatial feature transform." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
第六篇是图像超分辨率（Image Super Resolution）的一个综述性的论文，发表在PAML2020上，我想这篇文章足以让大众了解这项技术的重要性，该领域已经成为各大顶会、期刊固定的Workshop，每年也有大量的超分比赛，准确来说所谓的AI就是由这些技术组成，并不是存在各路媒体所渲染的软文......
- Survey(PAML20) - Wang, Zhihao, Jian Chen, and Steven CH Hoi. "Deep learning for image super-resolution: A survey." IEEE transactions on pattern analysis and machine intelligence (2020).
图文无关，也是SR领域的美女学者....
建议阅读：
1. SRCNN(ECCV14) - Dong, Chao, et al."Learning a deep convolutional network for image super-resolution."European conference on computer vision. Springer, Cham, 2014.
2. FSRCNN(ECCV16) - Dong, Chao, Chen ChangeLoy, and Xiaoou Tang. "Accelerating the super-resolution convolutionalneural network." European conference on computer vision. Springer, Cham,2016.
3. SRGAN(CVPR17)-Ledig, Christian, et al. "Photo-realistic single image super-resolutionusing a generative adversarial network."; Proceedings of the IEEEconference on computer vision and pattern recognition. 2017.
4. ESRGAN(ECCV18) - Wang, Xintao, et al. "Esrgan: Enhancedsuper-resolution generative adversarial networks." Proceedings of theEuropean Conference on Computer Vision (ECCV) Workshops. 2018.
5. SFTGAN(CVPR18) - Wang, Xintao, et al. "Recovering realistic texture in image super-resolution by deep spatial feature transform." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
6. Survey(PAML20) - Wang, Zhihao, Jian Chen, and Steven CH Hoi. "Deeplearning for image super-resolution: A survey." IEEE transactions onpattern analysis and machine intelligence (2020).
机器学习基础：
机器学习入门——数学基础（积分篇）
机器学习入门——数学基础（代数篇）
机器学习入门——数学基础（贝叶斯篇）
游戏&AI系列：
巫师三——AI如何帮助老游戏画质重获新生
AI女装换脸——FaceAPP应用和原理
AI捏脸技术——你想在游戏中捏谁的脸？
Epic虚幻引擎——“元人类生成器”游戏开发（附教程）
脑机接口——特斯拉、米哈游的“魔幻未来技术”
白话科普——Bitcoin到底是如何诞生的？
论文相关：
毕业季杂谈——如何随时免费使用中国知网？
毕业季杂谈——论文降重的“奇技淫巧”
毕业论文——Latex论文排版语言介绍