人脸复原 (Face Restoration) 是指从低质量的人脸图像中经过复原得到高清的人脸图像,在现实中的人脸复原是一个很有挑战的任务,因为降质 (degradation) 过程复杂且不尽相同。腾讯ARC团队开源了一套人脸修复算法,它利用预先训练好的面部 GAN(如 StyleGAN2)中封装的丰富和多样的先验因素进行盲脸 (blind face) 修复。
GFPGAN使用预先训练好的模型来对人脸图像进行对比修复,它能够对人脸的五官细节和人脸颜色进行处理,包括头发颜色、面部轮廓、清晰度等。下图是处理之后的效果:
功能架构:
安装使用:
- 克隆仓库
git clone https://github.com/TencentARC/GFPGAN.gitcd GFPGAN
- 安装依赖
# 安装 basicsr - https://github.com/xinntao/BasicSR# 我们使用 BasicSR 进行训练和推理pip install basicsr# 安装 facexlib - https://github.com/xinntao/facexlib# 我们使用 facexlib 包中的人脸检测和人脸修复助手pip install facexlibpip install -r requirements.txtpython setup.py develop# 如果你想用 Real-ESRGAN 增强背景(非人脸)区域,# 你还需要安装 realesrgan 包pip install realesrgan
- 下载预训练模型
wget https://github.com/TencentARC/GFPGAN/releases/download/v0.2.0/GFPGANCleanv1-NoCE-C2.pth -P Experiments/pretrained_models