有码变高清！一秒还原马赛克-程序员宅基地
文末有干货 “Python高校”，马上关注
真爱，请置顶或星标
作者 | 贝爽
转自：雷锋网（leiphone-sz）
论文地址：https://arxiv.org/pdf/2003.03808.pdf
像素不够，后期修图来凑？
在知乎搜索低像素修图，结果求助帖多到刷不完，而且从PS技巧、插件神器到各类修图App教程多到眼花缭乱，重点是效果不知道会怎么样。
不过，近日杜克大学（Duke University）研究团队开发了一款AI修图黑科技PULSE，可以解决所有低像素烦恼。据说它能够将图像原始分辨率放大64倍，任何渣画质都可以秒变高清、逼真图像，甚至被打了马赛克的人脸图像，毛孔、皱纹，头发也都能被清晰还原。
1
马赛克秒变高清人像
PULSE是一种新型超分辨率算法，它通过潜在空间探索对照片采样，可以将16x16像素的低分辨率（Low Resolution，简称LR）放大到1024x1024像素的高分辨率（High Resolution，简称HR），在几秒内增加了64倍，而传统方法最多只能放大8倍。
先来看一组示例，修图界最难处理的LR大头照，经过PULSE也可以秒变高清、细腻的图像。
更重要的是，PULSE可以定位面部的关键特征，以更高分辨率生成一组类似的细节。图中尽管头像被打上了马赛克，PULSE也可以自行“想象”出诸如眉毛、睫毛、头发、脸型等面部细节，形成高清、逼真人像。
不过，过度虚化产生的人像只是一种虚拟的新面孔，事实上它并不存在。正因如此，这项技术不能用于身份识别。比如监控摄像头拍摄的失焦、无法辨别的图片，不能通过PULSE还原成真实存在的人像。
一位杜克大学研究小组的计算机科学家Cynthia Rudin说“此前从来没有如此超高分辨率的图像被制作出来，它能够产生不存在的新面孔，而且看起来很真实”。
同时，她补充到，这项研究所采取的技术可以广泛应用于医学、显微镜、天文学，以及卫星图像等领域。另外，该研究团队已将论文已经发表至预印论文库arVix，同时被IEEE国际计算机视觉与模式识别会议（CVPR 2020）收录。
2
“缩减损失”，超越常规修图法
对于一个LR图像，传统将HR分辨率部分匹配给LR图像而获取超高分辨率（SR）的方式，往往会导致HR图像出现感光度差、不平滑，画面失真的情况。
在本次研究中，杜克大学研究团队开拓了一种新思路，提出新型超分辨率算法PULSE，它不是遍历LR图像来慢慢添加细节，而是发现与HR相对应的LR，通过“缩减损失”的方式得到SR图像。
原始LR(第一行),PULSE输出HR（中间行）,HR对应的LR(最后一行)
PULSE使用了生成对抗网络（GAN），它是一种训练模型，顾名思义，通过对抗博弈的方式来进行目标训练。其主要结构包括一个生成器（Generator）和一个鉴别器（Discriminator），在同一组照片训练中，一个负责训练接收到的图像并输出，一个负责接收该输出，并检验其是否足够逼真。
以下是与原图对比后的试验结果：
图中，第一行为原图，第二行为通过“缩减损失”得到的HR所对应的LR，而第三行经过PULSE得到的HR，可以看出，尽管与原图还存在细微的差别，但还原度已经非常高。
论文中表明，为了检验PULSE在SR方面的优势，杜克大学研究团队采用4种不同的图像缩放方法与其进行了比较研究。本次研究利用CelebA HQ数据集中的1440张图像，以x8，x64的比例因子，对LR面部图像，尤其是眼部、唇部以及头发等细节之处进行了试验。
PULSE呈现出了明显的优势，尤其是在X64分辨率下，模糊头像被完全还原，尤其是在眼唇等细节之处，其他方法几乎达不到这样的效果。
另外，针对测试结果，研究人员采用感知超分辨率常见的MOS测试方式，邀请五位评分者对图像结果进行了1-5的打分，结果显示，HR源高清图像分辨率得分为3.74，而PULSE达到了3.60，仅差0.14，可以说几乎达到了真实的高质量图像的水平。
不过，研究人员也承认PULSE还不是很完美。它产生的高分辨率图像与专业原图像相比还有一定的差别。但随着技术和工具的改进，这项技术会被一点点的完善。
现在研究团队已经将PULSE发布到Github开源平台，而且收割了569科颗星星。有修图烦恼的朋友可以安装体验一下~（Github地址：https://github.com/adamian98/pulse）
引用链接：
http://pulse.cs.duke.edu/
https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/
https://www.rt.com/news/492091-ai-tech-undo-pixelation/
可以扫码加我微信，大量Python，和AI相关资源，欢迎加我交流
欢迎点击「在看」支持
智能推荐
PHP-生成缩略图和添加水印图-学习笔记-程序员宅基地
文章浏览阅读82次。1.开始 在网站上传图片过程，经常用到缩略图功能。这里我自己写了一个图片处理的Image类，能生成缩略图，并且可以添加水印图。2.如何生成缩略图 生成缩略图，关键的是如何计算缩放比率。 这里,我根据图片等比缩放，宽高的几种常见变化，得出一个算缩放比率算法是，使用新图（即缩略图）的宽高，分别除以原图的宽高，看哪个值大，就取它作为缩放比率：...
dyld: Library not loaded: @rpath/libswiftCore.dylib ... Reason: image not found 解决-程序员宅基地
文章浏览阅读2.7k次。在室友Xcode继承一些framework时，爆出了如下错误：dyld: Library not loaded: @rpath/libswiftCore.dylib Referenced from: /private/var/containers/Bundle/Application/1761A6FE-9D6B-45F7-9F9F-922C94BF54A3/demo.app/Framewor..._library not loaded: @rpath/libswiftcore.dylib
linux gvim 快捷键tab,Linux中Vim的常用命令及快捷键-程序员宅基地
文章浏览阅读356次。光标控制命令h或^h向左移一个字符j或^j或^n向下移一行k或^p向上移一行l或空格向右移一个字符G移到文件的最后一行nG移到文件的第n行w..._gvim itab
umi4 项目使用umi-plugin-keep-alive缓存页面(react-activation)-程序员宅基地
文章浏览阅读1k次，点赞12次，收藏10次。按 name 卸载缓存状态下的 节点，name 可选类型为 String 或 RegExp，注意，仅卸载命中 的第一层内容，不会卸载 中嵌套的、未命中的。按 name 刷新缓存状态下的 节点，name 可选类型为 String 或 RegExp，注意，仅刷新命中 的第一层内容，不会刷新 中嵌套的、未命中的。按 name 卸载缓存状态下的 节点，name 可选类型为 String 或 RegExp，将卸载命中 的所有内容，包括 中嵌套的所有。true: 卸载时缓存。获取所有缓存中的节点。_umi-plugin-keep-alive
memory compiler使用流程-程序员宅基地
文章浏览阅读3k次，点赞2次，收藏25次。用了几天的memory compiler，搞清楚了它的使用流程。因为这个软件是不开源的，而且手册又很长，没有快速阅读指南，所以就花了挺多时间学习手册细节，想把其中比较主要的流程记录下来，供大家学习参考。它是一个用来综合一些IP核的软件，它里面各种各样的memory compiler，可以根据自己的选择选中一个，设置好参数之后就能生成想要的参数的memory。 因为每个memory compiler可能工艺不一样，端口数不一样，所以里面有手册告诉你这些细节的。（手册很多，每个手册几百页上下）1、首先就是要安装_memory compiler
Android 读取csv格式数据文件-程序员宅基地
文章浏览阅读5.6k次，点赞5次，收藏16次。前言什么是csv文件呢？百度百科上说 CSV是逗号分隔值文件格式，也有说是电子表格的，既然是电子表格，那么就可以用Excel打开，那为什么要在Android中来读取这个.csv格式的文件呢？因为现在主流数据格式是采用的JSON,但是另一种就是.csv格式的数据，这种数据通常由数据库直接提供，进行读取。下面来看看简单的使用吧正文首先还是先来创建一个项目，名为ReadCSV准备.csv格式的文件，点击和风APILocationList下载ZIP，保存到本地，然后解压，这个时候在你的项目文件中新建_android 读取csv
随便推点
GitLab集成gitlab-runner_gitlab-runner 16.1.2-程序员宅基地
文章浏览阅读2k次。GitLab Runner是一个开源项目，用于运行您的作业并将结果发送回GitLab。它与GitLab CI结合使用，GitLab CI是GitLab随附的用于协调作业的开源持续集成服务。。_gitlab-runner 16.1.2
缓存数据库的意义、作用与种类详解-程序员宅基地
文章浏览阅读449次，点赞7次，收藏7次。Redis、Memcached等常见的缓存数据库，以及它们各自的特点和优势，使得开发人员可以根据应用场景选择最适合的解决方案。通过合理地配置和使用缓存数据库，可以有效地改善应用程序的性能，降低数据库负载，为用户提供更流畅的体验。缓存数据库允许应用程序在需要数据时，首先从缓存中查询数据，如果数据存在，则可以避免直接访问主数据库，从而显著提高数据访问速度。主数据库通常面临大量读写请求，而缓存数据库可以分担部分读请求，减轻主数据库的负载，提高其稳定性和可靠性。缓存数据库可以作为主数据库的备份，以防止数据丢失。
手把手教你安装VSCode（附带图解步骤）_vscode安装包-程序员宅基地
文章浏览阅读3.3w次，点赞38次，收藏158次。前端开发是创建Web页面或app等前端界面呈现给用户的过程，通过HTML，CSS及JavaScript以及衍生出来的各种技术、框架、解决方案，来实现互联网产品的用户界面交互[1]。它从网页制作演变而来，名称上有很明显的时代特征。在互联网的演化进程中，网页制作是Web1.0时代的产物，，用户使用网站的行为也以浏览为主。随着互联网技术的发展和HTML5、CSS3的应用，现代网页更加美观，交互效果显著，功能更加强大。[2]..._vscode安装包
Linux下jar包的运行、查看、终止_linux查看jar包是否运行-程序员宅基地
Linux下使用java -jar命令运行jar包，可通过ctrl + c或关闭窗口停止程序。可以使用pid文件记录jar包的运行进程，方便终止。通过编写启停脚本，可以方便地终止jar包的运行。
英语基本语法_英语基础语法-程序员宅基地
文章浏览阅读1.4w次，点赞8次，收藏40次。1. 名词 名词可以分为专有名词（Proper Nouns）和普通名词 (Common Nouns），专有名词是某个（些）人，地方，机构等专有的名称，如Beijing，China等。普通名词是一类人或东西或是一个抽象概念的名词，如： book，sadness等。普通名词又可分为下面四类： 1）个体名词（Individual Nouns）：表示某类人或东西中的个体，如：gun。 2）集体..._英语基础语法
busybox构建根文件系统_busybox mount-程序员宅基地
文章浏览阅读1.3k次，点赞2次，收藏14次。rootfs有两种格式：nfs方式启动的文件夹形式的rootfs和用来烧录的镜像形式的rootfs。一、busybox移植1、busybox下载busybox是一..._busybox mount