孙俪吐槽邓超的画 等等补刀说被吓到不敢进门

孙俪在微博晒出照片,吐槽邓超的画影响整体画面,邓超不承认,问等等感觉如何,等等说这幅画挂在家门口时,他很害怕不敢进门。


新浪娱乐讯 1月15日,孙俪[微博]在微博晒出两张照片,表示:“我们在说墙上的画,都说这幅邓先生的画有点影响整体画面,邓先生不肯承认,然后邓先生问等等感觉如何,等等说:原来这幅画挂在家门口,他一直很害怕不敢进门,需要有人陪的那种……”照片中墙上挂了很多孙俪画的画,画了等等、小花妹妹、家里的狗狗等等,其中有一幅画的风格有些突兀,是邓超[微博]画的他和孙俪结婚时的照片。孙俪还晒出邓超这幅画的近距离照片,画风十分独特,有些喜感。粉丝评论吐槽:“说不上哪像,又说不上哪不像”。

重新上色的历史人物, 惊艳了时光! 华盛顿大学, 伯克利与谷歌联袂送上"照片时光机"_详细解读_最新资讯_热点事件

编者按:本文来自微信公众号“将门创投”(ID:thejiangmen),作者:让创新获得认可,36氪经授权发布。

From: Arxiv ; 编译:T.R

由于早期照相技术的限制,加上时间的冲刷,许多历史人物的照片都是老旧、褪色的黑白照片。为了更真实地一睹这些历史人物的样貌,有研究者提出了一种利用现代相机模拟“穿越回过去”、为历史人物重新拍照的手段。

听起来神乎其神,究竟是怎样的强大手法呢?阅读下文一探究竟吧!

与独立进行去噪、上色和超分辨等操作的传统图像修复滤波器不同,这一工作利用StyleGAN2将老照片转换到现代高分辨率照片的(特征)空间里,利用单一框架实现了所有的操作效果。

历史名人经由此法修复后的惊艳效果

“照片时光机”的实现过程

研究人员用一个统一的模型一步到位地修复了老照片,同时实现了超分辨、去模糊、去噪和对比度调节等修复过程。它有机地融合了成像的物理过程和图像的统计信息,一方面利用物理过程驱动的成像过程来捕捉相机成像的过程,同时采用了基于统计的生成模型来补全皮肤细节和颜色等缺失的信息,通过综合各种相关信息,为成像和退化过程建模。这种基于StyleGAN2的框架让我们得以穿越时空,一窥旧时代人物脸上的光荣与梦想。

要理解“时间旅行、重新拍照”的过程,需要先了解照片所属时代的拍照技术。这篇文章所要恢复的照片大多拍摄于19世纪晚期到20世纪早期,那时的拍照技术还不成熟。早期胶片对于蓝绿光较为敏感,缺乏红色感光会显得皮肤变差,面部的缺陷会被放大,而低估了皮肤表面下的散射则会使皮肤显得光滑。为了重建历史人物的真实样貌,利用现代的高清相机为他们重新拍照,需要充分考量老照片中所包含的颜色敏感度、模糊、褪色、噪声、低分辨率和其他的退化过程。

为了把黑白老照片转化成现代风格的高清高质量照片,研究人员提出了一种利用StyleGAN2生成模型将老照片映射到现代高分辨率彩色图像空间中的方法。这一研究希望寻找到一个可以匹配输入的老照片的潜在空间表示。为了得到这一表示,需要对训练模型的潜在编码进行学习。

与先前的方法不同的是,研究人员没有简单地直接将StyleGAN2输出与输入的老照片进行比较,而是利用了与输入人物面部特征极为相似的彩色高清图像作为额外的监督,使得模型可以有效学习出图像中的高频信息以及自然的颜色和光照。

在文中的Sibling部分将详细介绍如何自动计算面部特征,找到示例人像,并引入了相应的误差来优化并保留图像中的细节和颜色信息。

为了进一步缩小输入老照片和现代人物肖像间的差异,研究人员为老照片设计出了独特的重建损失函数,构建了退化模块来模拟老照片的成像过程,并应用于StyleGAN2得到的结果,而后与老照片进行重建损失计算。退化模块涵盖了不同类型的胶片信息、照片扫描过程和相机相应曲线,并可结合使用改善拍摄效果。

下图显示了模型的整体架构,主要包含了Sibling相似图像编解码模块,隐空间编码优化模块和退化模拟模块三个主要部分。

给定一张老照片作为输入,研究人员使用前向自编码器在StyelGAN2的隐含空间中计算出面部特征相似的图像。而后利用这张相似图像作为隐空间编码优化的起点,寻找编码重建出输入。利用退化过程引导优化过程,在模拟老照片特点的同时保持现代图像中的纹理和皮肤细节。相似人脸编码器

为了重建历史人物的真实样貌,需要找到与他们较为相似的现代高清照片人物进行参考。所以整个框架的第一步是输入低分辨率的老照片,重建出面部特征相似的人物图像。这里主要使用了StyleGAN2来获得512维度的编码,并利用预训练好的StyleGAN2合成网络来获取合成的相似图像。在此基础上,研究人员还添加了颜色迁移损失来修正最终输出图像的颜色损失,同时还利用了VGG对模型重建的历史人物图像和sibling图像的特征计算了内容上下文损失,来保证皮肤纹理和细节的重建性能。

颜色损失和上下文损失的结果比较

为了对历史照片的拍摄过程和退化过程进行有效建模,研究人员在输入历史图像比较前,还对生成的修复图像进行了一些列退化处理,使其能为隐空间编码的优化过程提供更多的引导。其中的退化过程包含了模糊、底片的响应限制以及早期照相技术的光谱灵敏度等,还包括了不同的相机响应函数和低输入分辨率的模拟。其中模糊主要使用了高斯滤波器,下图显示了使用高斯滤波模拟和不使用的结果对比:

针对颜色敏感的不同,早期的正色(orthochromatic)照片选择了(0.5*(G+B)),全色(panchromatic)照片则选择了(0.299·R+0.587·G+0.114·B)来表示强度值。

利用不同颜色响应的重建结果对比,颜色响应的建模使得图像更为真实。

针对相机响应函数则使用了偏置(0)、增益(1)和gamma(1)变换的组合来进行描述。

使用和不使用相机响应函数损失的对比,它提高了对比度和图像的曝光质量。

最终的重建损失利用下面的式子来表示,包含了VGG特征和VGG面部特征,并着重强调了眼部的特征相似相似性来提高重建图像的感知质量:

在获得有效的重建损失、颜色迁移损失和上下文损失后,就需要对潜在空间编码进行优化,以最小化这些损失的加权和。具体来说,首先利用相似图像的编码来初始化编码,而后在隐空间编码W+code上进行由粗到精地优化。具体的实验参数设置和调参结果,可以参看原文第四部分的详细设计。

实验结果

研究人员重建了54张历史人物照片,下图显示了重建中的一些结果,并与FFHQ方法进行了比较。

与现有的一些方法相比,本文提出的方法获得的照片更为自然清新,颜色更为连续,人物的面部皮肤和细节重建也较为清晰优美:

孙俪吐槽邓超的画 等等补刀说被吓到不敢进门

孙俪在微博晒出照片,吐槽邓超的画影响整体画面,邓超不承认,问等等感觉如何,等等说这幅画挂在家门口时,他很害怕不敢进门。


新浪娱乐讯 1月15日,孙俪[微博]在微博晒出两张照片,表示:“我们在说墙上的画,都说这幅邓先生的画有点影响整体画面,邓先生不肯承认,然后邓先生问等等感觉如何,等等说:原来这幅画挂在家门口,他一直很害怕不敢进门,需要有人陪的那种……”照片中墙上挂了很多孙俪画的画,画了等等、小花妹妹、家里的狗狗等等,其中有一幅画的风格有些突兀,是邓超[微博]画的他和孙俪结婚时的照片。孙俪还晒出邓超这幅画的近距离照片,画风十分独特,有些喜感。粉丝评论吐槽:“说不上哪像,又说不上哪不像”。

孙俪吐槽邓超的画 等等补刀说被吓到不敢进门

孙俪在微博晒出照片,吐槽邓超的画影响整体画面,邓超不承认,问等等感觉如何,等等说这幅画挂在家门口时,他很害怕不敢进门。


新浪娱乐讯 1月15日,孙俪[微博]在微博晒出两张照片,表示:“我们在说墙上的画,都说这幅邓先生的画有点影响整体画面,邓先生不肯承认,然后邓先生问等等感觉如何,等等说:原来这幅画挂在家门口,他一直很害怕不敢进门,需要有人陪的那种……”照片中墙上挂了很多孙俪画的画,画了等等、小花妹妹、家里的狗狗等等,其中有一幅画的风格有些突兀,是邓超[微博]画的他和孙俪结婚时的照片。孙俪还晒出邓超这幅画的近距离照片,画风十分独特,有些喜感。粉丝评论吐槽:“说不上哪像,又说不上哪不像”。

印小天五个多月没回北京 发现车上写着"不开给我"

印小天在微博晒出一张自己车的照片,说道:“五个多月没回北京,我的车都会说话了…”照片中,他的车上写着“不开给我”四个字。


新浪娱乐讯 1月14日,印小天[微博]在微博晒出一张自己车的照片,说道:“五个多月没回北京,我的车都会说话了…”照片中,他的车上写着“不开给我”四个字,非常有喜感。粉丝评论:“他们肯定不知道这辆车是天哥滴”,“这灰尘,确实好久没有开了”,“给我吧,我好穷”。

严浩翔喊话跟车者 发照片不忘给司机和车牌打码

1月13日,时代少年团的严浩翔在微博喊话跟车者,“别跟我车”,并晒出一张跟车的照片。


新浪娱乐讯 1月13日,时代少年团的严浩翔[微博]在微博喊话跟车者,“别跟我车”,并晒出一张跟车的照片。照片中是一辆重庆牌照的黄色出租车,车牌和司机都被打上了码。粉丝评论:“私生又开始了”,“别跟小朋友车了!翔哥,注意安全”。

艾玛罗伯茨首次曝光儿子照片 怀抱宝宝母爱爆棚

13日,艾玛罗伯茨首次曝光儿子照片。照片中的她身穿橙色连衣裙,怀里抱着宝宝深情注视着,母爱爆棚。


艾玛罗伯茨和儿子艾玛罗伯茨和儿子

新浪娱乐讯 13日,艾玛罗伯茨首次曝光儿子照片。照片中的她身穿橙色连衣裙,怀里抱着宝宝深情注视着,母爱爆棚。

据悉,艾玛罗伯茨于12月2日在洛杉矶平安产子,儿子约9磅重,和男友Garrett Hedlund为他取名Rhodes,这也是俩人的第一个宝宝。

赋予建筑人文的气质(讲述·一辈子一件事)

2006年,程泰宁在浙江美术馆工地了解施工进度。资料照片

1959年,程泰宁在北京长城采风。资料照片

人物小传

程泰宁,1935年生,南京人,建筑学家,中国工程院院士、东南大学教授。毕业于原南京工学院(现东南大学)建筑系。从业以来主持设计国内外工程150余项,多项作品获得国家、省部级奖。2004年获中国建筑师最高奖“梁思成建筑奖”。

“最近看了哪些书?设计的作品进展如何?工作有什么计划?”一个平常的工作日,程泰宁院士先从淮安去南京办事,再赶回杭州开会。他忙完一上午的工作,午餐时间还不忘关心学生的学业进展。交流间,程泰宁笑声爽朗,说起时下的新鲜事物毫无代沟;谈起建筑学领域的最新情况,他总是引经据典,思维活跃。

到了耄耋之年,但程院士清瘦硬朗,才思敏捷,学生们都亲切地称呼他为“80后”。他常说,要将以前耽误的时间追回来,总有一种时不我待的紧迫感,“根本来不及变老”,因为他早将一生托付给了心爱的建筑事业。

“学建筑是一生的邀请”

走入建筑领域,程泰宁称那是一种缘分。“对空间的想象和构建,是我从小的一个梦。”程泰宁说。

在战火纷飞的年代出生的程泰宁,2岁就跟着家人一路逃难。童年谈不上接受过系统教育,却十分爱读书,从唐诗宋词到四大名著,从哲学艺术到武侠小说,他总是沉浸在自己的一方天地……

书是寄托,又是挚友:“我常坐在家门口,看着江水、行船、流云出神,惊奇于云朵的千变万化;我还喜欢坐在厨房的方凳上,望着斑驳的墙面,从神秘形状中构想大千世界。”程泰宁说,他后来读到中国画论中用笔如“屋漏痕”的描述,就越来越对空间构建产生了浓厚的兴趣。


美芝加哥发生连环枪击案 一中国留学生身亡21-01-11 11:29:09美发生连环枪击案 一留学生身亡

芝加哥大学中国留学生中枪遇害,系北大光华本科生21-01-11 15:01:41留学生,中枪,遇害

放下行李,就地过年!全国多地已发出建议21-01-11 07:06:53多地倡导就地过年

“大头娃娃”事件暴露“消”字号护肤品安全隐患21-01-10 13:56:45大头娃娃 护肤品 安全隐患

美媒曝:遭特朗普支持者袭击致死的警官,也是特朗普支持者……21-01-12 07:49:20特朗普支持者 袭击警官

赋予建筑人文的气质(讲述·一辈子一件事)

2006年,程泰宁在浙江美术馆工地了解施工进度。资料照片

1959年,程泰宁在北京长城采风。资料照片

人物小传

程泰宁,1935年生,南京人,建筑学家,中国工程院院士、东南大学教授。毕业于原南京工学院(现东南大学)建筑系。从业以来主持设计国内外工程150余项,多项作品获得国家、省部级奖。2004年获中国建筑师最高奖“梁思成建筑奖”。

“最近看了哪些书?设计的作品进展如何?工作有什么计划?”一个平常的工作日,程泰宁院士先从淮安去南京办事,再赶回杭州开会。他忙完一上午的工作,午餐时间还不忘关心学生的学业进展。交流间,程泰宁笑声爽朗,说起时下的新鲜事物毫无代沟;谈起建筑学领域的最新情况,他总是引经据典,思维活跃。

到了耄耋之年,但程院士清瘦硬朗,才思敏捷,学生们都亲切地称呼他为“80后”。他常说,要将以前耽误的时间追回来,总有一种时不我待的紧迫感,“根本来不及变老”,因为他早将一生托付给了心爱的建筑事业。

“学建筑是一生的邀请”

走入建筑领域,程泰宁称那是一种缘分。“对空间的想象和构建,是我从小的一个梦。”程泰宁说。

在战火纷飞的年代出生的程泰宁,2岁就跟着家人一路逃难。童年谈不上接受过系统教育,却十分爱读书,从唐诗宋词到四大名著,从哲学艺术到武侠小说,他总是沉浸在自己的一方天地……

书是寄托,又是挚友:“我常坐在家门口,看着江水、行船、流云出神,惊奇于云朵的千变万化;我还喜欢坐在厨房的方凳上,望着斑驳的墙面,从神秘形状中构想大千世界。”程泰宁说,他后来读到中国画论中用笔如“屋漏痕”的描述,就越来越对空间构建产生了浓厚的兴趣。


美芝加哥发生连环枪击案 一中国留学生身亡21-01-11 11:29:09美发生连环枪击案 一留学生身亡

芝加哥大学中国留学生中枪遇害,系北大光华本科生21-01-11 15:01:41留学生,中枪,遇害

放下行李,就地过年!全国多地已发出建议21-01-11 07:06:53多地倡导就地过年

“大头娃娃”事件暴露“消”字号护肤品安全隐患21-01-10 13:56:45大头娃娃 护肤品 安全隐患

美媒曝:遭特朗普支持者袭击致死的警官,也是特朗普支持者……21-01-12 07:49:20特朗普支持者 袭击警官

赋予建筑人文的气质(讲述·一辈子一件事)

2006年,程泰宁在浙江美术馆工地了解施工进度。资料照片

1959年,程泰宁在北京长城采风。资料照片

人物小传

程泰宁,1935年生,南京人,建筑学家,中国工程院院士、东南大学教授。毕业于原南京工学院(现东南大学)建筑系。从业以来主持设计国内外工程150余项,多项作品获得国家、省部级奖。2004年获中国建筑师最高奖“梁思成建筑奖”。

“最近看了哪些书?设计的作品进展如何?工作有什么计划?”一个平常的工作日,程泰宁院士先从淮安去南京办事,再赶回杭州开会。他忙完一上午的工作,午餐时间还不忘关心学生的学业进展。交流间,程泰宁笑声爽朗,说起时下的新鲜事物毫无代沟;谈起建筑学领域的最新情况,他总是引经据典,思维活跃。

到了耄耋之年,但程院士清瘦硬朗,才思敏捷,学生们都亲切地称呼他为“80后”。他常说,要将以前耽误的时间追回来,总有一种时不我待的紧迫感,“根本来不及变老”,因为他早将一生托付给了心爱的建筑事业。

“学建筑是一生的邀请”

走入建筑领域,程泰宁称那是一种缘分。“对空间的想象和构建,是我从小的一个梦。”程泰宁说。

在战火纷飞的年代出生的程泰宁,2岁就跟着家人一路逃难。童年谈不上接受过系统教育,却十分爱读书,从唐诗宋词到四大名著,从哲学艺术到武侠小说,他总是沉浸在自己的一方天地……

书是寄托,又是挚友:“我常坐在家门口,看着江水、行船、流云出神,惊奇于云朵的千变万化;我还喜欢坐在厨房的方凳上,望着斑驳的墙面,从神秘形状中构想大千世界。”程泰宁说,他后来读到中国画论中用笔如“屋漏痕”的描述,就越来越对空间构建产生了浓厚的兴趣。


美芝加哥发生连环枪击案 一中国留学生身亡21-01-11 11:29:09美发生连环枪击案 一留学生身亡

芝加哥大学中国留学生中枪遇害,系北大光华本科生21-01-11 15:01:41留学生,中枪,遇害

放下行李,就地过年!全国多地已发出建议21-01-11 07:06:53多地倡导就地过年

“大头娃娃”事件暴露“消”字号护肤品安全隐患21-01-10 13:56:45大头娃娃 护肤品 安全隐患

美媒曝:遭特朗普支持者袭击致死的警官,也是特朗普支持者……21-01-12 07:49:20特朗普支持者 袭击警官