当前位置:首页 > 物联网 > 自学成才的90后AI修复师!给百年前老北京影像上色,“复活”民国美女火了 > 正文

自学成才的90后AI修复师!给百年前老北京影像上色,“复活”民国美女火了

导读:连接微信语音后,手机里传来一个年轻快乐的声音——“嗨,我是大谷”。就这样,我们和这位生活在纽约的90后AI修复者、独立游戏开发者、独立艺术家进行了一次海外对话。时差12小时

连接微信语音后,手机里传来一个年轻快乐的声音——“嗨,我是大谷”。就这样,我们和这位生活在纽约的90后AI修复者、独立游戏开发者、独立艺术家进行了一次海外对话。

AI人工智能网

时差12小时,北京时间上午10点,纽约市结束了喧嚣的一天,正在进入宁静的夜晚。尽管如此,电话那头大谷的声音还是很有活力,他也不吝啬分享每部作品的整个制作过程。“其实,我可以告诉你怎么做……”让人觉得他能精力充沛地聊上几个小时。

最近几个月,这位28岁的北京小伙凭借“百年前AI修复老北京”的视频“火出圈”,bilibili的217万播放量和微博热搜量依然位居第二。自5月份视频发布以来,bilibili和微博在大谷的粉丝数量日益增多,热心的粉丝在评论中蜂拥而至对他大加赞赏——“给大哥下跪”。

▲百年前北京AI恢复前后效果对比(作者-大谷)

这个留着小胡子的年轻人,在很多人眼里已经成了“宝藏男孩”。

他对这一切并不感到惊讶。“(AI修复北京视频发布前)我只是觉得有些老北京人可能会有共鸣,没想到大家都有这么大的共鸣。”他说。

在今年5月8日视频爆炸之前,他已经在bilibili发布了92个视频。我们不禁要问,“AI修老北京视频”的想法从何而来?背后有什么特别的故事?AI是如何为这个年轻的独立游戏开发者开辟新天地的,他给AI带来了什么?

记者有机会同大谷对话,并带着这些问题接触了住在纽约的北京男孩。

▲大谷(全名:胡)

首先,央视称赞了90后AI维修员

通过浏览大谷在其bilibili频道“大谷的游戏创作小屋”上发布的92个视频,可以发现,在过去的七八年里,这位北京人分享的内容大多是绘画教程和作文教程。大谷介绍,2019年底开始接触AI进行修复,“AI修复百年前的北京城”是他的第一个老修复作品。

原著电影《AI修缮老北京》是一部由加拿大人拍摄的黑白加速无声电影。有一天,大谷在浏览YouTube的时候偶然发现了人民日报上传的这段视频。

百年前视频里的人物看着镜头,大谷觉得挺感动的。“这些人一百年前确实生活在中国这片土地上,让我有穿越时空的感觉。”。所以大谷忍不住心里痒痒的,想尝试用AI技术“还原”一个更真实的北京城。经过7天左右的修复,达到了视频中的效果。

▲“AI修复百年前的北京城”视频剪辑

所谓“耳闻不如耳闻”,长袍马褂,胡同门楼……10分钟的视频展现了老北京最原始的风景,勾起了很多人的历史情怀。目前该视频在bilibili的播放量一直保持在217万的高位。

此外,大谷将视频时间线拉到正常时间流率时,更多细节浮出水面。大谷说:“比如可以看到有人躲在柱子后面偷看镜头,或者有人手里拿着什么东西,特别有意思。”

以此视频为起点,大谷完成了一系列AI还原老片,吸引了人们的喜爱。

比如大谷通过在bilibili的对接,联系央视新闻,联合提交《AI修缮百年前的北京城2.0》,聚焦老北京的民风、音乐、摊位、叫卖等街头特色。大谷还在1958年利用AI技术成功地为北京电视台(央视前身)的首播上色,被央视主持人誉为“生命之色”。

▲“AI修复百年前的北京城2.0”视频剪辑

再比如,大谷修复了一个100年前上海时装秀的视频。一些有识之士在评论中指出,视频的主角之一很可能是的同学石。

▲《百年前的上海时装秀》视频剪辑,视频主角是史

在bilibili,大谷将他的AI修复系列收录在一张名为《历史的另一面》的专辑中。每段视频都呈现了一段真实发生的历史。有人在评论中表达了自己的感受:“黑白看起来像是另一个世界,彩色看起来像是活的存在。”

大谷是如何达到这些魔法修复效果的?大谷与智迪分享了他的整个制作过程:

大谷的《AI修复百年前的北京城》视频主要使用了DAIN、DeOldify和ESRGAN三个开源项目,分别帮助他完成视频的帧填充、着色和分辨率扩展。整体框架的流程主要是指波兰AI博主丹尼斯·希尔雅耶夫(Denis Shiryaev)在社交媒体上分享的修复欧美老片的经验。

1.帧补算法-DAIN

大谷介绍说,DAIN算法的原理是获取视频的深度信息,检测物体的遮挡。然后,从相邻像素点收集上下文信息,完成分层特征学习。最后,基于上述信息生成视频帧。

2.着色算法-去着色

DeOldify基于GAN(生成对抗网络),也是DeepFake技术中常用的神经网络模型。

GAN由生成网络和判别网络组成。在学习过程中,生成网络和判别网络相互作用,生成逼真的图像,即生成网络随机给一帧图像着色,判别网络判断该图像的保真度,然后根据判别网络给出的反馈不断提高“着色”能力,最终生成具有颜色的逼真图像。

3.分辨率扩展算法——ESRGAN

ESRGAN算法也是基于GAN模型,利用生成网络和判别网络之间的博弈来实现图像的超分辨率重建。

除了AI技术的“高超”应用,我们不禁要问,给这些老电影赋予生命的大谷还有什么惊喜呢?

第二,不想做AI的游戏开发者不是好的作曲者

“用AI修复打开历史之门。”

大谷的真名是胡。他于1991年出生在北京。当他打开大谷的职业简历时,发现他开发游戏、制作动画、编辑艺术装置、参与纪录片的AI修复...有趣的是,在bilibili和微博的介绍栏里,他向“音乐人大谷·斯皮策”、“程序员中最会画画的作曲家”、“游戏开发者”自我介绍...

▲大谷作品集

提到这些定义,他笑了:“那些(介绍)是大一大二(中国人民大学艺术管理专业)写的。现在主要做游戏开发,作曲,和朋友合作。一些艺术项目。”人工智能的尝试“更多的是出于兴趣,想和你分享”。

其实大谷最早接触AI是因为游戏开发的需要。"我想看看(AI)能否为游戏开发节省时间."他说。

大谷用生动的语言介绍了用AI制作游戏的过程。“比如做一个足球游戏,传统的游戏开发是写代码,敌人接近玩家会怎么攻击,玩家会怎么移动躲避,这就需要我们写一行行代码。

但是训练足球人工智能就是我在场景里放几个角色,开始我只告诉它几个简单的左右,上下,前后动作,还有球在哪里,对手在哪里的基本信息。两队的球员一开始只会动一动,根本不知道自己要干什么。但是,当其中一个角色偶然发现进球可以得分时,得分的球员就会生而有之,输的球员就会被淘汰。

最后,球员逐渐意识到有守门员可以防止丢球,有前锋传球可以防止自己丢球。经过百万游戏的训练,会有一个特别聪明的AI对手。这个时候我以玩家的身份加入游戏,可能会发现打不过。"

就这样,大谷开始了解AI,但很快他就不满足于把AI作为开发游戏的“工具”。他说:“了解了AI之后,我发现它其实可以做更多有趣的内容,门槛也不夸张。(AI修历史片)可以为大家打开了解历史的大门。也许这些观众中有人看过这些电影。使用这5分钟后,他对历史产生了兴趣,然后进一步了解了电影背后的各种事情。我觉得这是更好的目的。”

平时大谷浏览各大新闻网站的科技版块,精选有趣的AI研究做出作品与大家分享。大谷bilibili频道最新发布的“AI涂鸦技术”,可以生成带有简笔画的人脸,也是大谷在广大新闻中认可的。

三、从“小谷”开始:培养资深编程爱好者的途径

大谷分享了一个被称为“大谷游戏”的压缩包,其中“最古老的”游戏是在2004年开发的。

《AI修复北京百年前》视频爆炸后,大谷受邀参与更专业的AI修复工作。目前大谷参与还原纪录片《他们和天地长生》等作品已经上线。同时,大谷的bilibili频道《大谷的游戏创作小屋》不仅没有断表,还保持了8月份发布7个AI研究分享视频的“高收益”状态。

▲大谷朋友圈:参与修复纪录片

对很多粉丝来说,大谷作为“AI修复菜鸟”越来越熟悉。但事实上,大谷已经是编程路上的“六先生”。而这个故事,也可以追溯到“山谷”时期。

2004年,“小姑”上小学六年级。有一天,老师宣布,有兴趣的同学可以自学Flash动画,参加一个叫“全国中小学计算机制作活动”的竞赛。当年“小姑”回家好好学习了一个暑假,学会了用Flash做小游戏,也空出了一个“方图仁”的动画形象。

这个小小的经历,为大谷未来的游戏开发和AI修复生涯铺平了道路。截至目前,“方图仁”这个形象已经被胡作为微博头像使用。从那一年开始,小姑参加了2005年到2009年的每一次“全国中小学计算机制作活动”,并参加了2010年的高考。

▲大谷和他的微博头像

此外,在初中时,“小姑”已经开发了许多寻找不同和猜测数字的小游戏。“那时候每次午休,我都会把这些游戏抄到班上的电脑上,和同学一起玩。”说到上升的地方,大谷大方的挑选了几款小游戏和智能东西分享。

聪明的东西发现,在这个名为“小谷游戏”的压缩包里,最早的游戏是在2004年9月1日开发的。那一年,胡才12岁。

▲大谷分享了几个他和智迪一起开发的小游戏

四、AI:独立游戏开发者的生活调味品

“我经常说自己‘无主’,并不是特别专业。”

高考结束后,大谷开始开发一款叫艾迪紫的游戏,比高中的“小打小闹”更“重负荷”。胡说:“(当时)我想在高中实现那些想法。(“艾迪紫”)是我走上独立游戏开发者之路的正式起点。”

▲高考后胡开始设计的游戏——《艾迪紫》

那一年是2010年,独立游戏的概念在中国甚至还没有火起来。直到2015年底,全球最大的视频游戏发行平台Steam解锁了在中国的登录和人民币购买,随后引爆了2016年作为中国“独立游戏元年”。

2014年大学毕业后,大谷来到纽约视觉艺术学院攻读计算机艺术硕士学位,进一步提升自己在游戏方面的创作能力。

后来,也尝试在一家传统游戏公司工作。2016-2017年,大谷加入了一家名为Mokuni的游戏公司,负责猫盒的背景、3D建模和关卡设计。

对于分别经历过独立游戏开发商和传统游戏开发商生活的大谷来说,前者更有吸引力。他说:“我更喜欢灵活。”离开公司后,大谷开始了自己的独立游戏开发者生涯。

大谷介绍,与众所周知的商业游戏不同,独立游戏通常是指不以商业为主要目的的游戏开发形式。换句话说,独立游戏开发者需要独自完成游戏策划、编程、美术、音乐等工作,在程序员、画家、音乐人等角色之间切换身份。独立游戏开发商大谷笑称自己“无主”。“每一项都不是特别专业,但可能是最适合玩游戏的。”他说。

同时,相对于传统游戏开发者,独立开发者在游戏中保持高度自治的同时,也承受着多重压力。

而在大谷的分享中,他对这种压力是那么的开心。“对于游戏来说,程序是它的骨架,艺术决定它的肉身,音乐创造它的氛围,游戏策划赋予它灵魂。每一步都必不可少。

开发游戏可以比做手工。我可以先做节目,音乐,美术。我掌握了一套工作习惯,一直对推动游戏前进很感兴趣。比如我做美术遇到瓶颈,就转音乐,等音乐差不多了再做节目。这样就要对每一项任务保持一定的热情。"

AI修复工作是大谷保持创作热情的一种调整。像自主开发游戏一样,大谷的AI作品都是自主制作的。

目前,大谷自主研发的艾迪紫和漫画模拟器已经在Steam平台上线。在人工智能中,大谷的最新视频分享了一种“人工智能涂鸦技术”,它可以用棍子图形生成人脸。

▲《AI涂鸦技术》视频剪辑

他还说,用AI模仿口型,用AI还原失落的舞蹈,用AI从2D照片中提取3D人物都在他的计划之中。他说:“能不能实现很难说,但是我有很多想法,我会一直这么做。”

另外大谷说,如果遇到修纪录片和老视频的工作机会,他愿意多尝试。

5.大谷:分享是AI问题的解药

年轻的独立游戏开发者和艺术家大谷正在进一步突破自己的界限,这对于尝试过游戏开发、动画配乐、艺术项目创作的他来说并不稀奇。

就像我问“不断接触和掌握新的AI技能会不会带来压力”这个问题时,他在声音的另一端毫不犹豫地回答:“不会,我做的就是我感兴趣的全部。”

从结果来看,人工智能正从一种出于兴趣的尝试转变为他生活中越来越重要的一部分。从大谷bilibili频道分享的视频内容来看,AI相关内容从今年开始占据越来越大的权重。

除了修复旧电影的应用之外,人工智能技术在世界各地仍然面临着许多挑战。DeepFake带来的隐私和安全问题,假新闻问题,AI训练数据库的种族歧视问题...都与普通用户的神经有关。

大谷作为AI应用玩家,认为AI不仅带来隐患,还提供“解决方案”。他说:“现在既有DeepFake变脸技术,也有可以识别人脸变化的人工智能;还有一些反谣言的人工智能,可以判断言论的煽动性和倾向性指标,所以我个人看好AI技术。”

此外,大谷认为数据库倾向问题需要通过“全球知识共享和信息共享”来解决。“不仅欧美的数据库偏向白人,香港的一所大学还培训了一个在线名人评价人工智能来判断哪些Instagram照片会火。结果模型识别出所有容易着火的照片都是亚洲人的照片,所以解决这个问题的关键是让数据集和来自世界各地的朋友一起通用。”。

继续分享有趣的AI研究也是大谷的目标。他说:“我的AI作品以后会在微博和bilibili上发布。”

结论:人工智能正从想象中闪入现实

目前大谷在AI方面的尝试日益深入。在今年9月11日举行的腾讯全球数字生态大会上,大谷也作为嘉宾出席,分享了自己使用AI制作数字内容的经验。

在我和大谷几个小时的交流中,最让我惊讶的是,他强调AI技术应用的门槛并没有被夸大。

这位28岁的北京小伙的经历告诉我们,也许在那些我们没有意识到的时刻,人工智能正以其不同于传统互联网的创造力逐渐进入并改变着我们的生活。或许除了大谷之外,还会有更多利用AI技术实现人生价值的尝试。

同时期待下一次,大谷带给我们更多的惊喜。


推荐阅读:

      自学成才的90后AI修复师!给百年前老北京影像上色,“复活”民国美女火了

最新动态