傲根泥客

4K修复重现经典字节跳动的技术与情怀

  大闹天宫、斩妖除魔的齐天大圣孙悟空;手拿火尖枪、脚踏风火轮、身绕混天绫的小哪吒;眼睛瞪得像铜铃、耳朵竖得像天线,时刻保卫森林安全的黑猫警长;各显神通、风吹雨打都不怕的葫芦兄弟……总有那么一部经典动画是你逃不过的“回忆杀”。它们跨越时光长河,承载着中国传统艺术与人文精神历久弥新。

  然而,受到拍摄条件和胶片保存、使用的过程中的损伤等因素影响,老片都会存在不同程度的画质问题,比如清晰度低、流畅度低、色彩失真、有瑕疵等,犹如明珠蒙尘,令人惋惜。今天,伴随超高清产业的蓬勃发展,慢慢的变多互联网科技公司把目光投向了4K修复,探索着让“明珠”重现光芒的方法,字节跳动就是这里面的一员。

  近日,字节跳动旗下西瓜视频联合火山引擎宣布将在未来一年内共同修复《舒克与贝塔》《西游记》等100部经典动画。截至目前,《哪吒传奇》《葫芦兄弟》《黑猫警长》等六部经典动画作品的4K修复版已在平台上线K修复究竟难在哪儿?

  “4K修复技术是采用一系列的音视频修复和增强技术,把标清或高清视频画质从物理分辨率、视频帧率、色深、色域、高动态范围等每个方面提升至超高清视频标准,同时把音频也升级为环绕声的一种技术。” AI修复视频技术专家李根介绍道。这听上去似乎不难,但背后隐藏着技术、成本、人才支持等诸多问题,要完成修复还要修复的好,其实难度非常高。

  现阶段,影片修复最重要的包含物理修复、数字修复、艺术修复三大环节。物理修复主要是对老片进行接补、清洗,是最基础的环节。重头戏是数字修复,即将老片转化为数字化视频内容,再通过种种数字技术逐帧进行视频降噪、消除抖动刮痕、提高清晰度、协调音效、还原色彩、声画合成等每个方面的处理。艺术修复是“修旧如旧”的关键,既要恢复影像原貌,又不能把旧片修成新的,不仅要有技术支撑,还要有相当程度的艺术造诣。中国电影资料馆修复师王峥表示,涉及夜戏、雨雾戏、特效戏等镜头的修复难度较高,需要更审慎修复。不过更常见的问题则是物理损伤,霉斑、油污、划痕、变形等困难经常让修复师欲哭无泪。多位修复师坦言,一部老片的修复难度、复杂度不亚于制作一部新片。尽管AI技术支撑,某些特定的程度上缓解了电影修复的难度,但现阶段,仍有大量需要人工修复的地方,需要修复师一帧一帧地去处理。尤其是艺术修复,修复师需要在充分理解影片场景的基础上,协调声音、画面、色彩、光影变化等各方面因素,最大限度还原其艺术价值,甚至有必要进行二次创作,对修复师要求极高。

  然而,难题远远不仅如此。从事8年修复工作的修复师甄珍指出,4K修复迟迟难以完全普及还要一个重要原因是成本。普通的2K修复(分辨率2048×1556)完全依靠人工修复大概在两个星期左右能完成一部影片的修复,花费大概在30万元左右;而4K修复(分辨率4096×3112)工作量是2K修复的4倍,起码在两三个月、甚至半年之久才能完成一部影片的修复,成本起码在200万元以上。

  此外,专业人才短缺也是一道不容忽视的“门槛”,中国电影资料馆收集整理部、公共事业部主任林思玮认为:“尤其是缺乏做画面精致修复与艺术修复的核心人才”。“修复是很累的活,最主要的是枯燥。”上海电影技术厂数字修复部门主管胡勍勍表示,“这行特别考验年轻人的耐心和毅力,没耐心真的做不下去。”

  受限于修复技术的难度,我国影片修复起步较晚,直至近几年慢慢的变多社会力量去参加了,才开始逐渐进入公众视野。字节跳动此次以火山引擎为技术平台、以西瓜视频为播放平台,切入4K修复市场,引发广泛关注。

  火山引擎智能处理产品经理张婉莹介绍称,火山引擎的4K修复技术在功能上支持画质全链路方案,能够覆盖检测、评分、增强、自适应转码、分发播放、运营数据回收等视频处理全部环节;其AI云端解决能力的全面性也已达到行业领先水平,目前已经集成了20余种AI云端解决能力,核心能力包括高清低码、超分辨率、智能插帧、HDR、精彩剪辑、视频DNA等。以智能超分技术为例,老片都会存在模糊、清晰度差、分辨率低的问题,一定要通过智能超分提升其清晰度以及分辨率。火山引擎会针对老片场景的模糊退化专门建模以优化清晰度,还会对内容自适应处理,根据不一样的区域分片处理,保持原有画风。在修复《葫芦兄弟》的过程中,水墨画区域需要保持朦胧感,剪纸区域则需提升清晰度,火山引擎通过智能超分技术实现了预期效果。

  与此同时,受益于抖音、西瓜视频等实战业务场景的打磨,火山引擎4K修复技术的性能指标也有不错表现。例如,智能高清低码使针对片源的压缩率可达20%至35%,可以帮助客户大大降低内容分发和存储的成本;SDR to HDR (指将“标准动态范围图像”转化“高动态范围图像”,让视频具备更高的色深、更广的动态范围和更强的色彩表现力)处于业界领先水平,在第一届全国人工智能大赛相关项目的参赛企业中综合排名最高;效果精度方面,可提供发丝级高精度处理,在MSU 2020(国际权威奖项)评选中,火山引擎多媒体实验室在17个参赛项目中全部获得评分冠军,尤其对道具、特效、游戏、动画场景有深度技术沉淀。

  此外,火山引擎视频云内部服务数十条业务线K修复技术提供了丰富的业务场景实践经验,有助于在效果与成本上把握最佳平衡点。“由于我们的视频池存量足够大,算法模型相对成熟,将机器成本、人力成本等分摊下来,单个视频处理的成本就可以降到一个相比来说较低的水平,从而形成了批量的、规模化生产能力。” 张婉莹表示。

  火山引擎自从作为字节跳动面向B端企业用户的技术输出平台公开亮相以来,备受业界瞩目。此次百部影片4K修复计划被视为火山引擎的一次“出场秀”,“秀”的不单单是其4K修复技术的水平,更是火山引擎在视频技术领域的综合实力。

  近年来,一股经典影片复映潮在全世界内兴起。戛纳、柏林、威尼斯等国际各大著名影展,纷纷增设旧片修复展映单元,国内上海国际电影节、北京国际电影节、长春电影节等也都设置了展映单元,鼓励经典老片的重现。

  从修复作品的类型来看,市面上的4K修复影片大体包含两类,一类是具有里程碑意义的经典作品,如《开国大典》《上甘岭》等;另一类是本身市场呼声高、具备商业经济价值的影片,如《美丽人生》《海上钢琴师》等。从市场反馈情况去看,4K修复3D版《哈利·波特与魔法石》在中国内地重映,助推该片成为哈利·波特系列里第二部全球票房突破10亿美元的影片。《海上钢琴师》4K修复版上映8天票房就突破了亿元大关。不难看出,观众愿意为情怀买单。这也给电影市场释放了一个信号:4K修复背后拥有一片市场蓝海。

  据张婉莹透露,此次西瓜视频与火山引擎联合启动的4K经典修复计划不仅受到用户欢迎,还收到了一些版权方修复经典老片的合作意向。“字节跳动此举一种原因是出于打磨技术的考量,为向企业用户更好的提供更高水平的视频处理技术积累经验;另一方面,也是情怀的导向,这些具有时代印记的老动画是中国动画界的结晶,修复过后的二次传播也是一种对民间传统文化的传承。”业内人士评论称。作为一家年轻的互联网科技公司,字节跳动有的不止是技术,还有情怀与温度。

  声明1、本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2、本站的个人独创的文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3、作者投稿可能会经我们编辑修改或补充;4、如本站的文章或图片存在版权,请拨打电话进行联系,我们将第一时间处理。

  当前,全国工业与信息化系统正进一步深入学习党的二十大精神,将二十大精神贯彻落实到具体举措和实际行动。为深入学习宣传贯彻党的二十大精神,中国电子报推出“深入学习贯彻党的二十大精神·工信系统在行动”专栏,通过调研采访报道各地贯彻落实党的二十大精神的具体举措、典型案例,反映各地实干担当、求真务实的精神风貌。敬请关注。

  5月8日-10日,由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办的2023世界超高清视频产业高质量发展大会在广州召开。5月9日,广州市委副书记、市长郭永航,中央广播电视总台副台长胡劲军,国家广播电视总局副局长朱咏雷,工业与信息化部总工程师赵志国,广东省委副书记、省长王伟中出席开幕式并先后致辞。