金山云再出重磅服务:“AI画质+”震撼亮相GITC

发布时间:2017-11-27

金山云再出重磅服务:“AI画质+”震撼亮相GITC

 

近日,GITC2017全球互联网技术大会在北京国家会议中心举办。本次大会以“大象无形”为主题,来自全球的160余位演讲嘉宾,从大数据应用、人工智能、IOT、互联网金融等多维度多领域,全面解析人工智能时代的技术风口和最佳实践。

 

金山云作为国内前三的云计算厂商,在此次大会上推出基于深度学习的图像/视频画质增强服务——金山云AI画质+。它包括视频超分辨率技术和修复技术,利用深度学习,消除目前各类视频中最常见的马赛克、毛刺、重影等问题,最大程度上提升画质的同时,节省带宽和码率,可帮助视频运营商大幅节约成本,改善用户的观看体验。在GITC2017大会举办期间,“金山云AI画质+”的展示吸引了大量参会者了解观看。可以想见,这项由金山云率先推出,能够改变视频行业未来发展的技术,将快速在各种移动终端上普及。

 

金山视频云在GITC2017大会期间展示的“AI画质+”技术吸引了大量观众

 

超分辨率技术大幅缓解视频运营商成本压力

 

对于互联网图像和视频运营者来说,目前的最大痛点,莫过于随着互联网与多媒体技术的发展,网上的图像和视频越来越多,与此同时,存储与传输这些图像和视频的成本也就越来越高。

 

为此,金山云提出了视频超分辨率技术,可为视频提供商和用户大幅节省存贮成本与传输带宽,大大缓解上述问题带来的成本压力。这种技术能够将高清视频缩放成低分辨率视频进行传输,在接收端将低分辨率视频还原成高清视频,整个过程完全不会影响到用户的视觉体验。金山视频云在移动端实现了这一技术,在实时处理的同时取得了非常好的效果。

金山视频云超分辨率技术与双线性插值效果对比

 

上面两张图分别表示利用双线性插值和金山视频云超分技术将180P的视频帧放大4倍的结果图,可以看出下图更加清晰,文字区域更是明显。能够呈现这样的效果在于算法的精心设计与反复调优,良好的测试结果也进一步验证了算法的有效性,金山视频云将实时的算法模型在MCL-V数据集上进行测试,利用vmaf指标计算同双线性插值算法之间的BD-rate,测试后发现,算法可以在节省50%以上带宽的基础上,获得和双线性插值相同的效果。而且,算法具有很强的自适应性,可根据初始视频的分辨率选择合适的放大倍数,还能够自动判断视频类型选择最佳模型。通过测试发现,网络上各种格式的视频采用这种做法,都能呈现出很好的效果。

 

由此可见,超分辨率技术可将低分辨率视频实时重建成高分辨率视频,尽可能还原细节。总体而言,这项技术具备三项优势:第一,有效压缩图像视频大小,减少带宽和存储空间;第二,完成移动端的实时处理;第三,可根据需求,针对不同类型视频,采用专门或普适性模型处理。

 

将每个视频秒变“大片”的修复技术

 

我们再来看另一项技术。想必视频从业者都遇到过由于各种原因导致的画质损伤:比如主播硬件设施较差,在游戏中无法展现更清晰的画质,边游戏边直播更是无从谈起;比如在户外等场景下直播时的网络环境欠佳;比如出于节省成本,平台将码率设置较低,导致在运动时、尤其是在激烈运动时,画质损伤严重;比如视频拍摄时间久远等等。除了这些因素以外,通过压缩改变视频码率降低数据传输量也会影响画质。这种做法虽然可以节省成本,但压缩也会带来视频马赛克、毛刺、振铃等。

 

对于这些问题,金山视频云的视频修复算法提出了解决办法。这种算法具有这些特点:第一,节省带宽;第二,可应对各种突发情况导致的画质损伤;第三,与编解码器完全解耦,适应性广。基于此,视频修复算法可将视频中的马赛克、毛刺、重影、噪点等实时修复为较好的画质,提升用户的视频体验。

经过视频编解码后的两帧视频图像

使用金山视频云修复模型后的图像效果

 

经过视频编解码后的两帧视频图像,带有明显的马赛克和毛刺,在使用金山视频云的修复模型后,楼梯之间的毛刺和马赛克得到了很好的处理,并且保留了原始的纹理信息。与超分模型一样,修复模型同样可在移动端实时处理,并且会自适应不同分辨率与不用类型的视频。

 

视频行业的新未来

 

金山视频云的超分辨率和修复算法均基于深度学习技术。通过获取高清视频数据和模拟低码率视频,针对超分辨率和修复两种功能,为不同分辨率、不同类型的视频训练出了不同的模型及模型参数。当用户观看低码率视频时,算法会实时输出高清晰视频。

 

实现这一效果的技术原理是,算法会首先分析输入视频的分辨率与画质,判断适合做超分还是修复,然后判断视频类型,比如是否属于游戏视频等等,再根据判断结果选择最优模型,最后输出高分辨率或修复视频。当然,也可以手动选择超分辨率还是修复。

 

随着苹果、谷歌(已推出统一神经网络接口)、高通等巨头在AI芯片领域的发力,金山云基于深度学习的视频超分辨率和视频修复技术,将会快速在各种移动终端上普及。随着手持设备屏幕尺寸的不断增加,以及家庭影院的普及,金山视频云未来将把4K视频超分辨率恢复列入研究范围,让720P甚至540P的视频通过超分辨率技术,获得4K视频的观看体验。

客服热线:400-028-9900