干货 | H.265技术在短视频的应用及未来前景
作者:姜生。现担任PPTV&苏宁体育编解码内核开发高级技术经理。图像编解码、高性能计算出身;从事H.264 decoder 开发与优化, H.265 编码器开发与优化。10年以上音视频媒体开发经验。目前负责H.265 encoder 架构设计与研发工作,承接苏宁集团内部的视频业务,推动视频云平台架构改进,提升服务能力。
短视频是信息的一种新的表达方式,它融合了文字、语音和视频,能够更加直观、立体地满足用户的表达,沟通需求、满足人们之间展示及分享的诉求。
最近几年,短视频,呈现井喷式的发展。直播类型的网站中,版权和带宽构成了成本的绝大部分,带宽成本仅次于版权。而对于用户原创类的短视频平台,带宽成本所占比例可能更高。可以想象,在4K乃至6K视频和5G的刺激下,带宽成本可能指数上涨。未来视频平台可能无法承担高昂的带宽成本的窘境。所以节省带宽成了一个重要的需求点。本次深度揭秘PPTV&苏宁体育提升H.265视频压缩率的技术选型和调优方法。
短视频的发展现状特点
短视频介绍
短视频的运维成本
直播类型的网站中,版权和带宽构成了成本的绝大部分,带宽成本仅次于版权。而对于用户原创类的短视频平台,带宽成本所占比例可能更高。可以想象,在4K乃至6K视频和5G的刺激下,带宽成本可能指数上涨。未来视频平台可能无法承担高昂的带宽成本的窘境。
降低成本的方式
Encoder : 目前,全网最流行的Codec还是H.264,HEVC占比逐步上升。相比于H.264,HEVC有30%以上的带宽节省。不过受困于复杂的专利授权,HEVC正在面临来自AOM联盟的挑战——AV1。Facebook的测试表明,AV1比x264压缩比提升至少30%,可以与HEVC相抗衡。但是 AV1由于复杂度过高,离实际应用还有一定的距离。
H.265 与 H.264 性能优势
码率节省与清晰度
H265 编码架构及工具介绍
H.265与 H.264 结构差异
H265 与 H264 相比编码框架差异
H.265 采用混合编解码,结构与H264基本一致,细节不同在于:
编码块划分结构:采用CU、 PU 、 TU递归结构
并行工具:增加Tile以及WPP 等并行工具,以提高速度
滤波器:在去块滤波之后增加了SAO模块
编码块划分结构:CU、 PU 、 TU递归结构:
SAO对压缩率的贡献
PPTV&苏宁体育降码率技术
算法一:序列特性分析
序列特性分析&架构图
算法一:时段特性分析
在实际的编码过程中,转码服务器通常会给每一类视频设置一个固定的码率,然而实际上,同类的视频中,每一个clip序列的视频流的细节和运动特点各不相同,在相同的清晰度条件下,所需的码率是不一样的,为了克服这个问题,PPTV&苏宁体育根据每一个视频的特点来动态分配码率,达到节省码率的目的。
实现方法:
根据pass1得到的平均QP和该档次复杂视频编码得到的QP两个参数预估视频的复杂度,然后根据视频复杂度和当前设定的目标码率,确定pass2的最终目标码率。该算法在不改变码率分配算法流程的基础上,可以有效降低视频码率。
可行性分析:
分析:不同内容,同分辨率,不同源片码率情况下的pass1得出的QP随目标比特的变化如左。从图中可以看到,不同视频内容相同源片码率相同分辨率下pass1得出的QP随目标比特的变化差异很大,且在不同源片码率下,序列的分布基本相同,并且同源片码率的情况下越复杂的视频序列pass1编码后对应的QP越大,这就验证了我们算法假设的正确性。
Bitrate-QP 曲线拟合:
视频复杂度示意图
测试最复杂3个、5个和8个视频序列。然后使用matlab对其拟合,得到最佳的模型。
其中1920x1080-3表示视频序列编码的分辨率为1920x1080,且使用25个视频序列中最复杂度的3个视频序列进行拟合的模型,其余类似。
曲线拟合效果
分析上图,高分辨率的情况下,选择3个、5个和8个最复杂度的视频序列得到复杂度曲线非常接近;低分辨率的情况下,选择3个、5个和8个最复杂度的视频序列得到复杂度曲线在3000 kbps 以下非常接近;
设定码率
现在,需要解决的就是设定目标码率为k时,视频序列 pass1 编码后得出的量化参数 如何根据最复杂的视频序列复杂度 分配合适的目标码率。一共提出了10个模型,其中下面的模型最佳:
降码率效果
未来展望
PPTV&苏宁体育事业部,将来会把图像的主观评分引入到编码器中,作为码率控制的参考因素,这样是图像质量和码率都得到良好的控制。
苏宁旗下子品牌苏宁视频云已累计服务客户超过2000个;苏宁视频云凭借PPTV 十年媒体技术和服务经验,融合流媒体技术、P2P、CDN 分发、海量存储、安全策略等构建的专注视频领域的一站式SaaS 服务平台。苏宁视频云集视频云直播、云点播、云上传、云转码、云存储、云统计等功能于一体,多平台全方位支持客户各种视频场景的业务需求。
免责声明:
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341