新闻资讯

了解金山云最新资讯

新闻资讯 > 聚焦 | 今年,金山云不一样的除夕夜
聚焦 | 今年,金山云不一样的除夕夜

2021-03-10 00:00:00

“关键时刻来了!”


接近零点,北京小米科技园金山E栋9楼的工作区忽然变得无比安静,大家目光不约而同地看向了前方的倒计时。


除夕之夜,本该阖家团圆,但金山云的工程师们却要面临一场艰巨的战役。


在2021年金山云春晚项目保障中心的现场,一群人屏气凝神,浓重的“熊猫眼”紧盯着电脑屏幕上陡峭上升的曲线,准备迎来今晚最后一轮流量洪峰。


“精心准备了半年,最后时刻千万不能掉链子!”大家虽然都面露疲惫,但依然不忘给彼此打气。


此时,已是这支数十人组成的重保团队“连续作战”的第6个月


“一个前所未有的挑战”


时间拨回到去年9月,金山云视频云团队再次接到央视春晚的重保邀请。一开始,金山云副总裁鲍宇昕并未觉得意外。“我们和春晚是老朋友了,过去三年金山云一直都在为春晚直播提供服务,表现有目共睹。”


但这次,央视方面提出了很多全新的需求。


原来,由于疫情影响,2021央视春晚将首次采用“云”传播、“云”互动形式,将现场观众互动和“云观众”融入现场。此外,还首次引入AI+VR裸眼3D形式。而这些,无疑对厂商技术有着更高的要求。


接到需求的研发团队开始火速集结,商讨应对策略。有位同事的工位距离会议室比较远,当他急忙赶到的时候,惊讶地发现里面挤满了人:过去几年参与过直播重保的骨干成员几乎全部到场。


当大家得知这次春晚的需求后,会议室陷入了短暂的安静。由于是史上首次采用“云”传播、“云”互动形式,除了可预见的观看人数,除夕还有不可预见的峰值流量会瞬间涌入,一旦没扛住,后果不堪设想。


在没有先例的情况下,金山云要克服的困难不少,没有人敢当场打包票。


陈海彪率先打破了沉默:“总要有人吃螃蟹,为什么不能是我们?”


陈海彪是春晚重保的老将了,金山云第一次参与春晚项目时,他就是成员之一。三年来,每个除夕夜,他都是在公司和重保团队一起度过。


对于今年春晚的需求难度,或许他心里比在场大多数人都要更清楚。


但是,“敢为人先”正是金山云技术团队的底色。


他的话音刚落,原本寂静的会议室瞬间热闹起来,大家纷纷献计献策,并主动报名要求加入春晚项目。


兵贵神速,经过快速讨论,金山云立马成立了50多人的精英团队,横跨产品、研发、运营等,重点突破技术壁垒。


这场“春晚保卫战”,就此打响第一枪。


“技术是定心丸”


兵马未动,粮草先行。


项目筹备开始后,运维团队就率先对直播所需带宽进行了详细全面地评估,提前为春晚协调资源,前后动员了200余人提供支持。在极短时间内,调动了大量云服务器、CDN带宽、COS存储以及EBS存储等资源,这种资源储备能力在国内厂商位居前列。


筹集完“粮草”,接力棒正式交到了重保团队手中,不过责任感和压力也随之而来。



此时虽然距离春晚还有几个月时间,团队可以进行充分的准备。但是面对“万无一失”的目标,每个成员都不敢掉以轻心。


因为几个月时间看起来“从容不迫”,但其实提前准备的内容并没有外界想象中那么简单。


毕竟,即便年轻一代再怎么吐槽不看春晚,这仍然是除夕夜难以避开的,堪比“年夜饭”的传统。


近5个小时直播时长,全球10亿+级别的流量涌入,这对架构和技术的稳定性考验极高。


金山云的直播重保一直以“稳”著称,为了保证直播不出差池,事先的压力测试就显得至关重要。


得益于金山云非常成熟的压测工具集和流程规范,阿彬带领的测试团队虽然担子很重,但各项工作推进有条不紊。


按照春晚方面的业务需求,测试团队迅速抽象出相应的测试用例和性能指标。为了保证直播的稳定流畅,阿彬在内部发起了多次压力测试。1月15日至2月1日,每天凌晨,金山云通过模拟海量用户访问,从业务最低峰期到最高峰期的多轮测试来确保系统的能力,不断发现潜在风险问题,并针对性优化。


但是大家心里明白:对于春晚直播,这还远远不够。


根据历年春晚数据分析,在晚上8点晚会开始后的每个整点时刻,都会进入流量的高峰时段,同时伴随抢红包等活动会导致的用户访问高潮。这是最为考验稳定性的时候,访问量过大会引起局部过载的问题,导致信号无法稳定传输。


在例行周会上,团队里的年轻人透露出自己的担忧。但作为春晚项目的掌舵人,金山云CDN及视频云产品中心总经理宗劼显得气定神闲,亮出了两张“技术牌”:智能调度系统+多流择优。


这是金山云团队自主研发的“杀手锏”,在业界也属首创,能够扛住千万级别高并发、高QPS的数据流量访问,确保直播信号在CDN内部稳定传输。


伴随着春晚脚步的临近,技术难题正在逐一被解决。


“TOP级的重点保障”


2021年1月1日,新年第一天。


虽然正值元旦假期,但是对于春晚重保团队来说,真正的挑战才刚刚开始。随着疫情形势的再度紧张,各地号召群众就地过年,因此对于春晚带宽的压力势必也将激增。


一大早,工程师们陆陆续续来到办公区。在最后冲刺的一个多月里,他们将把这里当做自己的第二个家。“毫无疑问,春晚项目就是TOP级重点保障”。


金山云在视频云领域多年累积的能力,成为护航春晚直播的技术基础。


比如,AI+VR裸眼3D技术正在被各大直播活动所采用,因为它可以突破传统舞台空间呈现形态,新颖炫酷、科技感更足。


但是如何提供良好的三维立体观看体验,成为了行业内必须面对的现实问题。


早在去年,金山云就已经支持8K与VR的配合,360度高清视频传输渲染,提供端到端一体化的完整VR点/直播解决方案。此外,金山云VR FOV技术将视角切换延迟控制在30-60毫秒,有效消除晕动。同时借助AI能力,可让数亿观众体会身临其境的三维立体观看体验。

再比如,编解码技术是视频云的核心之一。


目前,金山云广泛支持H264/265、AVS2、AV1等主流编码方式,并提供基于此的视频转码服务,同时拥有集智高清、KIE等多组产品。


“不积跬步无以至千里,我们在视频领域的研发动作一直很超前。”宗劼总结说。



2021年2月11日晚8点,春晚直播正式开始。


前几波流量峰值与事先计划的一样,均未超出大家的预料。


负责运维的大华如释重负,准备起身去倒杯咖啡提提神。这时他突然发现春晚直播的一路流出现回源连接数超限的隐患。


经验丰富的大华立马意识到:这是某股不可预见的流量突然涌入,可能即将出现网络异常!但是由于客户采用了非标准配置,修复回源连接数配置需要手动下发配置。


大华当机立断向上请示,在得到客户授权之后,他火速下令:“给客户下发配置,”过了一秒他补充说,“严格按照流程!”


运维同学们仿佛是下意识地在进行操作:配置修改、测试、灰度、上线。在四个步骤严格执行的前提下,仅耗时20分钟就将配置变更完毕,保证了良好的直播体验。


看着监测器上的数据恢复正常,大家都长舒了一口气。“事先演练太多次,这几乎已经形成了肌肉记忆。”大华事后回忆说。



零点即将到来,这是最后一波流量高峰。


几十位工程师紧盯着大屏上的各个指数。最终,QPS和PCU峰值达到了某一个数值,但金山云稳稳扛住了压力,就像之前经历的无数次压测一样,顺利,且平静。


当春晚按时播放,当年夜饭上桌,当烟花绽放,沉浸在团聚喜悦中的你或许不会知道,有这样一群人依然在坚守岗位,保证互联网世界的有序运作。


随风潜入夜,润物细无声。