超过500人的团队,集中在一个大会议室里,1000多只眼睛紧紧地盯着每一块屏幕,准备迎接马上要到来的这一年一度的“过山车”。
双十一过去之后,当大家都在忙着收快递的时候,黄立龙却还在忙着对这次双十一的技术保障进行复盘。
这是黄立龙在苏宁参与保障的第8个双十一,在回忆这次技术保障的时候他说,每一次双十一都是全新的,去年已经发生过的问题在今年不会再次出现。
在复盘的时候,黄立龙很兴奋的展示了当天的战绩:监控研发中心所有核心监控系统无降级、无限流、零事故,0点时刻服务器收到的请求峰值达到50万次/秒;安全研发中心应用防火墙产品线处理请求超过130亿次,拦截攻击超过4亿次;人机识别服务有效拦截恶意刷单超过450万次,拦截机器领券超过70万次,有效阻止了黄牛作弊、薅羊毛、撞库、垃圾注册等行为;风控撞库服务拦截超过20万次撞库行为,阻止了超过1万个正常账号被盗……
今年是双十一十周年,作为中国最大的购物狂欢节,其参与人群已经不仅仅限于国内,海外的消费者、品牌商也都逐渐的加入到了这次狂欢当中,毕竟“打折”这个词是没有国界的。而黄立龙们带着苏宁的技术要迎接的就是来自全球的2亿消费者。
倒计时1个月
为了保障各个团队之间的协同稳定,苏宁内部技术团队每年双十一都会提前一个月组建临时的保障团队,从豆芽(苏宁内部自研社交软件)群的名字就能看出来:XX公司/中心2018双十一保障群、大促保障监控群、大促保障专家群,疑难问题层层上报,三道关卡建立起了苏宁双十一技术保障的三道壁垒。
为了迎接这次全球范围内的购物狂欢,黄立龙和同事们早在一个月前就开始准备。
像黄立龙所在的数据云公司一样,负责各个板块的业务中心拿到今年的流量预估数据后要从苏宁自研的超过4000个系统中找出最核心的188个系统在凌晨不影响用户体验的情况下进行六轮混合场景压测,发现问题,进行优化。
作为苏宁的团队进行六轮混合场景压测的主要发生平台,苏宁自主研发的综合测试服务平台蛙测平台能够针对移动端和PC端浏览器进行兼容性测试,能够为应用研发过程中面临的成本、技术和效率问题提供解决方案,为业务的快速迭代提供支撑。今年的压测平台在双十一的发压能力相对于818提升了10倍,平台表现稳定。
第一步,走稳了。
与其他电商不同的是,11日前几天的苏宁几次大促力度毫不亚于双十一,而这些活动就成为了苏宁双十一技术保障团队的练兵场。
10月31日,各中心的技术保障团队首次集中在作战指挥中心,开始了第一次集中监控,临近双十一的流量和双十一的真实流量情况更接近,更能帮助发现系统存在的问题,那一晚,黄立龙和同事们开始了第一个不眠夜。
结束后,7天的分散监控让黄立龙们有时间总结这次的问题,并制定相应的解决方案,系统扩容,非核心系统降级……7天后,11月8日,第二次预热大促,已经升级的保障措施再次接受考验。这次没有也不能再出现大问题,毕竟两天后就是真正的大考。
倒计时1天
11月10日早上8点,黄立龙和同事们穿着红色的战袍进入到了苏宁双十一技术后台保障作战指挥中心。从进入会议室一直到双十一“最危险”的时刻过去,除了上厕所,他们会一直待在这间会议室里面。
这件能够容纳500人的会议室每次大促都会变身为作战指挥中心,会议室的入口处上方挂着大大的“战”字旗,前排会议桌上面贴满了“赢战双十一购物节”、“上网上街上苏宁”等标语,大屏幕已经准备就绪,各项监控数据已经完成投屏。系统后台已经配置好的资源、制定好的解决方案全部锁定不允许再做任何更改。紧张的气氛弥漫整个会场。
黄立龙在回忆的时候说:双十一对我们来说是一次技术大考,又紧张又兴奋,毕竟一年只有一次,我们做了充足的准备。
除了这些程序员,在苏宁,超过4000个自研系统也已准备好为用户的消费保驾护航,基础设施技术方面巡检视图技术、流量分析技术、同城与异地多活等技术保证系统更稳定,大数据平台的百川、天工、纵横、SSA等运营工具实现想用户所想,一键付、智能风控、支付决策机器人等智能化的支付产品,让用户的钱包能够在系统最忙碌的时候依然安全,智能路由时效、智能仓库包装、智慧零售仓等物流智能化产品则已经铆足了劲,只等消费者的订单一到,就带着货物以百米冲刺的速度奔向消费者。
苏宁的团队蓄势待发。
倒计时1小时
10日晚上8点到11点,苏宁的线上购物流量会慢慢上升,像是暴风雨来临前的黑夜在积聚力量,等待着某一瞬的爆发。
叮当!桌面上的几部手机同时亮起。豆芽群发了通知:“双十一倒计时一小时,请大家做好准备。”此时的会场,所有人的注意力都放在了屏幕上,会员、商品、物流、订单量各个板块各项指标稳定。
作为作战指挥中心的数据云公司的总指挥助手,黄立龙的感觉比其他人都要强烈。他的注意力不仅要放在自己眼前的屏幕上,更要协助总指挥协调现场的资源,会场各个板块的整体状况他都要有所知晓。
叮当!“双十一倒计时十五分钟,请大家做好准备。”最后一次通知发出来了,但是很少再有人去看豆芽群,会场也只能再听到敲键盘的声音,所有的注意力都已经被屏幕上逐渐增高的数据和上升的曲线夺走。
先于黄立龙们一步,苏宁的系统后台已经感受到了暴风雨前的小雨滴。商品详情页、购物车等后台系统的曲线开始出现波动。
这个时候黄立龙的心跳已经开始加速,所有的准备已经就绪,等待着流量涌入,系统响应,等待双十一的到来。
双十一来了
4秒破亿,50秒破十亿。随着表盘中的数字从23:59:59跳到了00:00:00,大屏幕上的核心端口访问量曲线像过山车一样瞬间飙升,会员、商品、流量、订单、物流等各个业务板块的监控数字也开始飞速跳动。黄立龙的眼睛盯着屏幕观察着各个指标,不敢有丝毫恍惚。
而此时在屏幕上的曲线之外,苏宁的技术也开始迅速响应。苏宁智能客服小Biu智能助手解决的用户咨询量迅速增加,千变banner依然在按照用户的喜好和产品的特点一键生成着海报,物流仓库的AGV机器人也已经收到了这一晚的第一单,开始飞速运转,准备投递。
黄立龙说,这是最紧张的时刻,过了0点,服务器访问量瞬间上升,和上一秒的订单量形成巨大的反差,他的心跟着屏幕上跃升的曲线提到了嗓子眼。这样的“过山车”是最考验服务器的承载能力的,如果没能承受住,用户端就会出现异常,大量的用户就会在修复BUG的那一点点时间迅速流失掉。
双十一的首个流量顶峰会在零点后的前半个小时,扛过去了,就开启了这一天的良好开端。不仅对于黄立龙,对于整个苏宁来说,这半个小时都尤其紧张,超过4000个自主研发系统,十万多种服务,领先行业所建设的交易、数据、AI三大中台,到底是硬实力还是噱头,半个小时内见分晓。
慢慢的,各个系统平台的访问量开始渐趋平稳,响应时间一直在高速范围内,错误率维持在最低水平。
过了首个顶峰,流量曲线开始出现上下波动,虽然之后还会有数次高峰,甚至超过第一次峰值,但是“过山车”不会再有了,双十一技术保障基本可以定下心来。
从早上8点到凌晨3点,黄立龙的神经已经紧绷了19个小时。这个时间不算长。前期的准备没有白做,剩下的事情只需要让系统自动运行,监控交给各中心的同事轮流来做就好。
这个时候,智能客服还在解答消费者的疑问,千变banner已经生成了无数张海报,AGV机器人也已经打包好了几十万个包裹,超过20万个包裹已经在凌晨一点前送到了消费者手中……
“虽然我们的技术在不断增强,但是每一次双十一都是一次全新的双十一,你不知道下一次会出现什么样的问题,用户在变化,我们也不能松懈。在用户体验这件事上不能有丝毫马虎”,黄立龙表示。
28年来一直处于零售消费领域前沿的苏宁打造出了全渠道、全场景、多业态的智慧零售生态圈,将其智慧零售的核心能力在今年双十一上全面释放。
像黄立龙这样的苏宁上万名程序员,在全球5个研发基地、10大核心数据中心、超过4000个系统的技术保驾护航下,截至2018年11月11日23点59分,双十一全民嘉年华期间,苏宁易购全渠道销售实现了同比132%的增长。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。