浙江移动微服务监控，秒级响应10亿级用户访问

《奇点临近》一书对技术进化有这样的描述，“技术正以指数级速度扩充其能力，创新者也在寻求成倍改进的能力。”“创新是乘法而不是加法。技术将继续加速发展，并将在第五纪元完成控制自己的前进步伐。”技术如何控制自己的步伐我们不得而知，现阶段，我们看到越来越多的企业在利用新技术，不断自我进化，并服务于客户。

浙江移动7*24小时“技术流”微服务不打折

作为中国移动的重要分支，浙江移动一直以“追求客户满意”为宗旨。为了更好地服务用户，浙江移动2015年便搭建了微服务运行监控平台，只是随着新技术的发展，该平台在一些方面稍显滞后，如缺乏内部核心指标的监控、异常分类及跟踪能力不足、调用链代码对应用有侵入、缺乏实时调控管理手段等问题，平台的升级改造被提上日程。

亚信科技作为浙江移动多年的合作伙伴，对该平台优缺点有很深的了解，在接到优化需求后，项目组在原有系统基础上，基于容器技术提出了一套完整的升级改造方案，通过修改探针埋点等方式减小了上线过程对业务的影响。而升级后，浙江移动用户最直接的感受是——真正体验到了7*24小时的全天候无间断服务，而不像以前经常因为系统升级而造成业务无法办理。

该项目赢得了浙江移动的高度认可，项目负责人陈航、褚小川表示：“新平台修复了运营中的老问题，将业务影响压到最低，新增了实例运行状态监控，输出的指标数据为运维人员提供了更多监控手段，极大缩短了问题定位的时间，同时优化了调用链数据的处理流程，能在“分钟级”展现用户服务调用情况，详细体现每一笔请求的业务调用关系，降低了故障排查的复杂度。”

微服务监控平台改造：开着飞机修飞机

而此前，浙江移动“微服务运行监控平台”的不足主要体现在：

首先，缺乏内部核心指标的监控：如线程、数据库连接、GC、网络连接、CPU、内存等;

其次，调用链代码侵入： Log4x通过硬编码埋点，对应用有侵入，影响应用以及整个调用链的性能;

第三，异常分类不足：无法对业务异常进行分析、分类，异常实例跟踪能力不足，不能通过异常信息定位问题;

第四，监控支撑处理能力不足：随着接入系统越来越多，原监控系统扩展能力不足。同时，缺少实时调控管理手段，监控指标出现告警时，无法快速介入;

最后，无法展示服务依赖关系：难以理清服务间的相互依赖程度，以及某服务出现异常时造成的影响范围。

浙江移动希望借助平台升级改造来消除以上不足，但前提是不能影响业务的正常运行，其难度比得上“开着飞机修飞机”，任何改动都牵一发动全身。

亚信科技：以最小代价实现最佳改造

于是，“如何以最小代价完成全面而系统的改造”就摆在了浙江移动合作伙伴——亚信科技这一头儿，在结合实践创新的基础上，以下方案浮出水面：

1，采用无侵入式探针埋点对目标系统进行数据采集，无业务改造量，运行数据通过后期清洗、聚合计算，会形成各类统计指标，并可视化展现在监控首页;

2，用统计指标说话，通过统计接口、集群、中心的调用情况，作为扩缩容依据;通过成功和失败次数统计，了解系统健康情况，作为系统优化基础;通过耗时统计，了解系统性能，作为系统调优的基础;

3，优化调用链，可展现请求的整个调用过程，每个调用环节的延时，轻松排查分布式系统下的异常，并定位问题所在;

4，对异常进行统计、分类，便于快速定位异常，实现高效运维;

5，展示服务的正反向依赖关系，任何新需求开发上线，都可以清晰地评估其影响范围;

6，监控能力可无限扩容，在对接配置中心后，可在线扩容升级。

亚信科技薛浩表示，“我们以最小代价，完成了对分布式系统架构的全面监控，收集监控数据的耗时几乎可以忽略不计。我们通过关键节点数据的收集，分析业务健康状态，并通过获取系统日志、系统堆栈信息、GC信息、运行参数等一系列运维手段，实现故障排查和系统保障。能够秒级响应10亿级用户访问量，并能快速无感知的定制客户需要收集的数据。”

截至目前，全新微服务运行监控平台的调用链可覆盖浙江移动26个业务中心，即全省95%的业务量，所有的远程调用都纳入了监控范围。虽然成绩显而易见，但薛浩认为，“技术的更迭永无止境，正如逆水行舟不进则退，不断迭代、让技术始终保持先进性，是我们的坚定追求。”

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。