泛在电力物联网即将落地，如何应对数据处理难题？

原标题：泛在电力物联网即将落地，如何应对数据处理难题？

今年能源行业有个热词是“泛在电力物联网”，这是国家电网公司推进“三型两网”建设的重要内容和关键环节。按照规划，到2021年初步建成泛在电力物联网，基本实现业务协同和数据贯通；到2024年，全面实现业务协同、数据贯通和统一物联管理，形成共建共治共享的能源互联网生态圈。

当前，业内纷纷开展对泛在电力物联网的研究和部署工作。百度智能云结合边缘计算、物联网、时序数据的技术特性，对泛在电力物联网的数据利用提出了一些看法，供业内参考。

泛在电力物联网是什么？

按照业内通用解释，泛在电力物联网是指围绕电力系统各环节，充分应用移动互联、人工智能等现代信息技术、先进通信技术，实现电力系统各环节万物互联、人机交互，具有状态全面感知、信息高效处理、应用便捷灵活特征的智慧服务系统，包含感知层、网络层、平台层、应用层四层结构。

泛在电力物联网的出现，不仅是技术的变革，更是管理思维的提升和管理理念的创新。泛在电力物联网将电力用户及其设备、电网企业及其设备、发电企业及其设备、供应商及其设备、以及人和物连接起来，产生共享数据，为用户、电网、供应商和其他社会机构提供服务。

一、如何通过专门的时序数据处理体系应对激增的数据量？

未来泛在物联网应用之后，数据量会激增，需要更专业的基础数据组件来处理。

以智能电表为例，通常商业用电都采集96点数据：即每天采集96次数据，也就是15分钟发送一条记录到云端。以全国智能电表6亿台来计算，一天产生的数据条数就会高达576亿条。

以Hadoop体系为代表的互联网大数据解决方案，主要处理的是互联网领域的非结构化数据，比如微博数据、搜索记录、新闻热点、爬虫数据等，不足以完全应对泛在物联网的数据特点。

泛在物联网的数据与传统大数据有如下区别：

▷ 时间序列特征明显，数据只有时间戳和数值在变化。

▷ 数据量大，上报频率高，并且维度多。

▷ 写多读少，90%以上是写场景，10%是读场景。

▷ 读写正交，同一个时间点写入多个维度数据，但通常会跨时间范围来读取同一个维度。

▷ 聚合分析，大量数据的聚合值更有意义。

针对泛在物联网数据的这些特点，对系统提出了更高的要求：

▷ 数据要压缩存储以节省成本。

▷ 高效的写入性能，且可横向扩展。

▷ 极高的查询性能，查询一段历史数据的聚合值要能秒级返回。

▷ 开放融合，与大数据平台生态融合以及标准SQL接口，方便集成各种大数据应用。

通过对泛在电力物联网时序数据的高性能存储和处理，让泛在物联的数据高效处理成为可能，为数据的有效利用打下基础。

二、时序数据治理如何与传统数据治理融合？

在泛在物联网的背景下，大量时序数据的产生为传统数据治理也带来了新的思路。时序数据往往数据量大、价值分散，要充分利用时序数据的特点和优势，来支撑企业整体的数据治理框架。

时间序列数据大部分通过设备采集传输而得到。因为传感器设备及网络等原因，在采集、 传输等各个环节都可能会出现问题，导致数据质量难以保证，加大了数据治理的难度。时间序列数据ETL有异常检测、数据填充、数据质量判断几个方面，和传统数据相比多了时间维度。

举三个典型的时序数据处理形式：

▷ 异常检测就是检测时间序列数据中的异常数据。例如，在几秒范围内，温度传感器不会报告差异很大的温度读数，不会显示出温度的剧烈变化。

▷ 数据填充是对异常值和缺失值根据周期、趋势等进行填充。

▷ 数据质量判断是对上传时间序列数据进行质量判断。数据质量过差时，可以及时让数据上传方修改问题（如更换传感器）。

通过对时序数据的治理和处理，给模型应用开发提供了条件，结合云端应用模型开发和物联网的边缘计算，将释放物联网的强大力量。

三、边缘计算释放数据价值

以上两点对数据的处理只是基础。随着边缘计算的发展，云端的模型应用已经具备在边缘端运行的条件。设备上报数据到云端处理的传统物联网结构也正在慢慢向“边云融合”的架构融合发展。

为什么边缘计算会在物联网的场景下发挥这么重要的价值呢，对于应用开发者来说，端上开发有以下几个难点：

1、端上的环境非常复杂，端上适配难。主要的通信芯片厂家有40多家，主要的控制芯片厂家有20多家，就算是最近刚兴起的AI芯片主要厂家也已经有10多家，与芯片适配的片上系统也非常复杂，所以端上适配模型就变得很困难。

2、管理海量设备和应用分发难。边缘计算的场景，不仅仅是设备管理和上传数据，大量的应用都是在云端完成训练和开发，需要同时分发到各个边缘侧，那就要有一个稳定的分发体系来保障。

通过“边”和“云”的协同，实现了“数据上行、知识下行”，实现更有层次的企业IT架构，特点如下。

► “云上分发，边缘执行”。边缘计算的云上实现应用开发，通过端云一体框架将应用分发到边缘执行。边缘计算已经成为物联网云平台的一部分，通过边缘计算，可以降低远传延迟、减少传输流量，并且可以允许数据临时离线，实现数据私有化。

► “云上管理，海量边缘”。在云端基于物联网来进行海量边缘设备的管理，并且可以进行应用配置、应用分发和更新、应用运行监控等。

► “边云协同，数据闭环”。物联网设备的数据上传到云上以后，云上基于海量数据实现应用开发，通过多级应用分发将应用分发到本地运行；本地的应用运行监控又可以将数据传到云端，对应用进行自动调优，调优后的模型又可以自动分发到本地。完成数据与应用的闭环。

举个例子，面向电网巡检视频分析场景，通过智能边缘，将机器视觉模型放置在无人机上，可以识别杆塔是否需要维护，通过端云一体，可以将可用样本回传到云端进行模型优化，并且远程升级优化。既降低了视频的远传带宽成本，也减少了人工作业，保障工作人员安全。

小结：迎接开局之年

2019年是泛在电力物联网建设“三年攻坚”战略突破期的开局之年，我们相信随着泛在物联网的应用建设的不断加快，基于时序数据+边缘计算的技术将渗透到电力用户、电网企业、发电企业的各类应用中，为全行业和更多市场主体创造更大的机遇。

百度智能云也将推进解决方案的落地，与业内共建生态圈，助力泛在电力物联网的建设。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。