数据处理的实时性难题终于被破解了,如何做到的?

原标题:数据处理的实时性难题终于被破解了,如何做到的?

大数据时代,业务数据沉淀和数据计算已经渗透到各行各业并创造着新的业务价值,百度智能云此次发布的实时流计算云服务就是在这一大环境下而诞生的。

在介绍这款云服务之前,先来了解一下什么是实时流计算?随后,我们会重点介绍百度智能云发布的产品特性和应用场景,助力企业用好实时流计算。

实时流计算的核心在“实时”

传统的数据处理流程已经为大众所熟知,就是先收集数据并将其存入数据库中,在需要的时候进行数据查询,得到数据结果。这样的流程看起来非常合理,但是数据处理的时效性不高。在实际业务场景中,这种处理方式的结果是,很多数据的价值会随着时间的流逝而逐渐消失。因此,大数据计算平台需要尽可能的提升计算的时效性,获取数据的最大价值。

传统的离线处理流程如MapReduce等并不能很好地解决时效性问题,这就引出了实时流计算的数据计算结构。实时流计算能够对海量流式数据进行实时分析、输出结果,整个过程仅间隔了一秒甚至是亚秒。

实时流计算在实际业务数据处理上的价值不可小觑,给企业带来的便利也是显而易见。为了应对这种趋势,百度智能云发布了一款用于云端流式数据实时处理的Serverless云服务:百度智能云流式计算BSC产品(以下简称“BSC”)能帮助企业轻松接入存储在多款百度智能云存储服务(比如百度消息服务)的海量数据,免去企业对基础设施的运维和升级等一系列的基础工作。

提供全生命周期服务

从下图可以看出,BSC打通并 融合多款百度智能云的云存储服务作为上下游,只需简单配置就可轻松接入。

除了上面说的打通多款云服务之外,BSC产品还具备以下几个特点:

► 完全托管式服务

BSC为企业提供Serverless服务。企业在使用BSC进行流式数据处理时,无需创建集群,避免了繁重的底层基础设施日常运维工作;企业甚至不用预先分配计算资源。

► 简单易用

相比传统的Spark作业,BSC提供零代码的作业创建方式,让用户通过SQL语句实现复杂业务逻辑的数据处理;并且BSC提供具有多种辅助功能的SQL在线编辑器,大大降低使用门槛,提高易用性,提升效率。

► 按需服务

BSC会根据企业业务数据量的变动,为流式处理作业设定相应的计算资源,不仅确保了业务数据得到及时处理,而且避免了资源浪费。

典型应用场景

1、物设备监控

在物联网行业,物设备上的传感器会定时上报数据,BSC可以对上报的数据进行实时计算分析,筛选出超出正常范围的数据,并及时输出然后触发报警。从而做到实时监控侦测设备故障,及时避免潜在业务风险的发生。

2、金融风控

金融风控是另一种典型的实时计算应用场景。对风险敏感度要求较高的金融业务来说,仅通过数据可视化来统计业务数据,进行业务数据运营是不够的。针对金融欺诈等风控业务,BSC可以发挥巨大作用。通过实时分析海量的用户行为数据流,并结合一些风险模型的匹配规则,BSC可以帮助客户及时发现异常事件、判断风险等级,从而作出相应的风险控制措施,如自动化地去报警通知来避免损失。

3、个性化推荐

通常情况下,互联网用户对资讯、音乐、购物等的诉求是千人千面的,并且这种诉求具有一定的时效性。以购物为例,当消费者买到自己满意的商品后,就不再需要其他同类商品。为了能够实时感知消费者的需求变化,需要根据他们的浏览行为数据进行实时计算分析。应用BSC产品后,企业可以做到实时更新消费者的喜爱偏好,不断发现用户新的喜好点,及时进行个性化推荐。

除了上述经典业务场景,BSC还可以广泛的应用于更多高时效性要求的场景。

欢迎测试

百度智能云流式计算BSC产品免费公测现已火热开启。同时,BSC技术团队也在马不停蹄地对产品进行持续迭代,为大家提供性能更加卓越、功能更加强大易用的实时流计算云服务。


企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2019-05-10
数据处理的实时性难题终于被破解了,如何做到的?
为了应对这种趋势,百度智能云发布了一款用于云端流式数据实时处理的Serverless云服务:百度智能云流式计算BSC产品(以下简称“BSC”)能帮助企业轻松接入存储在多款百度智能云存储服务(比如百度消

长按扫码 阅读全文

Baidu
map