无论是电信及金融行业,或是新兴的物联网、云计算,还是新应用层出不穷的互联网,每一刻都生成大量半结构化、非结构的数据。诸如目前最热门的微博应用,在非常显著的促进了用户交流和信息共享,但是由此也产生了大量信息,对于数据的定位和检索非常不便。市场调研公司麦肯锡表示,全球数据正以每年40%的速度增加,到2020年全球电子设备存储的数据将暴增30倍,达到35ZB(相当于10亿块1TB的硬盘的容量)。由此对各行各业电信运营商、电商、税务、金融、公安、等各个行业都会面对大数据计算的挑战。
大数据计算的挑战
1、 数据格式的挑战:数据的格式包括结构化数据、半结构化数据、非结构化数据、每种数据的处理方法和分析方法都有区别,分析和计算的难度大。
2、数据分析方法的挑战:大数据技术的数据挖掘分为,关联分析、聚类分析、异常分析、特性群组分析、演变分析等,分析的数学模型需要很强的适应性。
3、计算的时效性挑战:数据挖掘的实时计算,需要毫秒级的用户体验,需要瞬间把握数据动向和趋势。
4、计算的成本的挑战:数据的存储和安全以及在未来访问和使用这些数据的存储成本、计算资源的成本必须改变过去大型机、小型机的计算模式,改为采用通用硬件的分布式计算的技术模式。
作为领先的行业 定制化智能网络及云计算解决方案提供商,汉柏在电信、政府等行业在数据挖掘积累了丰富的经验。汉柏大数据计算系统提供了高性能存储和查询检索,并提供简单可靠的存储扩展,从而能够提供便捷快速的数据搜索和检索定位。该方案通过云的手段提供海量数据挖掘的方法,提高了挖掘的效率,增加了挖掘的精度,有效提升客户业务效能。
某客户应用案例
诸如,某省级电信运营商提供车载、手持和手机三个定位终端,上传轨迹数据,服务器获取数据后通过GIS(地理信息系统)在地图上实时展示终端当前的地理位置。车载和手持定位终端最小每隔10秒上传一次轨迹数据(包括终端ID、经纬度、方向、速度、里程、状态信息等)。静止状态下,终端页会每隔300秒上传一次数据,一次上传的数据大小为512字节,一个终端每天上传的数据约为2000条左右,数据大小约为1M。目前,该运营商约有20万个终端,每天的反馈数据量为4亿条,一天上传的数据容量为200GB。在采用了汉柏大数据计算系统后,不但良好支持了上亿数量级终端即千亿条记录,更能够横向扩展,从而良好解决数据分析的时效性、经济性,保证了数据的可靠性。
目前,汉柏大数据计算方案已经在广电行业、银行业以及某部委付诸实施,并与汉柏的多款定制化产品配合,取得了良好的应用效果。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 华为举办原生鸿蒙之夜暨全场景新品发布会,推出HarmonyOS NEXT和多款新品
- HarmonyOS NEXT正式发布:原生应用超15000个,开启更多机型公测
- Gartner发布2025年十大战略技术趋势 代理型AI与AI治理入选
- 多项数据成果重磅发布,2024全球数商大会数据空间创新发展论坛在沪顺利举办!
- 被欧盟重罚170亿美元后,特朗普爆料苹果CEO库克打电话向自己求助
- 2024全球数商大会在上海盛大开幕,共绘数字经济新蓝图
- 2024全球数商大会开幕:数“聚”上海,“链”接数字经济新未来
- 大疆正式起诉美国国防部,就错误列入CMC制裁清单提出抗议
- 揭秘Neuralink脑机接口的“主刀人” 他是马斯克野心的幕后操盘手
- 京东发言人证实:刘强东章泽天夫妇遭有组织造谣,警方已介入调查
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。