据IDC刚刚公布的《数据时代2015》预测报告数据显示,到2025年全球数据量有望达到163ZB,将是目前全球数据量的十倍。由万物互联引发的数据大爆炸,对任何企业和个人而言,既是挑战,也是机遇。
如何在大数据时代利用大数据挖掘来获得财富和机遇?传统行业如何引入大数据技术为己所用?AI在大数据分析中有何作用和价值?围绕业界普遍关心的热点问题,近日,《老尚看科技》采访了联想企业级大数据分析平台LEAP(下文统一简称为LEAP)的相关负责人和技术专家,通过他们的专业回答,我们可以逐步看清大数据挖掘的实现路径。
大数据平台要有什么绝招,才能应对数据大爆炸?
有专家曾经预言,大数据将成为未来最重要的生产资料,大数据的挖掘、归类、分析和利用能力的高低,很有可能会成为未来决定商业成败的关键因素。就像石油驱动着现代工业不断向前,用计算驱动数据,正在成为驱动科技和社会进步的重要力量。
联想是中国最早倡导和践行中国智造的科技企业之一,而LEAP平台则是联想全球化运营和智能制造转型的关键支点。据悉,目前联想拥有大数据平台开发与运维人员超过500名,大数据专家、 数据科学家、与业务专家人数超过了50名;在全球部署了 9个数据中心, 拥有超过2000台服务器,目前存储总容量规模已达15PB, 数据实际总量达到 12PB以上,日新增数据量约30TB,日处理涉及数据超过150亿条,是国内最大的制造企业数据集群。联想的大数据处理能力仅次于BAT三大互联网巨头,其LEAP平台目前已实现99.9%的全球高可用性。
在联想大数据高级经理张建伟看来,简单的把数据收集上来做统计与整合,即使效率再高也很难给客户带来价值,真正能给客户带来价值的是海量数据的高效计算能力。通过人工智能、 学习、知识图谱以及包括数据分析等在内的高端建模,来使这些数据和实际业务产生关联,从而对业务的运营、营销产生推动、指导,这样才会产生所谓的“智”。
未来数据的激增,不只是企业数据中心产生的大量核心数据,企业级计算机和设备产生的边缘数据,以及数以千亿计的终端数据同样也增长迅猛,那么如何应对大数据动辄七八年就要暴增10倍的挑战?
张建伟认为,大数据时代真正来临,有四大挑战必须面临和应对:
第一,海量数据的存储。如何采集并存储这些海量数据?这是联想LEAP平台、以及其他所有大数据平台都面临的问题。从平台层面来看,要看平台的横向扩展应用是否可以无缝衔接。假如达到100个节点,扩展将非常复杂,很可能会遇到由于数据翻倍增长而带来的处理时间不够用等问题。 联想企业级大数据分析平台的优势则体现在,LEAP Manager可以实现数据整个计算节点的动态扩展,包括数据的动态分发,这种方式不需要停机,不需要停止现有的业务就可将原来10个节点的数据集群扩展到100个,甚至更多,整体数据量会自动更新,客户无需花费精力关注数据如何更新。
第二,基于技术的演进,如何让用户无感地进行更新。大数据是源于社区相关的技术,其演进迭代快速,基本上每年会有一个大版本的更新。基于不同大版本的演进,解决了包括产品自身的丰富性等问题。很多平台在版本迭代时很难做更新,尤其是一些开源技术,在做大版本迭代的过程中,对底层日志或数据的存储结构都做了很多优化或修改,基于现有正在运行的业务系统,很难将其业务及组件进行升级,而联想LEAP平台支持组件的滚动升级,通过LEAP Manager,用户即可实现此项操作。
第三,海量数据的管理。物联网的数据来自于多种终端,数据类型大多是是异构多元的数据,如何管理?联想LEAP平台的DataHub,能够提供标准接口和标准可配置的模板,可以快速地对接口进行扩展。如果是标准接口,不需要做额外工作,就可以快速对数据进行扩展,来满足数据增长的新需求。
第四,新旧数据如何融合。联想LEAP平台上有自己的数据资产管理工具,能够对整体数据进行分类和标准化,对数据质量和生命周期进行管理。海量数据进来后如何使用,一定是需要依靠企业内部的业务人员、管理人员和相关的行业专家、数据专家等,共同解决海量数据进来后对客户业务产生的影响、对业务优化产生的新方向等问题。
为了应对数据大爆炸的挑战,联想LEAP平台还有一个秘密武器,即LEAP AI。LEAP AI可以通过 学习相关的算法和行业应用,把联想之前的成功案例和算法全部集中起来,帮助客户快速认知新数据所带来的业务价值,以及快速挖掘新数据所带来的影响。
大数据挖掘,联想有七种武器
大数据是一座公认的金矿,而如何挖掘各家各有套路。据张建伟介绍,联想大数据的核心就是联想LEAP平台,围绕LEAP平台的核心计算能力、存储能力以及数据采集能力,联想构建了七种服务,也成为大数据分析的七种武器。
第一种服务,规划和设计的服务。很多企业在做大数据或应用大数据的过程中走了一些弯路,究其原因,往往源于顶层设计不够清晰,先从底层技术变革去推动,然后慢慢用敏捷迭代的形式去完善。所以,联想在总结经验之后,把咨询服务放在所有项目实施之前,联想的大数据专家会基于联想大数据LEAP平台帮助客户提供规划设计服务。
第二种服务,平台搭建服务。对于那些已经很清楚数据来源及如何使用的行业客户,他们缺少的是包括数据计算、收集等在内的基础承载平台。联想的渠道伙伴中不乏一些行业应用经验丰富的ISV,但这些ISV缺乏底层的基础平台对大数据进行 的挖掘和支撑。同时从大数据平台的研发成本和时间周期上来看,很多ISV又无法把更多的精力侧重于基础平台的研究。他们更多的是侧重于行业,包括某一个领域纵向的深入挖掘。这时,他们就需要一个强大的服务商或供应商,来帮助他们提供平台,包括基于其业务场景的一些平台大数据技术的 优化和服务。
第三,是数据质量、数据管理服务。数据往往具有海量、多元、异构的特征,针对这些数据,如何在企业层面对数据的标准、质量、安全及整个数据生命周期进行管理很关键。这一套数据治理,不是一个工具可以解决的,更多的是通过咨询、服务去帮助客户梳理构建业务流程和体系,将整个数据资产梳理清楚,以便于其对数据资产更好地掌控及应用。
第四,是定制化的服务。在中国不同的行业,甚至不同行业的不同环节,不同的纵向生产环节,服务都是不一样的。在应用层面及大数据层面,除了底层的计算技术以外,偏应用层面的技术很多都需要定制化开发。比如,相关的算法,在不同的应用场景上都需要做针对性的优化和调整。联想LEAP平台可以提供相关的定制化服务,包括联想大数据科学家团队、工程实施团队,都可以专门为客户提供更多的定制化开发服务。
第五,是集成开发。现在很多客户,包括一些大客户更喜欢交钥匙工程,这就涉及到整体的系统集成,联想有自己的硬件、软件,又有自己的实施团队,所以联想可以提供给客户一个完整的集成方案。
第六,统一的运维服务。现在大数据的平台对很多企业而言,尤其对传统企业而言,运维存在一定的风险和技术瓶颈。第一,技术不断迭代,演进太快;第二,原有人员在学习大数据时需要时间、成本,还有一些企业将IT作为轻资产,运维人员很难去满足大数据相关的分析及运维相关的服务,因此,联想认为有必要以统一运维的形式,给企业提供相关的运维服务。
第七,是数据变现服务。目前联想在数据变现方面的合作伙伴,包括了很多行业巨头,一起做数据变现的前沿探索,如何整合资源和渠道,将数据真正的去变现。
在张建伟看来,联想LEPA平台其实是一个端到端服务的提供者,既有产品的服务,又有相关的行业应用增值服务,还包括相关的运营服务,核心目的是利用上述的七种武器帮助客户解决大数据应用及发展相关的问题。
要进行大数据分析,是不是非得推倒重来?
新建一座城市其实并不难,但改造一座历史悠久的老城却要难得多,因为要考虑用兼容并包来解决新老并存的问题。现在很多企业和行业客户,都跃跃欲试要做大数据 挖掘和利用,但他们已有的IT系统是否就得推倒重来?进行大数据挖掘的新尝试,能否尽可能利用和保护已有的IT资产?
张建伟在接受采访时表示,如何保护已有的IT资产,是在大数据项目实施过程中常遇到的问题。事实上,联想LEAP平台可以做到跨品牌兼容,无论部署联想还是其他品牌的产品,联想LEAP平台都可以很好的兼容,但会对联想产品有更 的优化,这能在很大程度上保护了用户已有的IT投资。
但依照张建伟的经验,保护客户已有的投资和利益,并不意味着要全盘接受那些已经落伍陈旧的设备,像钢铁、铝业等重资产行业,一些老旧的设备可能服役已经几十年,想要在这些设备商采集数据难度非常大,所以联想在帮用户落地大数据分析平台项目之前,会让相应的技术专家对客户的实际情况进行摸底,就像给房子做装修服务,装修设计师一定会先出设计,告诉用户哪些还可以保留利用,哪些需要彻底重来,直到用户对方案和预算认可之后才开始动工。
张建伟表示,大数据项目的实施,一味激进并不是好的选择,联想认为比较理想的方案推进可以分三步来走:第一,针对自己没有想清楚大数据应该怎么做的客户,或对大数据的分析存在很多疑惑的客户,联想LEAP平台的专家们会先摸清其实际IT现状;第二,会摸清其实际业务的痛点,上大数据最终是要解决业务的问题;第三,助其规划整个大数据实施的战略和Roadmap。这样可以很好地帮助企业花最少的钱实现最佳的效果,同时也能节省更多的时间。
大数据掘金,不同于美国西部的淘金热,凭借着简陋的工具就可以试试运气,说到底,大数据掘金必须依靠专业的计算、存储和分析工具以及服务,而大数据采集、整理和分析利用能力,莫说是中小企业,即便是大型企业也很难具备,所以像联想LEAP平台这样专业的大数据分析和服务平台会应运而生、顺势成长。大数据服务会成为未来热门的社会化服务新品类,在云计算的驱动之下,成为商业模式创新和产品服务创新的重要支撑点。
面对数据大爆炸的现实挑战,是继续被动观望,还是主动拥抱变革?企业和行业客户在今天所做的不同选择,决定着未来不同的命运走向。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。