数字经济时代已经到来,如何用大数据技术帮助企业提升效率成为了当下的关键命题。对于寻求数字化转型的企业而言,究竟该如何打造数字化基础设施,才能够有效达成数据驱动业务的目标?
在过去的一个月中,高考牵动着中国千万考生和家长的神经。
6月23日晚8点,上海高考成绩开放查询。短短一个小时内,一万两千多名考生,如潮水般涌入上海招生考试院网站和微信公众号查询分数。
此时据上海招生考试院拿到上海市所有考生成绩,刚刚过去8小时。要在如此短的时间内准备好线上成绩查询应用,并随时准备应对高并发的访问流量,绝不是一件容易的事。
在这个紧急关口,上海市今年初建设的数据共享交换平台起到了关键作用,此平台能够支撑包括一网通办在内的多个应用系统运行,快速上线一款高考成绩查询应用也就不在话下。
值得注意的是,上海数据共享交换平台背后的基础技术支撑,全部来自星环科技数据云平台Transwarp Data Cloud。
大数据3.0时代的再进化
说起星环科技,在大数据领域无人不知。这家炙手可热的技术创新企业,在2018年通过了全球首个TPC-DS基准测试。
该测试被视为数据库界最难的一个测试标准,从而打破了该领域12年来没有公司通过该项测试的局面。这一记录直接将星环科技推向了全球数据库领域的最高峰。
事实上,在长达几十年的时间里,由于国产数据库市场启动较晚,国外巨头一直占据绝对领先优势,全世界数据库市场基本上被Oracle,IBM/DB2,Microsoft/SQL Server垄断。
直到2010年之前,数据处理领域都还是传统关系型数据库的天下。由于数据增长缓慢,系统较为孤立,用传统数据库就基本可以满足各类应用开发,这一时期被称之为大数据1.0时代。
随着互联网的出现和快速发展,数据呈爆发式增长,数据也从结构化转向了以非结构、半结构化为主,传统数据库对这类需求和应用无论在技术上还是功能上,都几乎束手无策。
而之后出现的Hadoop,Spark等大数据技术,则很好的解决了结构化数据和实时数据处理的问题,从而真正开启了大数据2.0时代。
2012年,国内大数据市场进入白热化阶段,这一时期的大数据技术百花齐放,光是基于Hadoop的SQL引擎就多达20多种。
2013年,星环科技凭借敏锐的技术嗅觉,在众多SQL引擎中选择了Spark进行创业。如今,Spark是市场上仅有的四种主流技术之一,而星环科技也因在处理大型数据量和兼容上千种数据库方面的卓越表现而快速崛起。
从2015年发展至今,随着企业业务的云化演进,企业对数据的需求越来越多,再一次推动了大数据技术的迭代与进化。
一方面,在线业务的快速发展,让企业面临的数据量已经超越上一代至少一个数量级,图像、视频、语音等非结构化数据暴增。
同时,云计算、AI、IoT、5G等新技术的先后涌现,使得数据的应用层出不穷,也产生了新的数据形态、新的部署环境和新的应用模式。
另一方面,企业更加关注大数据分析与挖掘产生的业务价值,这就对数据分析平台的性能和分析能力提出了新的要求,从此大数据技术开始进入3.0时代。
与上一代相比,大数据3.0时期最为显著的特征在于,数据在企业中的角色从支持业务转变为驱动业务。
对此有人认为,大数据的商业价值不可否认,但真正能够通过大数据实现业务价值的企业却少之又少,其中很大的一个原因就在于数据的整合、打通、共享很难。
当下大部分的行业和企业不仅内外部数据尚未打通,自己内部的数据也还没有实现整合和标准化,开发和利用更是无从谈起,数据孤岛现象屡见不鲜。
在星环科技看来,数据驱动业务绝不是一句空谈。为了让数据发挥出最大价值,前提必须有一个高性能的、弹性的、融合的云平台来支撑数据的快速处理、应用和交互,为企业创造更加简单和灵活的数据开发运维环境,让数据工程师将精力集中在更能释放其价值的工作中。
这对于传统的虚拟化平台和云平台而言,确实是一个巨大的挑战。
传统的虚拟化技术太过笨重,资源消耗过高,传统的应用开发采用单体建设的方式,会出现代码维护难度高,重复开发多,部署不灵活,性能不足,扩展性不够,开发效率低等问题。
而以OpenStack为代表的云计算技术,虽然满足了资源的扩展性、灵活性等需求,但是这种以资源管理为中心的方式,却很难在云平台上打通应用和数据。
那么,大数据3.0时代下的大数据平台,到底应该是什么样子?对此,星环科技给出了自己的答案。
TDC数据云:新一代数字化基础设施
2015年,星环科技启动Transwarp Data Cloud(TDC)数据云平台的研发;2018年,发布TDC 1.0版本;2019年5月,再次发布TDC 2.0版本。
对于星环科技而言,TDC数据云平台是大数据3.0时代最佳的诠释,它是为了满足企业对于数据云需求而打造的云原生平台,采用容器技术,以数据为中心,通过提供完整的数据、应用和智能的开发工具,实现数据和应用互通互联。
从架构上看,TDC数据云平台分为三层:
底层是星环科技自研的容器操作系统TCOS,负责计算、内存、存储、网络等资源的调度。
中间层是三个中心PaaS服务,包括分析PaaS、数据PaaS、应用PaaS:分析PaaS满足数据分析服务内外开放的需求,数据PaaS提供了数据处理和开发所需的数据库服务,应用PaaS提供了应用开发的各种框架以及中间件。
上层用来支撑各种应用建设,比如审批管理流程、用户中心、订单中心等业务应用。
除此之外,TDC数据云平台还提供专门的安全管理模块,以及满足多云管理、运维、计费等管理需求的云管平台。
不难发现,与传统云平台相比,TDC数据云平台有着显著不同:
第一,建设方式以数据为中心,而不是以资源为中心。TDC所有的架构都是围绕数据使用和管理的需求来设计的,通过提供数据资产服务、应用开发和数据分析的完整工具链,来实现以数据驱动应用的发展。
当企业去开发一个新应用的时候,开发者只需关注自身的业务逻辑,开发模块都可以从数字业务中心找到并直接使用。
第二,采用容器化技术替代传统虚拟化技术。如今微服务开发模式广受推崇,在互联网企业覆盖率已达到近90%,而容器技术能够很好的满足微服务所需要的轻量级、弹性、快速迭代的能力,同样也可以支持包括分布式数据库在内的复杂业务系统,对企业来说进一步降低了开发运维的难度。
因此,星环科技早在2016年就率先把大数据和容器化技术结合在一起,通过容器技术提供大数据的基础服务。
第三,提供构建数据和应用互联互通的混合云技术。无论数据、服务是构建在边缘端,还是在公有云或其他私有云,TDC都可以实现统一管理和调度,无需关注部署落地细节。
第四,以业务为导向,提供层次化设计的应用开发方式。TDC在容器云上同时支持大数据和AI应用,通过提供完整的数据、应用和智能的开发工具,积累出企业的数据业务中心,从而满足不同业务,不同角色的工作需求,为企业打造出能够支撑各种工作复杂的基础平台。
总体而言,TDC数据云致力于打造新一代的数字化基础设施,它以数据为中心,让大数据基础架构变得极度简化的同时,也让大数据向应用化的方向迈出了重要的一步,从而为企业向数字化3.0演进提供了一个切实可落地的方案。
数据驱动业务战略下的大数据建设
大数据3.0看似刚刚开启,其实离企业的真实业务场景并不遥远。越来越多的业务,不仅历史数据需要在线化,当下的数据也需要实时分析。如今业界广泛讨论的“数据中台”,其核心正是数据在线化。
大家有所不知的是,数据中台其实需要一个完善的底层Pass平台,这个平台需要全品类的工具、分布式计算能力、数据建模能力等等,并且通过很好的应用方式提供服务。星环科技的TDC数据云平台,就是这样一个可以支撑数据中台的数字化基础设施。
在未来,越来越多的企业转向数据驱动业务战略,拥有强大的数字化基础设施将成为一种标配。大数据将不再以项目模式进行建设,而是通过统一的数据平台和标准化的应用服务来提升业务效率。
这正是星环科技TDC数据云所擅长的,通过简单、高效的方式进行大数据基础设施的技术输出,大幅降低大数据应用门槛,将大数据技术真正落地到行业应用和业务场景中。未来即使是几个人的大数据技术团队,也可以支持几千业务人员快速变化的应用需求。
对于大型企业来说,他们将是星环科技TDC数据云的首批受益者。由于此前已经探索了大数据技术和具体的业务场景,尝到了大数据技术带来的“甜头”,他们将更加坚定的应用领先的大数据技术,成为迈进大数据3.0的先行者。
对于更广泛的中小企业,星环科技也将构建属于他们的赋能方案,打通数据和业务之间的联系,帮助这些企业更好的利用大数据技术。
不可否认的是,驾驭大数据的能力正在成为企业的核心竞争力,随着企业自身数据价值观念的转变,对技术的接纳将更加开放。
对于星环科技而言,其领先的技术能力和出色的行业服务能力,将助力企业循序渐进地完成数据赋能,顺利实现数字化转型。
【科技云报道原创】微信公众账号:科技云报道
来源:科技云报道
免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与 无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。