我们正处在一个数据高速增长的“大数据”时代,海量数据呈指数性增长,但当前客户的业务数据呈现烟囱式分布,业务分析需求日益增长,传统的开发模式成本高、分析慢、灵活性低,该如何存储管理与应用这些数据面临着新的挑战与机遇。
河南云帆电子科技有限公司(以下简称“云帆”)自成立以来,始终紧扣客户需求和技术发展趋势,依托云计算、大数据、物联网及视频图像分析等技术,为客户提供从顶层设计、方案规划、定制开发、项目实施、运维服务全方位一站式软硬件整体解决方案,内容包括:主机、存储、备份、容灾、云计算等信息系统基础架构建设,结构化/非结构化数据管理、大数据管理、数据挖掘等数据管理方案,树立起了以服务和技术为核心的业务主导模式。
云帆开发的数据魔方系统是一款基于大规模并行数据库的数据应用工具,是一款通用数据查询、分析软件。
通过可视化建模方式,图形化地反应数据分析思路,满足多层次用户的通用数据查询、分析软件。从而实现了精准数据筛选、灵活碰撞分析,满足不同无技术背景用户对数据的应用需求,从根本上改变了传统软件的开发模式,让新需求在短时间内得到实现。
技术架构:
技术架构
在计算分析层,通过部署多台华为TaiShan服务器,组成计算集群。华为TaiShan服务器是基于鲲鹏处理器的高性能数据中心处理器,采用多核计算架构,主要应用于大数据、分布式存储、ARM原生应用等场景。鲲鹏处理器拥有64个内核,主频可达2.6GHz,支持8通道DDR4,内存带宽可以超过主流46%,集成100G RoCE以太网卡功能,具有高性能、高吞吐、高集成、高能效等特点,满足数据魔方系统对于计算和分析需求。
在大数据层面,部署华为Gauss DB 数据库软件,它采用Shared Nothing 的列式数据存储 MPP 架构,在TaiShan服务器多线程、高性能特性支持下,基于分布式多协调节点的集群架构,支持全分布式并行执行,提升并发性能和可靠性,支持协调节点的负载均衡能力;支持SQL92、 SQL2003 标准,支持 JDBC、 ODBC、ADO.NET、 Python 等标准访问接口;支持基本的通过 SQL语句增、删、改(对任何列)功能。数据魔方系统的成功融合,证明了华为TaiShan服务器在计算性能、稳定性等方面已满足大数据应用的要求,对于十亿级的数据统计分析实现了结果秒级展现。
使用TaiShan服务器的优势
²高性能:基于鲲鹏多核架构+多核调度优化算法,在OLAP数据库场景下,性能提升40%;
²高吞吐:基于华为智能网卡的RoCE方案,卸载CPU负载;在OLTP数据库场景下,网络数据吞吐能力提升25%;通过在数据锁、原子写等基础的优化,以及基于鲲鹏处理器的高性能库,如DMA的memory库、达到IO加速的目的。
数据魔方的方案价值
²快速统一数据源,实现对各类资源的汇聚,打破数据壁垒;
²源于灵活、便捷产品特点,用户基于自己思路将数据重新的组合,实现可视化数据自主分析;
²与华为TaiShan服务器 融合,采用分布式部署,加速数据的分析性能,从而能够整体上提升公安办公效能;
²降低数据分析的技术门槛,通过模型共享,实现用户所思所想,同时,经验得到积累和分享。
云帆公司表示,面对着云计算、大数据、物联网及视频图像技术等应用的不断普及和深化,面对着机遇和挑战,云帆将继续基于TaiShan服务器硬件基础和生态,不断开发出分析能力强、灵活性高的数据管理、数据挖掘等数据管理产品和方案,打造出更多更好的大数据产品。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。