数据爆炸与复杂模型让AI计算迎来更多创新机会

  

blob.png

随着人工智能首次写入政府工作报告并且国务院印发了《新一代人工智能发展规划》,人工智能产业被视作新的重要经济增长点,人工智能技术应用成为改善民生的新途径。可以说,以人工智能技术为代表的第四次工业革命扑面而来,以前所未有的方式对人们的生活带来巨大改变。

人工智能将重构所有行业

纵观人工智能近几年的发展,可以观察到一个显著趋势就是人工智能和各行各业的连接越来越密切。从长期来看,人工智能拥有令人难以置信的力量,将重构几乎所有行业。

在搜索引擎业务中,无论是文本、图片搜索还是语音搜索,我们会发现机器似乎变得越来越聪明;在医疗保健行业,人工智能对医学影像来说带来了很大的改变;在金融行业,人工智能在投资组合设计、金融产品营销以及金融安全保障领域都有应用;在汽车制造行业,谷歌、Uber、百度等科技公司以及戴姆勒、福特等众多的汽车厂商正在开发智能驾驶;在天气预报领域,人工智能的技术目前在雷达外推短临预报上已得到应用;在石油勘探领域,神经网络和模糊逻辑相结合被成功应用到了裂隙性油藏的分析,以及选择最佳的测井数据对油藏特征进行研究之中。

AI技术发展:大数据+大模型+大计算

人工智能在今天得以快速的发展,跟数据、算法、计算的发展息息相关。

目前,全球数据量正以平均年增长率50%的速度增长,预计到2020年全球数据总量将超过40ZB,而2020年中国的数据总量将占全球数据总量比例的20%,成为世界第一数据资源大国和全球数据中心。

同时,人工智能 神经网络也在快速的发展,更深更大的算法模型、更复杂的架构正在成为趋势。卷积网络曾是最大最深的神经网络架构之一,但如今,它被抽象成了大多数新架构中的一小部分。

最后,数据的增大、模型的复杂,将为计算带来更大的挑战空间,当如此庞大的数据用于人工智能的训练学习时,数据量将超出内存和处理器的承载上限,如果计算力不能相应增长,整个学习过程将变得无比漫长,甚至完全无法实现最基本的人工智能。

AI计算迎来更多创新机会

从人工智能的三要素来看,如何更好的将爆炸式增长的海量数据用于模型训练,已成为人工智能未来发展的关键环节。数据与模型的快速发展,为计算带来了挑战的同时,也提供了更多的创新机会。

那么在人工智能计算创新方面,则应从强调构建AI系统能力与价值着眼,在硬件创新、软件实现、框架优化和应用加速4个维度赋能AI,这四个维度形成了一个完整的“4S”组合:硬件创新是“Server”,加上软件实现构成“System”,再加上框架优化就是“Solution”,最后加上应用加速即是“Services”,这也是浪潮今年提出的AI端到端解决方案。

复杂的人工智能应用环境是进行人工智能硬件创新开发时要考虑的重要因素。人工智能在模型训练时对计算需求大更依赖GPU,而当产品服务上线后,计算需求减少,吞吐量需求增大,要考虑低延迟的产品。今年,浪潮与百度在AI计算上联合开发的SR-AI整机柜服务器,就是根据百度的AI模型训练需求开发的。我们将CPU和GPU分开成两个BOX,CPU主要负责管理和控制,GPU主要负责AI运算,通过专用的线缆将2个部分高速的连起来,随着模型复杂度的增加和规模的增加,计算量会增加,如果一个GPU BOX不够的话,就可以扩展多个GPU BOX。目前,我们开发的这款SR-AI整机柜服务器可以实现单节点16卡、单物理集群64卡的超高密度扩展能力,已经应用在百度无人车之中,具备千亿样本、万亿参数级别的AI计算能力。同时,在前端推理方面,浪潮、科大讯飞和Altera公司共同发起了一项基于FPGA在智能语音识别领域的合作,三方完成了基于OpenCL的FPGA线上 学习语音识别加速方案。

在AI系统管理方面, 学习的模型训练往往流程较长、开发环境较复杂,涉及数据准备和处理、特征工程、建模、调参等多个步骤及多个框架和模型,每个框架依赖环境不同且有可能交叉使用。更大的“痛点”在于, 学习模型在训练时往往耗时较长,短则数小时长则数天,以往在训练完成后才意识到模型存在问题,大大耗费了用户的精力和时间。浪潮根据此需求设计开发的AIStation管理软件可以提供从数据准备到分析训练结果的完整 学习业务流程,支持Caffe、TensorFlow、CNTK等多种计算框架和GoogleNet、VGG、ResNet等多种模型,有效的提高计算资源的利用率和生产率,为 学习用户提供高效易用的平台。

学习框架可以帮助用户更好更快的开发 学习模型,浪潮主导开发的全球首个集群并行版的Caffe 学习计算框架Caffe-MPI,目前已在Github上开源公布所有代码。在基于国际通行的Imagenet数据集进行 学习模型训练时,Caffe-MPI表现出良好的并行扩展,其性能是Google最新 学习框架TensorFlow的近两倍。

AI应用优化是浪潮极为重视的一项核心能力。浪潮与奇虎360合作开展了针对图片搜索技术的GPU架构移植,基于K-means无监督聚类算法串行版本,完成GPUMPI集群版本的实现,节点内使用CPU+GPU协同计算,大幅降低了计算时间。

人工智能是当前人类所面对的最为重要的技术社会变革,可以全面提升一个国家的实力,全球许多国家都对AI充满了憧憬与渴望。中国作为快速成长的数据资源大国,并且连续多年成为全球服务器增长最快的市场,在发展人工智能上具备得天独厚的数据优势与计算优势,这将让中国有能力成为人工智能的技术强国、应用大国。

作者胡雷钧为浪潮集团副总裁

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2017-10-03
数据爆炸与复杂模型让AI计算迎来更多创新机会
  随着人工智能首次写入政府工作报告并且国务院印发了《新一代人工智能发展规划》,人工智能产业被视作新的重要经济增长点,人工智能技术应用成为改善民生的新途径。

长按扫码 阅读全文

Baidu
map