9月26日至28日,数禾科技亮相世界级盛会KubeCon+CloudNativeCon+OpenSourceSummitChina2023。在这场技术盛会上,数禾科技团队成员就“数禾使用Knative加速AI模型服务部署实践”主题展开了分享。
使用Knative加速AI模型服务
Knative是基于Kubernetes之上提供的一款开源Serverless应用框架,目标打造企业级Serverless应用平台。根据2020CNCF云原生调查报告,Knative已成为开源自建Serverless平台首选。随着2022年3月2日加入到CNCF,越来越多的开发者拥抱Knative。阿里云容器服务从Knative早期版本开始产品化集成,持续跟进Knative社区功能迭代,并与容器服务ACK、消息、存储、网络等云产品进行了全方位的融合,提供了生产级别的Knative能力。
数禾科技是业界最早使用阿里云容器服务的专业机构之一,数禾科技使用阿里云容器服务Knative和弹性节点配合部署,在保证线上模型应对突发流量的稳定性大幅提升的同时,又使资源利用效率获得了显著的提高,极大的节约了资源成本。
基于Knative驱动开展实践
基于Knative的Serverless服务方案,具备有根据请求的扩缩容能力、允许pod缩容到0的冷启动能力以及多版本的管理能力。通过对内部模型部署的pipeline进行改造后,目前数禾的所有新增模型均已通过ACK+Knative方式部署在线上提供服务。得益于Knative的多版本管理能力,数禾快速解决了模型的灰度发布和多版本并存的问题。同时加之基于请求的自动扩缩容能力,在多个版本并存的情况下,并没有对资源产生额外的消耗,也节约了晚上的谷时资源。
在实际应用中,以数禾AI模型服务系统为基础的线上AI模型为业务决策人员提升决策效率,减轻人工操作的负担,同时也可以大幅降低客户流失率和风险损失。例如,在营销获客方面,数禾AI模型可以通过数据分析技术,实现客户画像,提升精准营销能力;在风险管理方面,数禾AI模型可以快速检测风险预警信号,提供实时决策支持。截至目前,数禾AI模型服务平台已上线部署500+AI模型服务,每天能够提供上亿次查询决策服务,具备无限横向扩展的能力。ASK的实时弹性扩展能力帮助数禾节约资源成本约60%,同时平稳地应对了诸多运营活动等突发峰值场景,整个云原生部署和发布系统将公司平均部署周期由之前的1天缩短至0.5天,有效加速了商业化应用的迭代进程,为业务的拓展增长提供了强有力的支撑。
持续深耕攻坚克难收获行业认可
技术是科技企业持续发展生命力的根本。作为高新技术企业的代表,在坚定不移地深耕数字化创新的发展道路上,数禾科技取得的一系列金融科技成果。前不久,数禾科技基于阿里云云原生应用构架打造的“数禾AI模型服务”,荣获了由云原生产业联盟颁发的“2023年度云原生应用实践先锋-云原生应用优秀案例”奖项。云原生是基于分布部署和统一运管的分布式云,以容器、微服务、DevOps等技术为基础建立的一套云技术产品体系。它可以帮助企业快速构建和部署应用程序,提高应用的可靠性、弹性和可扩展性,让企业可以更加敏捷地响应市场需求,快速上线新产品和服务,提高数字化转型的效率和速度。
数禾科技在人工智能、云计算、大数据等前沿技术领域已积极开展研究和应用,截至目前,数禾科技已申请近230项技术等相关专利,已授权发明专利11个,其中技术专利覆盖人工智能、人机交互、数据治理、系统设计、架构设计、云计算和智能识别等数字经济的核心领域,体现出强大的自主科技研发实力。
技术终将造福于人民,在科技驱动普惠金融发展的道路上,数禾科技以科技创新为手段,持续推动普惠金融服务更加数字化、智能化。数禾科技以大数据和技术为驱动,为金融机构提供智能零售金融解决方案,服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构,业务涵盖消费信贷、小微企业信贷、场景分期等多个领域,提供营销获客、风险防控、运营管理等服务。
作为金融科技创新先锋,数禾科技拥抱Knative技术,并与容器服务ACK、消息、存储、网络等云产品进行了全方位的融合,为技术普惠和行业蓬勃发展做出了巨大贡献。数禾科技将继续开拓创新、担当作为,助力行业汇聚起推动云原生领域技术发展的强大力量。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )