11月29日,在Flink Forword Asia 2024上,阿里云表示正主导研发Flink2.0,并首次公开展示其技术细节,Flink2.0将全面拥抱大模型,同时新增云原生存算分离、流批一体、兼容流式湖仓等特点,是该技术诞生十年以来最大的升级之一。会上,阿里云还宣布开源下一代流存储 Fluss 项目,可为Flink 提供实时流存储底座,进一步提升实时流计算的性能。
Flink2.0将全面拥抱大模型
十几年前,移动互联网时代应用的爆发对流计算提出了新的需求,流计算引擎成为了实时数仓、实时推荐、实时分析、实时大屏、实时风控等场景的核心技术之一。2014年,Apache Flink正式诞生,凭借高吞吐量和精准实时数据处理的能力,Flink迅速超越Storm、Spark Streaming等传统流计算引擎,在全球范围内被公认为流计算的事实标准。目前,Flink社区在全球的贡献者已有近2000人。
阿里巴巴是国内最早大规模应用Flink技术的科技公司,并在过去几年持续回馈社区,先后贡献和孵化Blink、Flink CDC、Paimon等优秀项目,成为Flink社区最大的贡献者,有力推动社区和实时计算技术的发展。为了满足大模型应用等新兴场景的需求,阿里云从去年开始在开源社区主导推动 Flink 2.0 的研发,对 Flink 技术架构进行全面升级,包含存算分离、流批融合、湖仓架构、AI大模型等技术方向的众多创新,这是自 2016 年 Flink 1.0 发布以来最大规模的更新,该版本将于 2025年初正式发布。
大会现场,阿里云还宣布开源下一代流存储 Fluss (Flink Unified Streaming Storage)项目,这是围绕湖仓架构打造的Flink专属实时流存储底座,可大幅提升 Flink 实时流计算的能力。即日起,全球开发者可在Github上下载使用。
阿里云开源下一代流存储 Fluss
阿里云开源大数据平台负责人王峰表示:“从使用者,到社区最大的贡献者,阿里希望持续推动Flink技术生态的繁荣,让Flink普惠千行百业企业。”
据介绍,Flink已广泛应用于互联网、电商、在线教育、游戏、金融、制造业、新能源汽车等行业;2023年,Flink凭借其优秀的流计算模型设计及其在工业界和全球范围内的成功应用,荣获SIGMOD Systems Award大奖。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )