7月6日消息,7月6-8日,以“智联世界 生成未来”为主题的第六届世界人工智能大会(WAIC2023)在上海举办。百度CTO王海峰在会上首次披露了飞桨 学习平台最新数据。据王海峰现场透露,截至目前,飞桨已凝聚750万名开发者。
百度自2010年起全面布局人工智能,是全球为数不多、进行全栈布局的人工智能公司。从昆仑芯片、飞桨 学习平台、文心大模型到人工智能应用,百度在AI四层技术栈的各层都有布局。
其中,飞桨 学习平台位于框架层,向上支撑大模型生产,提高模型部署效率和灵活性,向下适配各类硬件,提高硬件适配效率和降低成本。
文心大模型是飞桨模型库的重要组成部分,以创新性的知识增强技术为核心。经过飞桨与文心大模型的协同优化,最新升级的文心大模型3.5的模型效果提升50%,训练速度提升2倍,推理速度提升30倍。
3月,百度发布大语言模型文心一言。文心一言是知识增强的大语言模型,首先从数万亿数据和数千亿知识中融合学习得到预训练大模型,在此基础上采用有监督精调、人类反馈的强化学习和提示等技术,并具备知识增强、检索增强和对话增强等技术优势。
王海峰解读了文心大模型3.5的核心技术创新,在基础模型训练上,采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。
同时,创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,对用户输入的查询、问题等进行分析理解,解析出生成答案所需要的相关知识点,之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后再用这些知识点构造输入给大模型的提示,为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用。
在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。
现场王海峰展现了文心一言在办公、会议、编码等场景的应用,文心一言成为工作中的“超级助理”,帮助总结工作沟通要点,实时记录会议内容,形成会议议题、摘要及总结等关键信息,可以通过各类插件完成指令任务,包括查询日程、创建会议、设置待办、申请休假等,也可以在工程师编码过程中自动推荐和生成代码。据悉,目前这些功能已通过智能工作平台“如流”应用于百度的工作流程中,帮助提升工作效率,提高决策质量。
王海峰表示,凡是要跟语言文字或程序代码打交道的应用场景,都可能有文心一言的用武之地。已经有很多在积极应用文心一言的场景,例如能源、金融、教育、办公、媒体,等等。在文心一言这类大模型产业落地的进程中,可以采用“集约化生产,平台化应用”的模式,即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来,通过低门槛、高效率的生产平台,为千行百业提供大模型服务。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 阿里巴巴拟发行 26.5 亿美元和 170 亿人民币债券
- 腾讯音乐Q3持续稳健增长:总收入70.2亿元,付费用户数1.19亿
- 苹果Q4营收949亿美元同比增6%,在华营收微降
- 三星电子Q3营收79万亿韩元,营业利润受一次性成本影响下滑
- 赛力斯已向华为支付23亿,购买引望10%股权
- 格力电器三季度营收同比降超15%,净利润逆势增长
- 合合信息2024年前三季度业绩稳健:营收增长超21%,净利润增长超11%
- 台积电四季度营收有望再攀高峰,预计超260亿美元刷新纪录
- 韩国三星电子决定退出LED业务,市值蒸发超4600亿元
- 鸿蒙概念龙头大涨超9倍,北交所与新能源板块引领A股强势行情
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。