百度文心大模型：自主创新打造“AI底座”，多个模型世界领先

由深度学习驱动的人工智能，正推动新一轮科技革命和产业变革。随着数据井喷、算法进步和算力突破，效果好、泛化能力强、通用性强的预训练大模型（以下简称“大模型”），成为人工智能发展的关键方向与人工智能产业应用的基础底座。

4月16日，2021百度认知AI创意赛“AI创意派”决赛正式举行，这是业内首次将先进的AI大模型能力开放给公众使用，实现了大模型在激发创意、落地应用上的突破。百度集团副总裁吴甜出席并围绕大模型行业趋势、产业价值、落地成果，分享了百度文心大模型的进展。

吴甜指出，预训练大模型已成为人工智能发展的新方向，百度文心大模型源于产业、服务于产业，是真正的产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展，打造了自主创新的AI底座，真正发挥大模型驱动AI规模化应用的产业价值。

攀登技术新高地，百度深耕产业级大模型

近年来，国内外科技巨头如谷歌、微软、英伟达、百度等，相继在AI大模型领域展开探索。大模型的重要性在于——人工智能要真正发挥对产业升级转型的驱动力，需要与各行各业的特异性场景深度融合，而大模型正是支持人工智能低门槛应用于不同场景的通用力量。

大模型的出现，大幅降低了人工智能的应用门槛。其通过集中提供通用算法模型，打造技术底座，让大多数企业能够“站在巨人的肩膀上”， 使标注数据更少、开发效率更高、应用成本更低。

百度自2019年开始深耕预训练模型研发。2019年3月，百度率先发布中国首个正式开放的预训练模型ERNIE1.0，并持续投入于大模型的研发升级；2021年12月，ERNIE 3.0升级为全球首个知识增强千亿大模型鹏程-百度文心。

目前，百度已成功打造文心大模型家族，多个大模型达到世界领先水平，例如全球首个百亿参数中英文对话大模型PLATO-XL、首个聚焦中英文场景大规模 OCR 结构化预训练模型 VIMER – StrucText、全球最大规模中文跨模态生成模型ERNIE-ViLG等。此外，鹏程-百度文心大模型在60多项经典的NLP任务中取得世界领先效果。

超大规模模型的训练和推理，给深度学习框架带来很大考验。支撑文心大模型高效分布式训练的关键技术力，是百度飞桨平台自主研发的端到端自适应分布式训练框架与4D混合并行技术。依托飞桨，文心大模型解决了大模型训练过程中多个世界性难题，使大模型训练速度提升、模型效果更优。

基于百度飞桨平台与百舸集群，文心大模型在算法、框架、算力层面实现完全自主创新，百度通过大模型与国产深度学习框架融合发展，为中国产业智能化转型打造AI大底座。

大幅降低门槛，文心大模型助力产业规模化应用

随着大模型的价值凸显，由国内外科技巨头主导开发的大模型正在大量涌现。吴甜认为，大模型未来的发展趋势，一方面会继续出现技术创新，另一方面会在产业实用上有更多价值产生。

文心大模型作为产业级知识增强大模型，核心价值在于驱动AI的规模化应用。本次创意赛，百度在行业首次将先进的AI大模型能力开放给公众使用，吸引全国各地近2000名不同年龄、不同技术基础的选手参与其中，收集超过300份创意方案，作品覆盖教育、医疗、金融、娱乐、科技、心理健康等多个领域。

创意应用中，文心大模型用AI为创意插上腾飞羽翼。其基于大规模知识和海量无结构数据融合学习、深度学习，不断吸收海量文本数据中词汇、结构、语义等方面的知识，并通过持续学习不断提升理解能力和生成能力，实现视频、歌词、艺术画等创意作品的自动生成。尤其是在AIGC（AI generated content，人工智能创造内容）领域，借助大模型的跨模态综合技术能力激发创意、提升内容多样性。

为了进一步降低AI应用难度，文心大模型还为开发者提供了工具平台，配套易上手的大模型开发、轻量化、部署工具，让各行各业的开发者都能低门槛地实现AI的应用。

据吴甜介绍，“今年是文心大模型产业落地关键年”。目前，文心大模型已大规模应用于百度内部的各类产品，包含搜索、信息流、小度智能屏、百度地图等，显著提升了产品智能化体验。基于文心的开放能力，对外的日调量也超过了五千万次。

文心大模型已通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业，个人、企业开发者数量超6万。在保险领域应用中，文心大模型的智能解析能力，能使文本处理效率提升30倍；在人力资源领域应用中，文心大模型能实现候选人信息智能分类，模型识别准确率达到99%；在医疗领域应用中，文心大模型将每份病历的检查时间，从30分钟缩短到了秒级别。

从AI核心技术到AI基础平台，坚持技术创新及开放生态，百度正不断降低AI技术开发和应用的门槛，并通过云平台、AI框架、大模型的融合发展，为各行各业的数字化、智能化转型打造厚实的基础设施。