用飞桨一站式搞定大模型生产 PaddleFleetX大模型开发套件业内首发

图：百度AI技术生态总经理马艳军分享飞桨平台最新发布

飞桨开源框架2.4版发布，以底层技术创新持续优化性能表现

　　此次飞桨升级的2.4版本，框架开发更加灵活便捷，大规模模型分布式训练持续领先，并实现了全场景高性能推理部署。

　　开发方面，飞桨开源框架2.4版本针对稀疏计算、图学习等重要场景新增160多个API，并且API开发门槛和成本大幅降低，使此次新增的API中有1/3来自生态开发者的贡献。针对AI for Science场景需求，2.4版实现了通用的高阶自动微分功能，更好地支持科学计算相关应用。同时，飞桨全面提升了核心动转静技术的可扩展性和部署灵活性，新模型动转静成功率达92%，充分发挥动态图和静态图各自优势。

　　训练方面，2.4版全新升级，推出了基于GPU的超大规模图模型训练引擎PGLBox，在业内率先实现了可同时支持复杂算法、超大图、超大离散模型的一体化图学习方案。另外，飞桨的集合通信分布式训练性能也做到了极致优化，为大模型训练提供了全面丰富的分布式训练性能优化体系，基于此，飞桨今年连续两次获得国际权威的AI训练基准测试MLPerf Training榜单第一。

　　作为AI实现产业落地的“最后一公里”，模型的推理部署过程十分关键。首先对于大模型的推理，飞桨开源框架2.4版支持自适应模型切分和分布式推理等功能，依托飞桨框架动转静能力，可实现自动深度融合及高性能优化，全面支撑大模型应用落地。同时为了从根本上解决AI应用落地面临的场景碎片化、开发成本高、推理速度慢三大难题，飞桨全新推出的全场景高性能AI部署工具FastDeploy，一站式满足端、边、云多场景，多框架与多硬件的部署需求，不仅API设计统一，简单易用，而且还支持自动化压缩与高性能推理引擎深度联动，可充分发挥软硬一体融合优势，拥有业内领先的推理性能，为AI产业应用落地提供最优解。

持续降低应用门槛，加速AI应用落地

　　大模型的应用可以降低AI应用的门槛，但大模型开发、训练、推理部署过程仍具有很大的挑战。为了更好地支撑大模型应用落地，飞桨全新发布端到端大模型开发套件PaddleFleetX。PaddleFleetX无缝对接飞桨并行策略并支持定制化组合，可以扩展支持更多类型的大模型，开发者可以根据模型结构的特点自行选择并行策略组合，并且支持GPU/NPU/DCU等多硬件平台的多云环境的训练调试。同时，PaddleFleetX还支持自适应分布式推理技术，真正做到了分布式策略的训推一体，大可支持超大模型的服务化部署，小可协同训压推结合的丰富小型化策略，实现端侧轻量化部署。

　　此次峰会上，飞桨产业级开源模型库开源算法新增至600个以上，覆盖视觉、自然语言、时序建模等主流任务场景；经过产业实践打磨的精度与性能平衡PP系列特色模型新增至42个；飞桨产业实践范例增至68个，覆盖金融、工业、交通、互联网、安防、教育等十个重点行业场景；发布飞桨产业级模型库一站式入口，聚合模型知识与工具集，打通模型选择、快速体验、模型开发与使用、模型部署全流程。飞桨从产业模型开源、范例参考等方面蓄力，为企业应用AI技术提供便利支持，共同解决产业痛点难点。

携手各领域生态伙伴共创共享，共同打造繁荣飞桨AI生态

　　推动人工智能在产业中落地应用，离不开与硬件生态伙伴的携手前行。今年5月，飞桨联合硬件生态伙伴发布“硬件生态共创计划”，在联合研发、资源共享、联合授权、培训赋能等多个维度全面合作。截至11月，飞桨“硬件生态共创计划”成员已经从13家增加至28家。同时，飞桨携手英伟达、Arm、寒武纪、昆仑芯、天数智芯、Graphcore、燧原等12家厂商联合发布了飞桨生态发行版，在为开发者提供更好的软硬一体化体验的同时，携手共建繁荣硬件生态。

　　为进一步加速AI产业智能化升级，飞桨深入产业场景，联合国家能源集团、中国工商银行、中国联通、中国石油、中国铁道科学研究院、中国移动、中国一汽等行业龙头企业，发布产业实践范例征集计划，链接企业与开发者，解决各行业实际产业场景中的关键问题，助力AI产业落地。

　　飞桨建设的AI Studio学习与实训社区致力于让AI学习和应用更简单，目前也已成为国内最大的AI开发者社区。本次峰会上，AI Studio升级新增两大板块：企业实训和生态异构算力中心。

　　企业实训为企业应用深度学习提供了实训阵地。截至目前，飞桨已与20余家知名企业联合举办赛事，共同探索AI应用方案，培养AI人才。长期以来，AI Studio为广大开发者提供了包括CPU和GPU的丰富算力资源，又接入了曙光DCU算力，为开发者提供线上体验中心，为硬件基础设施提供便捷的体验环境，生态异构算力中心欢迎更多硬件厂商入驻。

　　源于产业实践的百度飞桨深度学习开源开放平台，是百度践行融合创新、降低门槛的AI大生产平台。未来，随着深度学习核心技术的持续深耕，飞桨将更好地支撑AI与大模型落地应用，不断建设更加繁荣的AI生态，推动产业加速实现智能化升级，让AI惠及千行百业。