问题修复

• 修复 Tensor.place 之间比较的问题。#73532
• 修复 F.adaptive_log_softmax_with_loss 的问题。#73554
• 修复 Tensor.__radd__、Tensor.__rmul__ 相关问题。#73833
• 修复API的 0-size 相关问题。#73874
• 修复 _DataLoaderIterMultiProcess、_DataLoaderIterSingleProcess的问题。#73931
• 修复 paddle.nanmedian 的问题。#74263
• 修复 paddle.eigh 的问题。#73349
• 修复 paddle.arange 的问题。#74159

功能增强

• paddle.cumprod 支持设置dim为None。#74106
• paddle.zeros/zeros_like/ones/ones_like/eye/empty/empty_like/full/full_like 支持device、dtype、requires_grad等更多参数。#74477
• paddle.ones 支持shape为可变参数的用法。#74494
• F.gelu 的approximate参数支持字符串格式。#74485
• F.scaled_dot_product_attention 支持输入为3D。#73804

文档

• 修复文档相关的问题。#73640,#74356

其他

• 代码风格相关的优化。#73659,#73661,#73660,#74001,#74145,#73863,#73655,#73724,#73764,#73849

• 代码实现相关的优化，文件命名优化，typo修复，MKLDNN相关的优化。#74132,#73626,#73641,#73587,#73801,#73812,#73827,#73845,#73841,#73859,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

• 单测相关的优化，单测问题修复。#73664,#73723,#73725,#73728,#73731,#73726,#73786,#73727,#73721,#73798,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

• 编译与CI问题修复，编译warning优化。#73581,#73984,#74104,#74376,#74468

• 优化调试与打印信息，优化报错信息。#73783,#73886,#74188,#73720,#73857,#74519,#74520,#74384,#74386,#74387,,,,,

• 增加pybind层的接口get_event_handle_from_custom_stream。#73918

• 执行机制相关。#74015

2. 并行策略优化

在3.1版本中，对并行策略进行了多项优化，包括新增VPP流水线的前向状态标注和空泡hook支持，修复了流水线并行的共享参数未同步问题、Sharding通信的维度冲突导致的训练hang问题以及DualPipe的event管理错误，同时提升了Sharding策略下的FP8量化支持和DualPipe的通信计算overlap能力，显著提升了并行训练的稳定性和性能。

功能新增

• 支持在VPP流水线调度下，标注当前是否为前向状态。#74187
• 支持在VPP均衡显存下的空泡hook。#74100

Bug修复

• 修复流水线并行下，共享参数的无法同步的问题。#74047, #74087, #73913
• 修复sharding通信下，ep维度和sharding维度相同时，训练hang的问题。#74268
• 修复dual pipeline调度下，event管理的bug。#74158

性能提升

• 在sharding策略下，支持fp8 量化参数。#73690
• 支持dual pipeline调度下，通信计算overlap。#73690, #74527

3. 通信库

在3.1版本中，我们对通信库进行了功能增强和性能优化，新增了stream接口支持，修复了初始化后额外comm context导致的显存浪费问题，并通过新增通信库初始化配置开关、为DeepEP算子支持multicast=2功能以及实现TMA优化的internode能力，显著提升了通信效率和计算性能。

功能新增

• 增加通信库stream 接口。#74016

Bug修复

• 去除初始化后额外的comm context，节约显存。#73297

性能提升

• 新增通信库初始化配置开关。#73297
• 对于DeepEP算子，支持multicast=2功能。#74144
• DeepEP支持TMA优化的internode。#74284

4. 推理部署

在3.1版本中，推理新增支持safetensors加载功能，修复了一些算子问题，对internode_ll_two_stage实现了一些功能增强，支持通过环境变量启动stream_k，支持使用wint8算法加载int8权重等。

功能新增

• 使用MmapStorage加速safetensors格式模型文件加载。#73820

Bug修复

• 修复当输入数据类型大小小于输出数据类型大小时的view算子问题#73769
• 更新dynamic_loader.cc文件 #73577
• 修复非截断top_p_sampling问题 #73852
• 修复moe_gemm中的stream_k问题 #74351
• 修复使用.json模型时的GetInputTypes()和GetOutputTypes()问题#74358
• 修改Layout断言#74415
• 修复编译问题#74492
• 修复deep_ep st_release问题#73578

功能增强

• 删除hidden_size的冗余缓冲区和循环#74167
• 在internode_ll_two_stage中实现缓冲区间插#74276
• 使internode_ll_two_stage支持异步和hook模式#74405

性能提升

• 支持通过环境变量启用stream_k功能#74317

其他

• 支持使用wint8算法加载int8权重#73689
• 添加num_experts和num_rdma_ranks的调度#74078

5. 基础执行架构

3.1版本中，我们主要针对Slice相关的算子和操作进行了系统化的升级，大幅提升了Slice操作的效率。同时针对一些大模型训练中遇到的问题进行了修复。

问题修复

• 修复大 tensor 相关 api。 #73283,#74120,#73657,#73654,#73559

• 修复动转静遗留问题。 #71520

• 修复cuda多流问题。 #74011

• 其他重要修复。 #74378

功能增强

• 支持slice相关功能。 #74038,#74147,#74344

6. 自动并行架构

在3.1版本中，我们主要针对自动并行架构的切分推导规则进一步进行了完善，增强了自动并行的切分推导效率，同时修复了之前功能中一些易用性和正确性问题。

功能改进

• 优化 reshape 算子的切分推导规则，以支持分布式张量的同一纬度被多个mesh维度切分的场景。#74352
• 支持分布式张量的同一维度被多个mesh维度切分时的默认切分推导规则。#74396

新增以下算子的切分推导规则

• take_along_axis #72063
• index_put, index_put_grad #73486
• conv3d, conv3d_grad #72882
• depthwise_conv2d, depthwise_conv2d_grad #73134
• conv2d_transpose, conv2d_transpose_grad #73188
• einsum #73753
• moe_combine, moe_combine_grad, moe_gate_dispatch, moe_gate_dispatch_grad #74215

问题修复

• 修复长文并行策略的bug。#73735
• 修复save/load在开启流水线并行策略下的bug。(#73749)
• 修复分组切片并行的overlap优化策略的bug。#73717
• 修复reshape算子在inplace机制下的bug。#73836
• 修复 MoE 场景下 all2all 的bug。#73894
• 修复分组切片并行场景下通信融合的bug。#73997
• 修复动态图模式下重计算策略的bug。#74075
• 修复group_norm 和 layer_norm 算子切分推导bug。#74139
• 修复调用 ProcessMesh 的 get_group 方法时重复创建通信组的bug。#73099
• 修复流水线并行场景下梯度裁剪的精度bug。#74409
• 修复流水线并行策略的bug。#73615
• 修复流水线并行场景下不同stage间无法传递stop_grad=True参数的bug。#73459

性能优化

• 支持流水线并行场景下的参数共享及通信优化。#73733

其他

• 清理废弃代码,以便于维护代码。#73967, #73744
• 支持dataloader手动并行和自动并行的精度对齐。#73941

7. 算子机制

在3.1版本中，我们重点针对大模型训练中遇到的大shape tensor、0 size tensor、以及一些关键kernel的精度问题进行了系统化修复，为大模型训练的稳定性和正确性提供了更好的保障。

新特性

• MoE（混合专家系统）优化。 #73592,#73763
• 复数运算支持。 #73674
• 动态图与自动微分增强。 #73622,#73601,#73737,#73747,#73761,#74137
• 组合算子优化。 #73923
• API兼容性提升。 #74449
• 增加 pd.rint 算子。 #74012

问题修复

• 修复算子 0-size 相关问题。 #73680,#73715,#73702,#73550,#73736,#72986,#73740,#73821,#73889,#73882,#73962,#73998,#73040,#73853,#74046,#74006,#73848,#73806,#74022,#73933,#74057,#74042,#73832,#73844,#73854,#74153,#74131,#74129,#74119,#74143,#74152,#74175,#74112,#74185,#74184,#74200,#74150,#74157,#74229,#73986,#74261,#74259,#74295,#74305,#74323,#74354

• 修复算子大 tensor 相关问题。 #73380,#73635,#73706,#73712,#73745,#73738,#73802,#73899,#73895,#74019,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

• Paddle CPU/GPU Kernel 精度问题推全。 #73562,#73739,#74009,#74081,#74160,#74077,#74102,#74219,#74257,#74198,

• 其他重要修复。 #73670,#73774,#73877,#73993,#74032,#74034,#74073,#74096,#74065,#74002,,,,,,,,,,,,,,,,,,,,,,,

功能增强

• fp8 运算相关算子性能优化。 #73564,#73370,#73881,#73644,#73639,#73777,#74173,#74471

• linalg.lu算子功能支持。 #73885,#74130,#74258,#74456

• Paddle API 兼容性提升。 #74480,#74523,#74490,#74548

• 其他重要优化。 #73815,#74372

性能优化

• 显存优化。 #73803

其他

• 算子 CPU 支持。 #73872

8. 框架性能优化

功能增强

• 提升 slice 性能。 #73247,#73628,#73834,#73971

其他

• 添加 slice 相关检查。 #74103

9. 编译器

功能增强

1. 支持float8e4m3数据类型（#74111）
2. 新增支持rint算子，优化arange算子性能 (#74013, #74209)
3. 增强表达式化简能力 (#74292)

Bug修复

修复各类场景下的一些处理逻辑 Bug。 (#73940, #74050, #73929, #74040, #74240, #74316, #74328, #74412, #74432, #74450, #74461, #74462)

10. 硬件适配

新特性

• XPU上concat_grad OP增加zero dim支持 #73808
• XPU上weight_only_linear支持fp16 weight_scale #73963
• XPU上python memory api 升级 #73189
• XPU上python streams api 升级 #73924

问题修复

• 修复XPU上FFT算子 #73785
• 修复XPU strided_copy data_size param #74225

其他

• 升级XHPC版本到20250722。 #74277

11. 安装环境

问题修复

• 修复macOS-x64在使用-DONNXRUNTIME=ON时编译失败的问题。#73631
• 更新昆仑镜像。#73669