NewRelease v0.9.0新特性 集成 Paddle 2.3 Inference : #1781 C++ Serving 异步框架自动批量 ：#1685 C++ Serving 适配 Jetpack 4.6 : #1700 C++ Serving 异步框架支持2维 LOD Pedding : #1713 大模型分布式推理 ：[#1753](https://gi... Read full release & details
新特性 集成 Paddle 2.3 Inference : #1781 C++ Serving 异步框架自动批量 ：#1685 C++ Serving 适配 Jetpack 4.6 : #1700 C++ Serving 异步框架支持2维 LOD Pedding : #1713 大模型分布式推理 ：[#1753](https://gi...
NewRelease v0.8.3新特性 增加C++ Serving 和 Pipeline Serving编译环境检查 #1584 C++ Serving 支持修改log日志生成路径 #1592 使用TRT时，新增动态shape配置功能和示例 #1590 新增Python Pipeline Serving 普罗米修斯监控 #1586 新增C++ Serving 普罗米修斯监控 #1568 #1576 #1577 支持异构硬件，包括：x86+DCU、ARM+ascend310、ARM+ascend910 #1544 支持Python39 性能优化 C++ Serving增加请求结果缓存功能，相同的请求直接返回 #1585, #1588 功能增强 更便捷的C++串联多模型方式 #1546 dockerfile升级，新增cento... Read full release & details
新特性 增加C++ Serving 和 Pipeline Serving编译环境检查 #1584 C++ Serving 支持修改log日志生成路径 #1592 使用TRT时，新增动态shape配置功能和示例 #1590 新增Python Pipeline Serving 普罗米修斯监控 #1586 新增C++ Serving 普罗米修斯监控 #1568 #1576 #1577 支持异构硬件，包括：x86+DCU、ARM+ascend310、ARM+ascend910 #1544 支持Python39 性能优化 C++ Serving增加请求结果缓存功能，相同的请求直接返回 #1585, #1588 功能增强 更便捷的C++串联多模型方式 #1546 dockerfile升级，新增cento...
NewRelease v0.7.0新特性 集成Intel MKLDNN加速推理 #1264，#1266, #1277 C++ Serving支持HTTP 请求 #1321 C++ Serving支持gPRC 和HTTP + Proto请求 #1345 新增C++ Client SDK #1370 性能优化 C++ Serving优化Pybind传递数据方法 #1268, #1269 C++ Serving增加GPU多流、异步任务队列，删除冗余加锁 #1289 C++ Serving WebServer使用连接池和数据压缩 #1348 C++ Serving框架新增异步批量合并，支持变长LOD输入 #1366 C++ Serving stage并发执行 #1376 C++ Serving增加各阶段处理耗时日志 #1390 功能变...Read full release & details
新特性 集成Intel MKLDNN加速推理 #1264，#1266, #1277 C++ Serving支持HTTP 请求 #1321 C++ Serving支持gPRC 和HTTP + Proto请求 #1345 新增C++ Client SDK #1370 性能优化 C++ Serving优化Pybind传递数据方法 #1268, #1269 C++ Serving增加GPU多流、异步任务队列，删除冗余加锁 #1289 C++ Serving WebServer使用连接池和数据压缩 #1348 C++ Serving框架新增异步批量合并，支持变长LOD输入 #1366 C++ Serving stage并发执行 #1376 C++ Serving增加各阶段处理耗时日志 #1390 功能变...
NewRelease v0.6.0Paddle Serving v0.6.0 Release note: 新特性： 集成Paddle 2.1 inference, #1221 支持fp16和int8的低精度推理, #1130, #1236 通过Kubernetes部署Serving服务, #1139, #1184, #1193 新增安全网关与Serving协同部署, #1235 支持X86 + XPU环境部署Serving, #1080 功能增强： Python合并paddle_serving_server和paddle_serving_server_gpu成统一服务, #1082 Pipeline增加mini-batch推理, #1186 Pipeline支持日志切割, #1238 Pipeline优化数据传入... Read full release & details
Paddle Serving v0.6.0 Release note: 新特性： 集成Paddle 2.1 inference, #1221 支持fp16和int8的低精度推理, #1130, #1236 通过Kubernetes部署Serving服务, #1139, #1184, #1193 新增安全网关与Serving协同部署, #1235 支持X86 + XPU环境部署Serving, #1080 功能增强： Python合并paddle_serving_server和paddle_serving_server_gpu成统一服务, #1082 Pipeline增加mini-batch推理, #1186 Pipeline支持日志切割, #1238 Pipeline优化数据传入...
NewRelease v0.5.0 New Features Support paddle 2.0 API Support dynamic graph model conversion to Serving model interface Add java pipeline client Support model encryption and decryption Adapt shape to webserver automatically Predict on XPU, ARM Improve Add more Nvidia TensorRT demos Add more dockers on Ubuntu Support python 3.8 Support batch predict... Read full release & details
New Features Support paddle 2.0 API Support dynamic graph model conversion to Serving model interface Add java pipeline client Support model encryption and decryption Adapt shape to webserver automatically Predict on XPU, ARM Improve Add more Nvidia TensorRT demos Add more dockers on Ubuntu Support python 3.8 Support batch predict...