README【免费下载链接】triton-inference-server-ge-backendge-backend基于triton inference server框架实现对接NPU生态快速实现传统CV\NLP等模型的服务化。项目地址: https://gitcode.com/cann/triton-inference-server-ge-backend新版本特性 v2.3.0支持对全局、session、graph 的options进行添加从而进一步调优模型相关案例请参考 性能调优方法论。支持采用分档模式将符合条件模型转化为静态图提高吞吐性能。补充如何采用分档模式锁核调整精度进一步提高性能。在AscendHub下载镜像时需确认好版本若使用旧版本镜像需要手工下载源码编译生成新的backend后才能支持新特性。版本特性 v2.2.0支持从onnx文件读取模型输入输出信息, config中若无指定inputoutput将会自动从文件中读取调整动态图在多实例下使用多Session方式提高并发吞吐(显存占用会增高)支持动态batch场景小batch动态合并特性配合多Session提高吞吐补充调优方法论以及cnclip模型的最佳实践支持多模型特性可支持同时拉起多个模型提高现存利用率支持非0轴动态shape场景支持TensorFlow的pb文件。介绍ge-backend基于triton inference server框架实现对接NPU生态快速实现传统CV\NLP模型的服务化。triton inference server相关介绍请参考 https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html实现原理triton inference server 提供了Custom backend 接口允许通过自定义backend实现NPU设备接入。将本工程编译的backend文件libnpu_ge.so安装到 {Triton-server源码安装目录}/backends/npu_ge/, 启动triton-inference-server服务端, server在拉起模型过程中根据模型设置选择npu_ge后端对推理请求进行分发。ge_backend 采用 GE组图方式进行推理基于C实现支持GE的图优化、UB融合、多流并行等诸多特性以便更好的为服务化模型提供更高吞吐。模型在使用该框架时需要统一转换为Onnx格式并基于triton-inference-server规范配置模型相关config以及版本信息。特性支持情况特性名称介绍支持情况多模型可支持一个server启动多个模型√多实例模型可同时处理多个请求此特性需搭配多流并行或多卡使用√多卡支持一个模型可同时跑在多张卡上每张卡可配置1 的实例√多卡负载均衡多卡情况下能根据每张卡上任务数量动态分配请求目前仅支持所有请求shape一致场景动态batch支持input、output 的0轴为可变场景√GE静态图通过shape固定实现初始化图时分配好所有显存提高图执行效率√多流并行多实例场景下NPU支持多Stream提高NPU利用率√锁核配置每一条stream使用Cube以及Vector核心数量以便多stream情况下提高吞吐√非0轴动态支持非0轴情况下的动态shape√ *自动配置支持onnx模型自动读取input、output免配置√ **若output中包含动态轴在导出onnx时需指定其与input中轴的关系详情请查看 Torch模型转换为onnx快速入门用户可参考 快速入门 文档从0-1掌握如何使用该backend快速接入NPU实现小模型服务化。问题定位工具在服务启动、推理过程中遇到问题可参考问题定位 文档定位具体问题性能调优方法论用户可参考此文档逐步提高模型吞吐将性能调整至最优文章最后以cnclip模型迁移为例展示模型从转换至接入、运行、调优全流程请点击 性能调优方法论 查看相关信息贡献指南许可证所属SIG联系我们本项目功能和文档正在持续更新和完善中建议您关注最新版本。问题反馈通过GitCode【Issues】提交问题。社区互动通过GitCode【讨论】参与交流。微信交流群通过添加【GE小助手】并反馈需要加入【triton-ge-backend交流群】小助手会将您添加至相应交流群【免费下载链接】triton-inference-server-ge-backendge-backend基于triton inference server框架实现对接NPU生态快速实现传统CV\NLP等模型的服务化。项目地址: https://gitcode.com/cann/triton-inference-server-ge-backend创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考