京东 Oxygen xLLM 大模型推理引擎正式捐赠开放原子开源基金会，共建国产 AI Infra 生态

2026 年 6 月 24 日北京 —— 在开放原子开源基金会主办的捐赠仪式上京东正式宣布将自主研发的大模型推理引擎 Oxygen xLLM 捐赠至开放原子开源基金会。京东零售 AI Infra 大数据计算负责人张科代表京东出席捐赠仪式与基金会及合作伙伴共同见证这一国产大模型推理引擎走向更开放生态的关键时刻。01本次捐赠6 月 24 日上午“Oxygen xLLM开源项目捐赠仪式”在开放原子开源基金会主导下举行。京东将 Oxygen xLLM 的著作权、相关专利权、项目商标及配套权益整体转让至基金会并以 Apache 2.0 许可证向社区开放。这不是一次简单的代码迁移而是京东多年大模型工程实践向产业生态的一次系统性输出。依托基金会的平台与影响力Oxygen xLLM 将与模型厂商、芯片厂商、云厂商及行业用户携手加速国产推理引擎走向繁荣。不止于捐赠AI 工程基建的下一程是“工程智能化”捐赠仪式现场京东零售 AI Infra 大数据计算负责人张科代表京东出席并参与捐赠环节重点阐述了京东对国产 AI 基础设施下一阶段的判断。张科指出AI 工程基建的未来是工程智能化Engineering Intelligence, EI。“下一阶段 AI 基础设施的核心命题不是简单的算力堆叠而是让工程本身变得智能——让调度系统能自主感知负载特征并动态优化让推理引擎能根据模型结构和硬件特性自动生成最优执行方案让整个 AI 工程链路具备自感知、自决策、自优化的能力。”他同时强调工程智能化EI的愿景远非一家企业所能独立实现。“它需要芯片厂商、框架开发者、模型团队、云服务商以及广大开发者生态的齐心协力、共同开放打造。Oxygen xLLM 捐赠给开放原子开源基金会正是我们为 EI 生态播下的一颗种子。”Oxygen xLLM服务-引擎解耦的大模型推理引擎大模型在生产环境的规模化部署正面临三道难题SLO 与资源效率难以兼得、硬件潜力释放不足、异构场景协同困难。流量潮汐、MoE 等新架构的快速演进、多模型多芯片并存的复杂局面让“既要稳、又要快、还要省”愈发迫切。Oxygen xLLM 是业界首个采用“服务-引擎解耦”架构的大模型推理框架将集群调度Service 层与底层计算Engine 层分离把弹性资源分配与极致算力榨取统一在同一套框架之内Oxygen xLLM 服务层xLLM-Service在线-离线任务统一弹性调度兼顾 SLO 与利用率动态 PD 分离应对流量突刺全局 KV 缓存与快速故障恢复保障大规模生产可用性。Oxygen xLLM 引擎层xLLM-Engine多层次流水线让计算与通信全面重叠自适应图模式与高效内存管理破解动态输入和显存分配难题针对 MoE、投机解码、生成式推荐等场景专项优化充分释放硬件潜力。接入层Oxygen xLLM 提供统一 AI Gateway 与 OpenAI 兼容 SDK硬件层原生支持 GPU / NPU / MLU 多类 AI 芯片深度适配国产芯片。04核心技术亮点与工业级验证围绕“统一、性能、稳定、开放”Oxygen xLLM 形成五项差异化能力架构创新—— 首创服务-引擎解耦调度与计算独立演进、协同增效性能突破—— 多层次流水线、自适应图模式、动态 PD 分离等关键技术在严格 SLO 约束下显著提升吞吐与资源利用率整体性能超越现有 SOTA 推理框架异构统一—— 统一推理抽象层屏蔽硬件与模型差异支持 LLM、VLM、DiT、文生图/视频、生成式推荐等多类模型以及多种国产芯片混合部署高可用保障—— 全局 KV Cache 管理、分布式快速故障恢复、健康监控与自动巡检护航大规模生产稳定运行国产化适配—— 一套框架覆盖多种国产芯片填补异构芯片统一推理空白降低国产化部署门槛。Oxygen xLLM 并非“实验室项目”已在京东多个核心业务规模化落地并在外部多个行业完成验证电商京东客服大模型等场景中面对大促期间数倍的流量波动集群利用率提升35% 以上P99 延迟降低28%电力面向电力巡检“秒级与毫秒级并存”的两极时延需求巡检效率较人工提升约 3 倍停电事故率下降30%应急维修效率提升20%公共安全合作伙伴联汇基于 Oxygen xLLM 构建边缘推理能力巡检效率提升227%32 并发提升127%TTFT 缩短50%。05社区与生态从京东走向开放原子Oxygen xLLM 自开源以来已收获良好的早期反响GitHub Stars 1.4k、Forks 235各大国产芯片厂商和大模型厂商已成为项目核心参与与赞助方。加入开放原子开源基金会后Oxygen xLLM 将聚焦三件事生态共建—— 联合更多模型厂商、芯片厂商、云厂商共建社区打造“芯片框架解决方案”的完整生态广泛推广—— 借助基金会影响力把已在京东及合作伙伴验证过的能力推向更多行业标准引领—— 推动形成大模型推理引擎相关标准助力国产化推理能力规模化应用。按照规划2026 年 Oxygen xLLM 将完成全模态模型文生图/视频/Omini支持、主流国产芯片全面适配、企业版商业服务推出社区贡献者规模拓展至 200 人量级2027 年起进入“行业渗透与标准引领”阶段推动 Oxygen xLLM 成为国产芯片大模型推理的事实标准。未来Oxygen xLLM 的项目官网、社区沟通渠道及微信社区将陆续向开发者开放诚邀芯片厂商、模型厂商、云厂商、企业用户及个人开发者共同参与让国产大模型推理引擎在开放生态中加速成长。GitHub 地址https://github.com/jd-opensource/xllm— END —