AMD-Quark量化工具终极指南轻松实现gpt-oss-120b模型压缩【免费下载链接】gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_routerAMD-Quark量化工具是一款强大的模型优化工具专为实现gpt-oss-120b模型的高效压缩而设计。通过MXFP4量化技术它能够在保持模型性能的同时显著减小模型体积提升运行效率是AI开发者和研究人员的得力助手。为什么选择AMD-Quark进行模型压缩在当今AI领域大模型的应用越来越广泛但庞大的模型体积和高昂的计算资源需求成为了其普及的一大障碍。AMD-Quark量化工具应运而生它具有以下显著优势高效的量化方案AMD-Quark采用MXFP4量化方案能够对模型的权重和激活进行精准量化。权重采用OCP MXFP4静态量化激活采用OCP MXFP4动态量化同时将注意力和KV缓存量化为FP8在保证模型性能损失最小的情况下大幅降低模型的存储空间和计算复杂度。出色的硬件兼容性该工具支持AMD MI350/MI355等先进硬件微架构配合ROCm 7.0操作系统能够充分发挥AMD GPU的性能优势为模型的量化和部署提供稳定可靠的硬件环境。简单易用的操作流程AMD-Quark提供了清晰简洁的量化流程即使是新手用户也能快速上手。通过简单的命令行操作即可完成模型的量化、导出和部署大大降低了模型压缩的技术门槛。快速上手AMD-Quark量化工具安装步骤要开始使用AMD-Quark量化工具首先需要进行安装。以下是详细的安装步骤下载AMD-Quark安装包wget https://download.amd.com/opendownload/Quark/amd_quark-0.11.1-py3-none-any.whl使用pip安装AMD-Quarkpip install amd_quark-0.11.1-py3-none-any.whl下载并解压AMD-Quark示例代码wget https://download.amd.com/opendownload/Quark/amd_quark-0.11.1.zip unzip amd_quark-0.11.1.zip进入量化示例目录cd amd_quark-0.11.1/examples/torch/language_modeling/llm_ptq完成以上步骤后AMD-Quark量化工具就安装完成了接下来就可以开始进行模型的量化操作。详细步骤使用AMD-Quark量化gpt-oss-120b模型使用AMD-Quark量化gpt-oss-120b模型分为以下几个关键步骤按照这些步骤操作即可轻松完成模型的压缩。步骤一下载基础模型首先需要下载gpt-oss-120b基础模型使用以下命令hf download openai/gpt-oss-120b --local-dir /path/to/openai-gpt-oss-120b将/path/to/openai-gpt-oss-120b替换为你想要保存模型的本地路径。步骤二配置量化脚本在示例代码目录中有一个quantization_command.sh脚本我们需要对其进行配置。以下是脚本的内容#!/bin/bash exclude_layers*lm_head* *router* python3 quantize_quark.py \ --model_dir /path/to/openai-gpt-oss-120b \ --quant_scheme mxfp4_fp8 \ --kv_cache_dtype fp8 \ --attention_dtype fp8 \ --exclude_layers $exclude_layers \ --num_calib_data 512 \ --output_dir /path/to/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router \ --model_export hf_format \ --multi_gpu需要将--model_dir和--output_dir参数替换为实际的路径。--quant_scheme指定了量化方案为mxfp4_fp8--kv_cache_dtype和--attention_dtype分别设置KV缓存和注意力的 dtype 为fp8--num_calib_data设置校准数据的数量为512。步骤三执行量化命令给量化脚本添加执行权限并运行chmod x quantization_command.sh ./quantization_command.sh量化过程会自动进行根据硬件配置的不同可能需要一定的时间。完成后量化后的模型会保存在--output_dir指定的路径下。模型评估量化后性能表现如何量化后的模型性能是大家非常关心的问题我们对使用AMD-Quark量化后的gpt-oss-120b模型进行了评估在AIME25和GPQA Diamond基准测试中采用low推理努力设置结果如下表所示基准测试gpt-oss-120bgpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router本模型恢复率AIME2565.2547.9171.37%GPQA51.6764.64125.10%从评估结果可以看出量化后的模型在GPQA基准测试中表现出色恢复率达到了125.10%超过了原始模型的性能。在AIME25基准测试中恢复率也达到了71.37%考虑到模型体积的大幅减小这样的性能表现是非常优秀的。如何复现评估结果如果你想复现评估结果可以按照以下步骤操作启动vLLM服务器vllm serve amd/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router \ --tensor_parallel_size 2 \ --gpu-memory-utilization 0.90 \ --no-enable-prefix-caching \ --max-num-batched-tokens 1024在新的终端中运行评估命令python -m gpt_oss.evals --model /shareddata/amd/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router --eval aime25,gpqa --reasoning-effort low --n-threads 128其中/shareddata/amd/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router是量化后模型的路径。常见问题解答解决你在使用过程中的疑惑在使用AMD-Quark量化工具的过程中可能会遇到一些问题以下是一些常见问题的解答问题一量化过程中提示缺少依赖怎么办如果在量化过程中提示缺少某些依赖包可以使用pip安装相应的依赖。例如如果提示缺少vllm可以运行pip install vllm进行安装。问题二量化后的模型如何部署量化后的模型可以使用vLLM进行部署具体的部署命令可以参考前面的启动服务器步骤。此外也可以根据实际需求将模型集成到自己的应用程序中。问题三是否支持其他模型的量化AMD-Quark主要针对gpt-oss-120b模型进行了优化但也可能支持其他类似结构的大语言模型。如果你想量化其他模型可以参考官方文档或联系技术支持获取帮助。总结AMD-Quark让大模型压缩变得简单高效通过本文的介绍相信你已经对AMD-Quark量化工具有了全面的了解。它以其高效的量化方案、出色的硬件兼容性和简单易用的操作流程为gpt-oss-120b模型的压缩提供了完美的解决方案。无论是AI开发者还是研究人员都可以通过AMD-Quark轻松实现模型的压缩和优化在降低计算资源需求的同时获得出色的性能表现。如果你还在为大模型的体积和计算成本而烦恼不妨尝试一下AMD-Quark量化工具让模型压缩变得简单高效【免费下载链接】gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router项目地址: https://ai.gitcode.com/hf_mirrors/amd/gpt-oss-120b-w-mxfp4-a-fp8-kv-fp8-fp8attn-no_lmhead_router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考