Qwen3-0.6B 单机样例云开发平台【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu本文档给出torchtitan_npu/models/qwen3在云开发平台上的最小可运行样例默认使用qwen3_0.6b.toml进行单机场景训练。1. 环境准备选择云平台中的cann_9.0.0-beta.2-py3.11-A3-arm-20260422镜像创建环境即可。说明镜像名称中的日期后缀如20260422会随云平台版本迭代更新选择时请确认满足以下两个关键条件即可Python 版本py3.11架构A3-arm1.1 卸载与安装指定版本需管理员权限执行前需要先卸载云平台自带的torch和torch_npu卸载需要管理员权限。卸载管理员权限sudo pip uninstall -y torch torch_npu进入仓库根目录后安装依赖pip install -r requirements.txt2. 准备 Ascend 环境变量本样例基于云平台环境云平台默认是2 die需要按云平台场景调整scripts/run_train.sh里的 CANN 包路径CANN 包路径更新当前云环境中 CANN 包路径为/home/developer/Ascend/ascend-toolkit/set_env.sh需将脚本中对应的source行修改为该路径。关闭 nnal 包当前样例不依赖nnal包请将脚本中的source /usr/local/Ascend/nnal/atb/set_env.sh注释掉避免因路径不存在导致启动失败。关于卡数NGPU与训练配置CONFIG_FILE无需修改脚本可以在拉起命令中通过环境变量直接覆盖详见第 4 节。3. 模型权重准备本样例使用的Qwen3-0.6B模型权重准备方法如下# 从魔塔社区下载模型的基础文件存放在当前目录的 ./Qwen3-0.6B 目录下 mkdir ./Qwen3-0.6B modelscope download --model Qwen/Qwen3-0.6B --local_dir ./Qwen3-0.6B如果目录改动需要同步修改qwen3_0.6b.toml中model.hf_assets_path和checkpoint.initial_load_path。4. 使用默认配置启动qwen3_0.6bscripts/run_train.sh支持通过环境变量覆盖默认参数云平台 2 die 场景下可在拉起命令中直接指定NGPU与CONFIG_FILE无需修改脚本NGPU2 CONFIG_FILE./torchtitan_npu/models/qwen3/train_configs/qwen3_0.6b.toml bash scripts/run_train.sh环境变量说明NGPU2覆盖脚本中NGPU${NGPU:-8}的默认值匹配云平台 2 die 场景。CONFIG_FILE...指定本样例的 Qwen3-0.6B 训练配置覆盖脚本中默认的 DeepSeek 配置。其余默认值无需指定默认训练入口torchtitan_npu.entry。默认数据集./tests/assets/c4_test在所选 toml 中配置。默认输出目录./outputs在所选 toml 中配置。5. 常见问题source .../set_env.sh失败检查 Ascend Toolkit 安装路径并修正脚本或手动source。启动后找不到数据集确认qwen3_0.6b.toml中training.dataset_path路径可访问。卡数不符确认NGPU与云开发平台分配的 NPU 资源一致。关于./outputs/checkpoint目录训练默认会从该目录加载已有 checkpoint 续训因此请按场景选择是否清理从头开始训练如调参、复现 loss 曲线、对比实验删除./outputs/checkpoint整个目录否则会从上一次保存的步数继续导致起始 step 不为 0。续训 / 断点恢复如训练中途异常退出、需要在原训练基础上继续保留该目录重新拉起后会自动从最近一次 checkpoint 恢复。6. 训练效果图【免费下载链接】torchtitan-npuAscend Extension for torchtitan项目地址: https://gitcode.com/cann/torchtitan-npu创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考