Linux开发环境搭建：Ubuntu系统安装及Qwen3.5-9B-AWQ-4bit部署全记录

Linux开发环境搭建Ubuntu系统安装及Qwen3.5-9B-AWQ-4bit部署全记录1. 准备工作与环境概述在开始之前我们需要明确几个关键点。Qwen3.5-9B-AWQ-4bit是一个经过量化的AI大模型相比原版模型它能在保持较高性能的同时显著降低显存占用。这套方案特别适合在消费级显卡如RTX 3090/4090上运行大模型。我们将使用Ubuntu 22.04 LTS作为基础系统这是目前最稳定的Linux发行版之一对NVIDIA显卡支持良好。整个流程分为两大阶段系统安装和环境配置。建议准备至少50GB的磁盘空间以及一张支持CUDA的NVIDIA显卡。2. Ubuntu系统安装指南2.1 制作安装介质首先从Ubuntu官网下载22.04 LTS版本的ISO镜像。使用RufusWindows或dd命令Linux/Mac将镜像写入U盘。建议使用至少8GB容量的U盘写入时选择GPT分区方案和UEFI目标系统。2.2 安装过程详解插入U盘启动后选择Install Ubuntu。关键步骤包括分区方案针对100GB磁盘示例EFI系统分区512MB交换空间内存大小的1.5倍如32GB内存则分配48GB/根分区剩余全部空间用户设置 建议创建一个具有sudo权限的普通用户而非直接使用root账户。记住设置强密码。软件选择 在安装类型界面勾选安装第三方软件以获取更好的硬件支持。安装完成后重启移除安装介质进入新系统。3. 基础环境配置3.1 系统更新与基础工具首先更新软件源并升级系统sudo apt update sudo apt upgrade -y安装常用开发工具sudo apt install -y build-essential git curl wget cmake python3-pip python3-venv3.2 NVIDIA驱动安装禁用系统自带的nouveau驱动sudo bash -c echo blacklist nouveau /etc/modprobe.d/blacklist-nvidia-nouveau.conf sudo bash -c echo options nouveau modeset0 /etc/modprobe.d/blacklist-nvidia-nouveau.conf sudo update-initramfs -u重启后验证nouveau是否已禁用lsmod | grep -i nouveau安装官方驱动以515版本为例sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install -y nvidia-driver-515安装完成后重启使用nvidia-smi命令验证驱动是否正常工作。4. CUDA与cuDNN环境搭建4.1 CUDA Toolkit安装下载并安装CUDA 11.7与Qwen3.5兼容的版本wget https://developer.download.nvidia.com/compute/cuda/11.7.1/local_installers/cuda_11.7.1_515.65.01_linux.run sudo sh cuda_11.7.1_515.65.01_linux.run安装时注意取消勾选驱动安装已单独安装接受协议并选择默认安装路径添加环境变量到~/.bashrcecho export PATH/usr/local/cuda-11.7/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc验证安装nvcc --version4.2 cuDNN安装从NVIDIA官网下载对应CUDA 11.7的cuDNN需要注册账号然后安装tar -xzvf cudnn-linux-x86_64-8.5.0.96_cuda11-archive.tar.xz sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64 sudo chmod ar /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*5. Python环境与模型部署5.1 创建虚拟环境建议使用Python 3.10sudo apt install -y python3.10 python3.10-venv python3.10 -m venv qwen-env source qwen-env/bin/activate5.2 安装依赖库首先升级pippip install --upgrade pip安装PyTorch与CUDA 11.7兼容的版本pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117安装模型运行所需的其他依赖pip install transformers accelerate autoawq einops scipy5.3 模型下载与运行下载Qwen3.5-9B-AWQ-4bit模型git lfs install git clone https://huggingface.co/Qwen/Qwen1.5-9B-AWQ创建测试脚本run_qwen.pyfrom transformers import AutoModelForCausalLM, AutoTokenizer model_path Qwen1.5-9B-AWQ tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained(model_path, device_mapauto) inputs tokenizer(请用中文介绍一下你自己, return_tensorspt).to(cuda) outputs model.generate(**inputs, max_new_tokens50) print(tokenizer.decode(outputs[0], skip_special_tokensTrue))运行测试python run_qwen.py6. 常见问题解决CUDA out of memory尝试减小max_new_tokens值检查模型是否确实加载为4bit量化版本确保没有其他程序占用显存NVIDIA驱动问题如果nvidia-smi不工作尝试重新安装驱动检查内核版本与驱动兼容性Python包冲突始终在虚拟环境中操作使用pip check检查依赖冲突模型下载中断使用git lfs pull继续下载或直接从Hugging Face网站手动下载获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。