VMware虚拟机中部署千问3.5-2B：隔离的AI实验环境搭建

VMware虚拟机中部署千问3.5-2B隔离的AI实验环境搭建1. 为什么选择虚拟机部署AI模型在本地机器上直接部署AI模型可能会面临环境冲突、依赖混乱等问题。使用VMware虚拟机可以创建一个完全隔离的Ubuntu环境既能保证宿主机系统的干净整洁又能自由地进行各种AI实验而不用担心搞乱系统配置。这种方法特别适合需要测试不同版本CUDA和驱动的情况想尝试各种AI模型但担心依赖冲突企业环境中需要隔离开发和生产环境学习AI部署但不想影响日常使用的主系统2. 环境准备与VMware安装2.1 硬件要求在开始之前请确保你的电脑满足以下最低配置至少16GB内存推荐32GB100GB可用磁盘空间支持虚拟化的CPUIntel VT-x或AMD-V独立NVIDIA显卡CUDA支持2.2 安装VMware Workstation从VMware官网下载最新版Workstation Player免费版或Workstation Pro运行安装程序按照向导完成安装安装完成后重启电脑2.3 创建Ubuntu虚拟机打开VMware点击创建新虚拟机选择自定义(高级)安装选择稍后安装操作系统选择Linux Ubuntu 64位设置虚拟机名称和存储位置分配至少4个CPU核心和16GB内存创建新虚拟磁盘大小至少80GB完成虚拟机创建3. 安装Ubuntu系统3.1 下载Ubuntu镜像从Ubuntu官网下载最新的LTS版本如22.04 LTSISO镜像文件。3.2 配置虚拟机并安装Ubuntu右键新建的虚拟机选择设置在CD/DVD选项中选择使用ISO镜像文件浏览选择下载的Ubuntu ISO启动虚拟机开始Ubuntu安装选择语言后点击安装Ubuntu选择最小安装和安装第三方软件选项分区选择清除整个磁盘并安装Ubuntu设置时区、键盘布局和用户账户等待安装完成重启虚拟机3.3 安装VMware Tools增强功能在VMware菜单选择虚拟机 安装VMware Tools在Ubuntu中会自动挂载VMware Tools ISO打开终端执行以下命令tar -xzf /media/$USER/VMware\ Tools/VMwareTools-*.tar.gz -C /tmp/ cd /tmp/vmware-tools-distrib/ sudo ./vmware-install.pl按照提示完成安装重启虚拟机4. 配置AI开发环境4.1 安装NVIDIA驱动和CUDA首先更新系统sudo apt update sudo apt upgrade -y安装NVIDIA驱动sudo ubuntu-drivers autoinstall重启后验证驱动安装nvidia-smi安装CUDA Toolkit以11.7为例wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/3bf863cc.pub sudo add-apt-repository deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/ / sudo apt-get update sudo apt-get -y install cuda-11-74.2 安装Python和必要工具安装Python和pipsudo apt install python3 python3-pip python3-venv -y创建虚拟环境python3 -m venv qwen-env source qwen-env/bin/activate安装PyTorch与CUDA版本匹配pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu1175. 部署千问3.5-2B模型5.1 下载模型权重从官方渠道获取千问3.5-2B模型权重创建模型目录mkdir -p ~/models/Qwen-3.5-2B将下载的模型文件放入该目录5.2 安装依赖库在虚拟环境中安装必要的Python包pip install transformers sentencepiece accelerate5.3 编写简单的推理脚本创建一个inference.py文件from transformers import AutoModelForCausalLM, AutoTokenizer model_path ~/models/Qwen-3.5-2B # 修改为你的模型路径 tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ).eval() while True: prompt input(请输入问题(输入quit退出): ) if prompt.lower() quit: break response, _ model.chat(tokenizer, prompt, historyNone) print(回答:, response)5.4 运行模型测试执行脚本进行测试python inference.py6. 常见问题解决6.1 CUDA内存不足如果遇到CUDA内存不足错误可以尝试减少batch size使用更低精度的模型如fp16增加虚拟机分配的显存在VMware设置中6.2 模型加载缓慢首次加载模型可能需要较长时间因为需要下载和缓存一些文件。后续运行会快很多。6.3 性能优化建议确保VMware Tools已正确安装在VMware设置中启用3D加速为虚拟机分配更多CPU和内存资源考虑使用更轻量级的模型变体7. 总结与下一步建议经过这一系列步骤你应该已经在VMware虚拟机中成功搭建了一个隔离的AI实验环境并部署了千问3.5-2B模型进行测试。这种隔离环境的好处是显而易见的 - 你可以自由地尝试各种配置和模型而不用担心影响主系统。实际使用下来虚拟机的性能虽然比不上物理机直接运行但对于学习和中小规模实验已经足够。如果遇到性能瓶颈可以考虑增加虚拟机资源分配或者直接在物理机上部署。下一步你可以尝试部署其他AI模型进行比较开发基于千问的应用程序学习模型微调技术探索模型量化等优化技术获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。