Qwen3.5-9B-AWQ-4bit：10分钟完成PyCharm深度学习环境与模型调用配置

Qwen3.5-9B-AWQ-4bit10分钟完成PyCharm深度学习环境与模型调用配置1. 引言如果你正在使用PyCharm进行AI开发并且需要调用远程服务器上的Qwen3.5-9B-AWQ-4bit模型这篇文章就是为你准备的。我们将用最简单直接的方式带你完成从零开始的配置过程。很多开发者都有这样的困扰本地机器性能不足但直接在服务器上开发又不够方便。通过PyCharm的远程解释器功能我们可以实现本地写代码远程跑模型的高效工作流。整个过程只需要10分钟左右跟着步骤走就能搞定。2. 准备工作2.1 你需要准备什么在开始之前请确保你已经具备以下条件一台已安装PyCharm Professional版的电脑社区版不支持远程解释器功能一个可以连接的星图GPU服务器且已部署好Qwen3.5-9B-AWQ-4bit模型服务器的SSH登录信息IP地址、端口、用户名和密码或密钥本地和服务器之间的网络连接畅通2.2 为什么选择这种配置方式这种配置方式有几个明显优势本地开发体验可以在熟悉的PyCharm环境中编写和调试代码远程计算资源利用服务器强大的GPU资源运行大模型代码自动同步PyCharm会自动将本地代码同步到服务器调试方便可以直接在本地调试远程运行的代码3. 配置PyCharm远程解释器3.1 创建新项目首先打开PyCharm点击File → New Project创建一个新的Python项目。给项目取个名字比如qwen-remote然后选择项目存储位置。3.2 配置远程解释器点击File → SettingsWindows/Linux或PyCharm → PreferencesMac在设置窗口中找到Project: your_project_name → Python Interpreter点击右上角的齿轮图标选择Add Interpreter → On SSH...在弹出的窗口中填写服务器连接信息Host服务器IP地址PortSSH端口通常是22Username你的登录用户名选择认证方式密码或密钥3.3 设置解释器路径连接成功后需要指定远程服务器上的Python解释器路径。通常可以通过以下命令在服务器上查找Python路径which python或者如果你使用的是conda环境which python # 在激活的conda环境中运行将找到的路径填入Python interpreter path字段。3.4 配置项目同步在同一个窗口中找到Sync folders部分本地项目路径会自动填充设置远程服务器上的项目路径例如/home/your_username/projects/qwen-remote勾选Automatically upload project files to the server点击OK完成配置。PyCharm会开始同步项目文件到远程服务器。4. 测试远程连接4.1 创建测试脚本在项目中新建一个Python文件比如test_connection.py输入以下简单代码import torch print(fPyTorch version: {torch.__version__}) print(fCUDA available: {torch.cuda.is_available()}) print(fCUDA device count: {torch.cuda.device_count()}) if torch.cuda.is_available(): print(fCurrent device: {torch.cuda.current_device()}) print(fDevice name: {torch.cuda.get_device_name(0)})4.2 运行测试脚本右键点击文件选择Run或者直接点击编辑器旁边的运行按钮。如果一切配置正确你应该能在PyCharm的Run窗口中看到远程服务器的输出结果包括CUDA信息和GPU设备名称。5. 配置Qwen模型调用环境5.1 安装必要依赖在PyCharm的终端(Terminal)中现在会自动连接到远程服务器运行以下命令安装所需依赖pip install transformers accelerate autoawq5.2 验证模型访问创建一个新的Python文件test_model.py尝试加载Qwen3.5-9B-AWQ-4bit模型from transformers import AutoModelForCausalLM, AutoTokenizer model_path /path/to/your/qwen3.5-9b-awq-4bit # 替换为实际模型路径 tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ) print(模型加载成功)注意将model_path替换为你服务器上Qwen3.5-9B-AWQ-4bit模型的实际路径。6. 实现完整调用示例6.1 基础调用代码现在我们来写一个完整的模型调用示例。创建qwen_inference.py文件from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path /path/to/your/qwen3.5-9b-awq-4bit # 替换为实际模型路径 # 加载模型和tokenizer tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, trust_remote_codeTrue ).eval() # 准备输入 prompt 请用简单的语言解释量子计算的基本概念 inputs tokenizer(prompt, return_tensorspt).to(model.device) # 生成输出 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens200, do_sampleTrue, temperature0.7, top_p0.9 ) # 解码并打印结果 response tokenizer.decode(outputs[0], skip_special_tokensTrue) print(response)6.2 代码说明这段代码做了以下几件事加载Qwen3.5-9B-AWQ-4bit模型和对应的tokenizer准备一个简单的提示词(prompt)使用模型生成响应解码并打印生成的文本你可以修改prompt变量来测试不同的输入。7. 常见问题解决7.1 连接问题如果遇到连接问题可以尝试以下步骤检查网络连接是否正常确认SSH服务在服务器上正常运行验证用户名和密码/密钥是否正确检查服务器防火墙设置确保SSH端口开放7.2 依赖问题如果运行时报错缺少某些依赖在PyCharm的终端中使用pip install安装缺失的包确保服务器上的Python版本与本地配置一致检查CUDA和cuDNN版本是否兼容7.3 模型加载问题如果模型加载失败确认模型路径是否正确检查是否有权限访问模型文件确保服务器有足够的GPU内存Qwen3.5-9B-AWQ-4bit大约需要10GB显存8. 总结通过以上步骤我们成功配置了PyCharm远程解释器连接到星图GPU服务器并实现了对Qwen3.5-9B-AWQ-4bit模型的调用。这种配置方式让你既能享受本地开发的便利又能利用远程服务器的强大计算资源。实际使用中你可以根据需要调整代码比如添加更复杂的提示工程、实现流式输出或者集成到更大的应用中。如果在使用过程中遇到问题可以参考常见问题部分或者查阅相关文档。配置完成后你现在可以专注于模型应用开发而不必担心本地硬件限制的问题了。Happy coding!获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。