AutoDL 部署 Qwen3-32B Lora Model 踩坑记录
周刊
gallery
小世界
归档
历史归档📁
文章分类🗂️
文章标签🏷
周刊
gallery
小世界
归档
历史归档📁
文章分类🗂️
文章标签🏷
镜像环境不匹配
1. 镜像环境选择
2. 多卡通信测试失败
3. 问题排查：分析 NCCL 通信失败原因
3.1 最小化张量测试
3.2 仅初始化进程组
3.3 启用 NCCL 调试信息
3.4 切换到 Gloo 后端验证
4. 问题根因
5. 吐槽
控制变量，循序渐进
① : 创建虚拟环境 & 安装 ms-swift
② : 创建虚拟环境 & 安装指定的 torch
③: ② & 安装 swift
④: ① & 删除 swift 自带的 torch & 安装指定的 torch
⑤: ④ & 使用已有的 torch 从头编译 vllm
运行时问题诊断与分析
1. 因 vLLM 版本不匹配导致的显存溢出 (OOM)
2. 多卡环境下 LoRA 加载超时
2.1 开始怀疑是否是 Lora 的问题
3. 采用 LoRA 离线合并策略
服务上线，远程访问
容器内设置端口转发
本地建立 SSH 隧道，实现端口转发
总结