在腾讯云GPU服务器上用LLaMA-Factory微调Qwen2-7B要配啥显存、装啥环境、多久能跑起来？
如果你正打算在云上跑一次真正能用的大模型微调，不是跑个demo，而是想让模型记住你的业务话术、适配你的行业问答、或者跑通一个多语言指令微调流程——那大概率会卡在第一步：买哪台服务器、装什么环境、点开Web界面前到底要敲多少命令。
这不是理论问题，是真实发生在你SSH连上服务器后、看着黑屏发呆的15分钟。
先说结论：7B模型微调，别盲目选A10或V100
很多用户一搜“GPU云服务器”，直接跳到高配机型页，看到A100 40G、V100 32G就下单，结果发现——
- 模型加载失败，报错
OOM when allocating tensor，不是显存不够，是PyTorch版本和CUDA驱动不匹配； - Web界面打不开，
http://127.0.0.1:7860显示连接被拒绝，其实是没开端口转发或服务没真正启动； - 上传完JSON数据点“开始训练”，10秒后就卡住，终端日志停在
loading tokenizer...，其实是模型权重没下全，或磁盘空间不足。
这些问题，和你选什么GPU型号关系不大，而和“环境能不能稳住、路径对不对、权限够不够”强相关。
腾讯云GPU服务器选型：显存不是越大越好，而是要“够用+兼容”
以当前主流微调场景为例，我们聚焦一个真实能落地的任务：用LoRA方法微调 Qwen2-7B-Instruct 模型，支持中英双语指令微调，训练集约800条JSON格式数据，截断长度512，batch_size=4。
这个任务在腾讯云上，16GB显存的GN10X（基于A10）实例就能稳跑。不是“勉强能跑”，是训练全程显存占用稳定在12–14GB，GPU利用率65–78%，损失曲线平滑下降，无OOM、无中断。
| 配置项 | 推荐值 | 为什么这么选 |
|---|---|---|
| GPU型号 | GN10X（NVIDIA A10） | 驱动、CUDA、PyTorch生态成熟；支持FP16/8-bit量化；腾讯云官方镜像预装适配好，省去手动编译CUDA扩展的坑 |
| 显存容量 | 16GB | Qwen2-7B权重（FP16）约14GB，LoRA微调需额外2–3GB显存；低于16GB易触发OOM；高于24GB无收益，成本徒增 |
| 系统盘 | 100GB SSD | Qwen2-7B模型文件+LoRA适配器+日志+缓存约需65GB；低于80GB首次启动可能失败（自动下载中断） |
| 内存 | 64GB | 数据集加载、tokenize、dataloader预取需大量CPU内存；32GB在batch_size=4时偶发swap，影响训练吞吐 |
注意：不要被“A100 80G”参数吸引。A100在腾讯云上需单独申请配额，且默认镜像常不预装对应CUDA 12.x驱动，手动安装极易与PyTorch 2.0+冲突。对新手来说，稳定跑通比参数好看重要十倍。
环境不是“一键部署”，而是“三步验证”
很多教程说“拉镜像、运行命令、打开网页”，但真实情况是：你连上腾讯云GPU服务器后，第一件事不是启动Web UI，而是验证三件事。
- GPU是否被系统识别：
运行nvidia-smi，必须看到A10设备、驱动版本（如535.104.05）、GPU温度与显存使用率。如果显示“NVIDIA-SMI has failed”，说明驱动未加载，需重装或重启。 - CUDA是否可用：
运行python -c "import torch; print(torch.cuda.is_available())"，输出必须是True。若为False，大概率是PyTorch未用CUDA编译版本，需用pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118重装。 - LLaMA-Factory路径与权限是否正确：
默认路径是/root/LLaMA-Factory。进目录后运行ls -l src/train_web.py，确认文件存在且有执行权限。若报错“Permission denied”，执行chmod +x src/train_web.py。
这三步验证完，才真正进入“可启动”状态。跳过任意一步，后面所有操作都是空中楼阁。
Web UI启动：不是点开就完事，而是看懂终端输出的三行关键日志
执行启动命令：
cd /root/LLaMA-Factory && python src/train_web.py
等待约40–90秒（首次启动会加载模型索引），你会看到终端输出类似：
Running on local URL: http://127.0.0.1:7860—— 表示服务已监听本地端口；Running on public URL: http://<你的公网IP>:7860—— 表示已绑定公网，可直接浏览器访问；Loaded 123 model adapters and 47 datasets—— 表示模型与数据集索引加载成功，不是空壳界面。
如果只有第一行，没有第二、三行，说明：要么没开安全组端口（需在腾讯云控制台开放7860端口），要么服务未真正绑定公网IP（常见于部分镜像未配置 --server-name 0.0.0.0 启动参数）。
此时别关终端，加参数重试：
python src/train_web.py --server-name 0.0.0.0 --server-port 7860
数据准备：JSON格式不是“能读就行”，而是字段必须精准对齐
LLaMA-Factory只认三种字段：instruction、input（可为空字符串）、output。少一个、拼错一个、多一个，都会导致训练时报错 KeyError: 'instruction' 或静默跳过整条数据。
假设你微调一个技术文档问答助手，正确的 identity.json 示例（注意：这是假设性示例，非实测数据）：
[{"instruction": "用中文解释Transformer架构的核心思想", "input": "", "output": "Transformer的核心是自注意力机制，它让模型能并行处理序列中所有位置的关系..."},{"instruction": "将以下Python代码转为TypeScript", "input": "def add(a, b): return a + b", "output": "function add(a: number, b: number): number { return a + b; }"}]
上传后，在Web界面点“Preview Dataset”，必须看到表格里三列完整渲染，且无红色报错。否则别点“开始训练”。
训练启动后：盯住的不是“完成”，而是“前30步是否收敛”
点“开始训练”后，界面会显示实时loss曲线。不要等整轮结束，前30步loss应从初始值（如2.8）稳定下降到2.2以下。如果：
- loss不变（始终在2.78–2.82横跳）→ 检查学习率是否设为0（常见误操作）；
- loss暴涨（跳到5.x、8.x）→ 检查数据里是否有超长
output（如含未转义换行符），或max_length设太小导致截断破坏语义； - GPU显存瞬间拉满→ 检查
per_device_train_batch_size是否误设为8（16GB显存建议设为4）。
一个7B模型+LoRA+800条数据，在腾讯云GN10X实例上，典型训练耗时是1小时12分钟（3 epoch），最终生成的LoRA适配器约128MB，可直接部署到轻量级API服务中。
如果你需要在腾讯云上立即启用这套环境，可直接选用预装LLaMA-Factory与CUDA驱动的GN10X实例，跳过所有驱动编译、依赖冲突、路径权限等隐性耗时环节。