部署大模型对云服务器内存的需求，主要取决于模型参数量、量化方式和运行模式。不同规模的模型在推理阶段对系统内存的要求存在明显差异。 模型参数量与内存需求对应关系 模型规模 典型代表 最低系统内存 推荐系统内存 适用身份 1B–7B Mistral-7B、LLaMA-2-7B、ChatGLM2-6B 16GB 32GB 个人开发者、学生 13B–20B Llama 3-13B、Phi-3-MoE 32