不想花钱调API?本地跑大模型也越来越现实。
硬件门槛
7B模型需要8GB显存,14B需要16GB,70B需要48GB以上。消费级RTX 4090能跑34B量化版。
部署工具
Ollama一键安装,支持一行命令跑模型。LM Studio有图形界面,适合新手。
推荐模型
通义千问、Llama、Qwen都有开源版本。中文场景优先选国产模型。
不想花钱调API?本地跑大模型也越来越现实。
7B模型需要8GB显存,14B需要16GB,70B需要48GB以上。消费级RTX 4090能跑34B量化版。
Ollama一键安装,支持一行命令跑模型。LM Studio有图形界面,适合新手。
通义千问、Llama、Qwen都有开源版本。中文场景优先选国产模型。

