在 Ubuntu 24.04 LTS 上部署 Qwen3-32B-AWQ(双路AMD MI50·gfx906)实战笔记

在 Ubuntu 24.04 LTS 上部署 Qwen3-32B-AWQ(双路AMD MI50·gfx906)实战笔记

在 Ubuntu 24.04 + ROCm 6.3 驱动环境下,利用 Docker 与社区镜像 nalanzeyu/vllm-gfx906,将双路 M50(gfx906)32 GB 显卡以 tensor-parallel=2 方式部署 Qwen3-32B-AWQ 模型;提供一次性验证命令与 systemd 服务单元,实现开机自启、优雅关机,可直接投产。

查看详情>>