LM Studio部署Qwen3.8-27B实战（GB10）：一键安装、GGUF模型加载与OpenAI兼容API服务

一、安装 LM Studio

# 一键安装（自动识别 ARM64）
curl -fsSL https://lmstudio.ai/install.sh | bash

# 验证安装
lms --version

---

二、启动 llmster 守护进程

lms daemon up

---

三、下载 Qwen3.8-27B Q4_K_M 模型

# 下载 unsloth 量化的 GGUF 仓库
lms get unsloth/Qwen3.8-27B-GGUF

如果想只下载 Q4_K_M 单个文件（约 16-18GB），用这个：

pip install -U huggingface_hub
huggingface-cli download unsloth/Qwen3.8-27B-GGUF \
  Qwen3.8-27B-Q4_K_M.gguf \
  --local-dir ~/.lmstudio/models/unsloth/Qwen3.8-27B-GGUF

---

四、加载模型

# 查看已下载的模型，确认模型 ID/路径
lms list

# 加载模型（路径以上一步 lms list 显示为准）
lms load unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-Q4_K_M.gguf

---

五、启动 API 服务器（端口 8000，允许局域网访问）

lms server start --bind 0.0.0.0 --port 8000

验证监听地址：

sudo ss -tlnp | grep 8000

看到 0.0.0.0:8000 即为正常。

---

六、防火墙放行（如需要）

# Ubuntu ufw 防火墙
sudo ufw allow 8000/tcp
sudo ufw status

---

七、测试调用

7.1 在 GB10 本机测试

# 查看可用模型
curl http://localhost:8000/v1/models

# 发送一条聊天请求
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.8-27B-Q4_K_M.gguf",
    "messages": [{"role": "user", "content": "你好，介绍一下你自己"}],
    "max_tokens": 200
  }'

7.2 从另一台主机远程调用

# 把 <GB10的IP> 换成实际 IP，例如 192.168.1.100
curl http://<GB10的IP>:8000/v1/models

curl http://<GB10的IP>:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.8-27B-Q4_K_M.gguf",
    "messages": [{"role": "user", "content": "你好"}],
    "max_tokens": 100
  }'

model 字段填 lms list 里显示的模型名称即可，也可以直接用模型文件名。

---

八、交互式对话（可选）

lms chat

---

九、常用管理命令

操作	命令
查看服务状态	lms status
停止服务器	lms server stop
关闭守护进程	lms daemon down
查看已下载模型	lms list
查看运行中的进程	lms ps

---

核心流程就五步：安装 → lms daemon up → lms get 下载模型 → lms load 加载 → lms server start --bind 0.0.0.0 --port 8000 启动服务，然后用 curl 或任意 OpenAI 兼容客户端调用即可。