本地模型玩家如何用 Text generation web UI:chat算力接入指南
结论:Text Generation Webui 负责产品体验,MrWhale 负责模型路由与按量账单。Base URL 填 https://mrwhale.ai/v1,一张 Key 切换多家模型。
家里 4090 跑 70B,偶尔还要调云端强模型写代码。一个界面切换本地/云端,扩展里 OpenAI 地址写 MrWhale——省钱又灵活。
推荐路径
- 确认场景与权限
- 部署或安装应用
- 获取 MrWhale API Key
- 配置 OpenAI 兼容端点
- 选模型与分组
- 试跑与验收
- 上线与监控