KoboldCpp
运行本地语言模型并通过界面使用。
KoboldCpp 用一个可执行程序加载 GGUF 模型，提供本地聊天界面与兼容 API，适合在自己的电脑上运行文字生成任务。
KoboldCpp 能做什么
程序可使用 CPU 或 GPU，随附 KoboldAI Lite 界面。模型文件需要另行准备；文本、图像、语音等功能各有兼容模型和资源要求，安装程序本身并不包含所有模型能力。
用 CPU 或 GPU 加载 GGUF
选择 GGUF Text Model 后配置适合电脑的硬件选项，点击 Launch 加载。可采用 CPU、GPU 或部分卸载，不必把独立显卡当作所有文本模型的必需条件。
在 KoboldAI Lite 中组织长对话
随附界面提供聊天、故事等模式，并支持记忆、世界信息、作者注记、角色和持久保存。创作时把固定背景与当前请求分开，减少反复重复设定。
把本地模型接入其他应用
KoboldCpp 提供 KoboldAI、OpenAI 等兼容端点，可让支持这些协议的前端访问正在运行的模型。客户端的协议和任务类型仍要与端点实际支持范围匹配。
加入检索与工具能力
项目包含 TextDB 检索、MCP 和工具调用，也提供可运行程序的集成代理。启用代理前先界定文件和命令权限；普通聊天不需要把所有执行能力一并打开。
- 核心用途
- 本地模型、聊天与兼容 API
- 可完成的工作
- 故事创作、角色对话、应用接入
- 如何开始
- 下载对应系统程序并加载 GGUF
- 使用条件
- 内存需求随模型与上下文变化
如何使用 KoboldCpp
- 下载对应平台文件
从官方 GitHub Releases 选择 Windows、Linux 或 macOS 对应可执行文件；先核对 CPU 架构和硬件支持。
- 准备独立模型文件
下载合适的 GGUF 文本模型，记清文件位置与许可。初次尝试优先选电脑能够承载的小模型。
- 加载模型并启动界面
在 GGUF Text Model 中选择模型，设置硬件选项并点击 Launch；加载完成后打开本地浏览器界面，保持程序运行。
- 验证任务再接入应用
先测试简短问答与保存，再按实际需要配置外部客户端或工具。模型、上下文变化后重新检查内存占用和输出。
维护连续故事设定
适合：长篇写作者
- 准备输入
- 角色设定、已有章节、下一场景目标
- 操作方法
- 编辑建议：把稳定设定放入记忆或世界信息，用故事模式逐段续写。
- 预期交付物
- 可继续修改的段落与会话存档
- 人工检查
- 核对人物关系、时间线和前后设定。
在电脑上整理文本
适合：本地模型使用者
- 准备输入
- 已下载模型与一段可处理文本
- 操作方法
- 编辑建议：先以短任务检查模型是否能稳定加载，再增加输入长度。
- 预期交付物
- 本地模型生成的摘要或改写
- 人工检查
- 确认未误启用外部提供方，抽查关键信息。
为另一个聊天前端提供模型
适合：技术用户
- 准备输入
- 兼容客户端、模型和本地服务地址
- 操作方法
- 编辑建议：先在内置界面验证模型，再将同一实例接入客户端。
- 预期交付物
- 可使用本地模型的客户端会话
- 人工检查
- 比较两端的模板、上下文与停止条件。
界面与参考图片
开始前需要了解
模型不随程序提供
GGUF 文本模型需单独下载；图像、音乐和音频功能还有自己的模型文件及配置，不能只下载程序就期待全部可用。
模型尺寸与上下文决定资源需求
官方说明独立 GPU 可选，但模型大小和上下文长度影响内存。遇到加载失败时先缩小配置，不把软件支持 CPU 理解为任意模型都能流畅运行。
桌面与容器路线条件不同
官方 Docker 镜像主要面向专家和云 GPU 环境，对架构、GPU及操作系统有要求；本地新用户优先按平台选择预编译文件。
内存需求随模型与上下文变化
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
没有显卡能用吗？
可以尝试 CPU 路线；是否能装下模型、实际生成速度如何取决于模型大小、上下文及内存。
为什么安装后没有模型可聊天？
KoboldCpp 不包含模型权重，需要准备 GGUF 文件并加载，或主动选择受支持的外部提供方。
能连接 SillyTavern 一类前端吗？
可以使用兼容的本地 API 接口；先确认客户端选择的后端协议，再测试模型模板与上下文。
所有功能都在本地运行吗？
并非所有配置都如此。软件也允许连接外部模型提供方，网页搜索等工具也涉及网络；是否本地取决于你选用的模型和功能。
