Ollama
在本地运行和管理语言模型。
Ollama 提供在电脑上运行模型，以及连接云模型和开发工具的入口。选择本地运行还是云端调用，会改变硬件、联网和账户要求。
Ollama 能做什么
如果希望在自己的电脑处理任务，先按可用内存选择模型，再验证输出；如果使用云模型，则应确认账号和服务条件。装了 Ollama 并不意味着所有连接的应用都在本地执行。
下面按本地起步、应用接入和编程辅助组织方法。选择本地模型时，同时查看该模型支持的输入类型与许可，不能把运行工具的能力视为每个模型都有。
在电脑上运行模型
通过客户端或终端选择模型，首次使用需要准备模型文件；适合先用小样本确认本机是否能承受任务。
为应用提供模型接口
可从程序调用本地服务，也可用密钥连接云端。应用接入时应明确地址与模型，不把“调用成功”当成全部兼容功能都已支持。
连接编程工具
官方快速开始提供与编程代理连接的路线。先确认代理本身已正确安装，再选择模型；模型连接和仓库权限仍是两件事。
设置上下文并查看资源分配
可以调整上下文长度，并用 ollama ps 查看模型的处理器分配和上下文。更长的上下文需要更多内存，设置过大可能影响实际体验。
- 核心用途
- 运行模型并提供应用调用接口
- 可完成的工作
- 本地对话、应用原型与编程代理接入
- 如何开始
- 安装客户端，先选适合硬件的本地模型
- 使用条件
- 本地硬件与云端账号条件分开确认
如何使用 Ollama
- 先选执行位置
明确要本地运行还是使用云模型；本地路线从官网下载对应系统版本，云调用按官方账户流程准备。
- 准备一个模型与短样本
选择与硬件相匹配的模型，完成首次下载；用短输入跑通，再考虑更大的模型和任务。
- 检查上下文与资源
查看运行状态和可用内存，按实际任务设置上下文；需要更多上下文时同时评估内存占用。
- 再接入应用或代理
本地 API 和云 API 分别配置。先验证最小请求，再连接应用；仅允许本机使用时保留默认本机监听。
用本地模型整理一段资料
适合：希望先尝试本地推理的个人用户
- 准备输入
- 一段可使用的短文本、清楚的问题，以及适合本机的模型。
- 操作方法
- 先确认选择的是本地模型，用同一段文本提问；要求答案区分原文信息和推断，再逐项比对。
- 预期交付物
- 一份带原文位置的整理稿。
- 人工检查
- 检查是否漏掉条件、改写数字或凭空补充事实；这是一套编辑建议，不是特定模型效果测试。
给应用原型接入模型
适合：需要可替换模型接口的开发者
- 准备输入
- 最小调用程序、明确的输入输出格式与无敏感信息的示例。
- 操作方法
- 先对本地服务发送一个简单请求，处理错误与超时，再增加对话历史；切换云服务时单独处理密钥和限额。
- 预期交付物
- 可重复运行的最小调用样例与失败处理。
- 人工检查
- 分别验证服务不可达、模型未准备好和返回格式不符合预期，不把密钥写进网页代码。
为代码阅读任务选择模型
适合：希望连接编程代理的开发者
- 准备输入
- 一个可用于练习的仓库、只读任务和验收问题。
- 操作方法
- 连接已支持的代理后，先让它解释一个小模块；核对文件引用，再决定是否允许修改代码。
- 预期交付物
- 可回到具体文件的模块说明。
- 人工检查
- 确认模型、上下文及实际执行位置；长仓库不要一次全部塞进上下文，先明确需要阅读的范围。
界面与参考图片
开始前需要了解
运行速度取决于模型和硬件
模型体积、量化、上下文和CPU/GPU分配会影响资源需求。能够装上客户端，不代表能流畅运行任何模型。
本地与云端的数据路径不同
本地运行与云模型调用采用不同的数据处理路径。需要本地模式时可按官方说明禁用云功能，并检查所接应用是否另有远端调用。
接口兼容不等于功能完全一致
选择原生API或兼容接口时，应对照当前支持的功能；本地模型管理与某些能力不一定能在云端入口完成。
服务暴露范围需明确
默认服务绑定本机地址。若要让其他设备连接，应单独设计访问控制和网络范围，不要把开发时的本地接口直接公开。
本地模型与云模型分开使用：本地运行依赖本机硬件且无需 API Key；云模型需要账号或 API Key，并有独立用量条件。
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
使用 Ollama 一定需要账号吗？
本地模型调用不要求云端API密钥；云模型则需要相应登录或密钥。先区分实际使用的模式。
为什么上下文调大后更慢？
更长上下文增加内存需求。先检查模型运行分配和实际输入量，再根据硬件调整，不要把最大设置当成固定最优值。
装好后能完全离线使用吗？
本地模型需要事先准备好文件；云模型与联网能力仍依赖网络。需要仅本地运行时，按官方说明关闭云功能并确认外接应用的行为。
可以给自己写的应用调用吗？
可以通过API接入。先从小请求验证模型和返回格式，再补错误处理；本地接口与云接口的认证方式要分别配置。
