AI 工具库 · 第 36 页

通过知识库管理界面和 REST 接口组织文件与向量数据，为智能体提供资料检索和记忆。

用统一运行入口部署语言、语音识别和多模态模型，并向应用提供推理服务。

vLLM

部署语言模型推理服务，通过连续批处理等机制组织多请求推理。

SGLang

运行语言、视觉语言和扩散模型推理，并为应用提供模型服务。

使用 Rust、Python 与 gRPC 服务组件部署文本生成推理；项目当前处于维护模式。

在本地运行语言或视觉语言模型，并可启动兼容 OpenAI 的接口与内置网页界面。

把模型与运行环境组合为单文件可执行程序，用于分发和本地运行语言模型。

GPUStack

统一管理 GPU 集群，编排模型推理引擎，并按需提供可访问的 GPU 实例。

把开源或自定义语言模型部署为兼容 OpenAI 的接口，并提供内置聊天界面。

编译和部署语言模型，使模型在不同设备平台上以原生方式运行。

为兼容 Hugging Face 的语言和多模态模型提供推理、批处理与分布式服务。

把模型网关、调用追踪、评估和实验组织在一起，用反馈检查提示词与推理策略。

在本机按请求切换多个生成式模型服务，为兼容接口提供统一调用入口。

在终端界面连接 ChatGPT、llama.cpp 或 Ollama，保存对话历史并导出聊天文件。

利用 CPU 与 GPU 协同运行语言模型推理，适用于研究设备端模型执行。

通过 CPU 与 GPU 异构计算运行语言模型推理，并提供模型监督微调能力。

提供多模型聊天服务系统、网页界面和兼容 OpenAI 的接口，同时包含训练与评估工具。

通过命令行和网页界面配置语言模型微调，组织训练数据、模型与训练参数。

Unsloth

通过桌面应用在本机运行和训练模型，管理模型开发的实际操作。

记录模型应用调用链，管理评估数据集，并比较提示词、模型和检索实验。

采集并分析模型接口、向量数据库和模型框架的调用链、时延与使用指标。

追踪智能体执行、评估输出并监测模型调用与 GPU 使用，辅助调整提示词和运行流程。

Opik

记录智能体工具调用与模型运行链，并利用数据集和实验评估应用输出。

在统一平台追踪、测试和路由模型调用，并观察编程智能体会话与使用情况。

把智能体失败调用归组为问题信号，向编程智能体提供修复上下文，并回放验证修改。

通过对话创建连接业务应用的专用智能体，并让任务按计划或应用事件运行。

集中管理提示词，观察模型应用运行并排查调用问题，便于团队协作调整 AI 功能。

通过图形界面微调语言模型，比较训练表现，并与训练后的模型对话检查结果。

使用 YAML 配置和命令行训练、微调与部署语言、多模态或表格数据模型。

组织、集成与评估提示词、模型和提示词应用，并保留调用日志供协作检查。

把模型、提示词、Python 代码和其他工具连接为可执行流程，并调试和评估流程表现。

通过命令行执行模型能力评估、推理压力测试和结果可视化。

组织语言模型评估，支持工具使用、多轮对话与模型评分，并提供预设评估任务。

通过命令行探针检查语言模型在提示词注入、信息泄露等场景中的失败表现。

以测试用例检查模型应用和智能体输出，评估任务完成、回答相关性与幻觉等指标。

在数据流界面中比较多个模型与提示词变体，设置评价指标并可视化输出差异。