MLC LLM

为目标设备部署语言模型

准备输入

• 支持的模型
• 目标设备与编译环境

操作步骤

1. 确定模型与目标设备，按 MLC LLM 的部署流程准备对应模型产物。
2. 将模型部署到目标运行环境，并启动相应交互或推理入口。
3. 在目标设备运行实际提示词，检查生成结果及资源表现，调整部署配置。

核对目标平台、模型支持和实际运行效果。