这是一个开源的本地推理服务器，它能够自动评估你的硬件配置，推荐并运行最适合的本地大模型，并将其无缝接入你正在使用的 AI 智能体，从而解决本地部署门槛高、数据隐私外泄以及云端 API 成本高昂的问题。

主要功能与特性

• 免费运行：无 Token 费用、无需 API 密钥、无速率限制。
• 完全私密与离线：所有模型、提示词和文件均保存在本地机器上，断网也可使用。
• 智能体优先设置：仅需一条提示词，你的智能体即可引导完成剩余的配置流程。
• 硬件感知：自动分析设备的芯片、内存和带宽性能。
• 精准推荐：根据机器性能推荐最合适的本地模型，并估算生成速度。
• 端到端调优：针对当前机器自动配置推测解码和并发等参数。
• 按需加载：模型在收到请求时加载，在闲置或内存不足时自动卸载。
• 完全开源：基于 Apache 2.0 协议，支持自由修改。

安装与使用示例

你可以通过全局安装其 CLI 工具来快速开始：

# 通过 npm 全局安装
npm i -g @magnitudedev/cli

# 运行交互式设置，浏览推荐的模型并自行选择
magnitude setup

如果你希望直接让现有的 AI 智能体帮你完成配置，可以将以下指令发送给你的智能体：

Set up local models for me with the Magnitude CLI. Install it with `npm i -g @magnitudedev/cli` (or my package manager), then run `magnitude docs onboarding` and follow the instructions.

智能体会自动评估硬件、引导你选择模型并完成切换。

使用场景与目标用户

使用场景：
– 在本地设备上离线运行大语言模型，进行代码辅助或文本处理。
– 高度敏感的数据处理任务，要求所有提示词和文件绝不上传云端。
– 希望降低长期使用大模型 API 的高昂成本，实现零成本运行。

目标用户：
– 已经在使用 Pi、OpenCode、Codex、Claude Code、Cline 等智能体工具，但希望转向本地模型运行的开发者。
– 使用 macOS 或 Linux（Windows 需通过 WSL）且希望最大化利用本地硬件性能的用户。

总结

该项目通过自动化的硬件评估与模型推荐，大幅降低了本地大模型部署的门槛，让开发者能更轻松地将现有 AI 智能体与本地模型结合，兼顾了隐私与成本。其按需加载的机制也有效优化了系统资源占用，是一个非常实用的本地化 AI 基础设施工具。