这是一个用纯 C 语言编写、零运行时依赖的轻量级 AI 推理引擎。它通过将显存（VRAM）、内存（RAM）和硬盘（NVMe）视为统一的“多层级内存”系统，让普通的消费级电脑甚至落后硬件也能跑起 744B 到 2.8T 参数的超大规模混合专家模型，解决了本地设备算力和显存不足无法运行前沿大模型的痛点。

主要功能与特性

根据项目说明，该引擎具备以下核心特性：

• 多层级内存调度：将 VRAM、RAM 和存储视为同一个层级。即使没有大显存，引擎也能把密集参数放在内存里，把专家模型放在硬盘上按需读取，快慢内存只影响速度，绝不改变模型原本的语义和精度。
• “权重即时编译”（JIT for weights）：借鉴代码 JIT 的思路，引擎不会把整个庞大模型塞进内存，而是监控哪些专家参数真正被用到，提前一层预取，越用越快。
• 异构计算支持：支持 CPU、CUDA、Metal、Vulkan 等多种计算后端，甚至能跨不同硬件组合运行。
• 双 SSD 带宽叠加：支持把模型复制到两块硬盘上同时读取，直接成倍提升数据加载带宽。
• 本地集群模式：支持将多台电脑（如多台 Mac）组网，协同计算路由专家网络，减少网络往返开销。
• 丰富的可视化 Web 仪表盘：提供网页端界面，能实时查看 Token 生成指标、显存/内存/硬盘层级状态，甚至能以 3D 星系图和“活体大脑”的形式展示 19456 个专家模型的路由激活状态。
• 极广的模型兼容性：支持 GLM-5.2、Kimi K3、DeepSeek V4 Flash 等 9 大前沿模型家族，且均不需要强制依赖 GPU。

安装与使用示例

该项目本身只需要几百 KB 的 C 程序，不需要安装庞大的运行环境。你可以直接下载预编译版本，或者通过源码编译：

# 下载并解压预编译版本（以 Linux 为例）
mkdir colibri && tar xzf colibri-v1.8.0-linux-x86_64.tar.gz -C colibri && cd colibri
python3 coli info                         # 检查引擎是否就绪

# 或者从源码编译（需要 gcc 和 OpenMP）
git clone https://github.com/JustVugg/colibri && cd colibri/c
./setup.sh                                # 检查环境、编译并进行自测

准备好模型文件后（例如 372GB 的 GLM-5.2 模型），可以通过简单的命令启动：

COLI_MODEL=/nvme/glm52_i4 ./coli chat     # 启动终端聊天界面（自动检测内存和缓存）
COLI_MODEL=/nvme/glm52_i4 ./coli plan     # 查看引擎规划的 VRAM/RAM/硬盘放置策略
./coli web --model /nvme/glm52_i4        # 启动带界面的 Web 仪表盘和 API

适用场景与目标用户

这个项目适合在以下几个场景下使用：
1. 本地运行超大模型：开发者拥有普通电脑或异构硬件，不想依赖昂贵的云算力，希望在本地跑 700B 以上参数的前沿模型。
2. 系统级 AI 优化研究：研究人员或极客想要探索存储 I/O、内存层级调度对大模型推理速度的影响，并测试各种优化假设。
3. 多机协同推理：手头有多台普通 Mac 或旧电脑，希望通过局域网组网拼凑出算力来运行大模型。

目标用户主要是 AI 系统研究人员、追求底层性能的极客开发者，以及希望在本地私有化部署超大模型且动手能力强的进阶用户。

总结

这是一个极具技术浪漫主义和极客精神的硬核项目。它不仅打破了“跑大模型必须买昂贵显卡”的固有认知，更难得的是在极限压榨硬件性能的同时，坚守了不改变模型精度和语义的底线。对于想要深入理解大模型底层推理机制、或者单纯想在自家旧电脑上“把玩”前沿 AI 的技术人来说，这绝对是一个值得花时间钻研的宝藏工具。