相关软件 / 开放基础设施持续开发

llama.cpp

在不同硬件上运行模型的轻量推理工具。

01 / 项目介绍

它在做什么

llama.cpp 提供语言和视觉语言模型的 C/C++ 推理实现，支持多种硬件、量化方式和本地部署场景。

02 / 与 ASI 的关系

降低本地实验和推理门槛，让更多研究者能检查模型及其运行方式。

03 / 使用须知

推理工具不会提高所加载模型的固有能力。模型权重的许可与工具代码许可需要分别遵守。