微软开源 bitnet.cpp 1-bit LLM 推理框架

微软开源bitnet.cpp，革新AI模型推理效率

科技媒体marktechpost报道，微软公司近日开源了bitnet.cpp，这是一款革命性的1-bit大语言模型（LLM）推理框架，它允许用户在本地设备上直接运行具有千亿参数的AI模型，无需依赖GPU。这一创新不仅实现了6.17倍的速度提升，而且能耗降低了高达82.2%。

传统上，大型语言模型需要庞大的GPU基础设施和大量电力，这使得部署和维护成本居高不下，同时也限制了小型企业和个人用户的接触。bitnet.cpp框架通过降低硬件要求，使得更多用户能够以更低的成本体验AI技术的强大功能。

bitnet.cpp支持1-bit LLMs的高效计算，包含优化的内核以最大化CPU推理性能。目前，该框架支持ARM和x86 CPU，未来计划扩展至NPU、GPU和移动设备。初步测试结果显示，在ARM CPU上的加速比为1.37x至5.07x，在x86 CPU上为2.37x至6.17x，能耗减少55.4%至82.2%。

bitnet.cpp的推出可能会改变LLMs的计算模式，减少对硬件的依赖，为本地大型语言模型（LLLMs）的发展铺平道路。用户现在可以在本地运行模型，减少将数据发送至外部服务器的需求，从而增强隐私保护。微软的“1-bit AI Infra”计划也在推动这些模型的工业应用，bitnet.cpp在这一进程中扮演着关键角色。

来源：IT之家【阅读原文】