IT之家10 月 19 日消息，科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了

　　用户通过bitnet.cpp框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。

　　传统大语言模型通常需要庞大的 GPU 基础设施和大量电力，导致部署和维护成本高昂，而小型企业和个人用户因缺乏先进硬件而难以接触这些技术，而bitnet.cpp框架通过降低硬件要求，吸引更多用户以更低的成本使用 AI 技术。

　　bitnet.cpp的推出，可能重塑 LLMs 的计算范式，减少对硬件依赖内部ip代理端口，为本地 LLMs（LLLMs）铺平道路。

　　用户能够在本地运行模型，降低数据发送至外部服务器的需求，增强隐私保护。微软的“1-bit AI Infra”计划也在进一步推动这些模型的工业应用，bitnet.cpp在这一进程中扮演着重要角色。

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。