最近，腾讯混元根据社区的请求发布了其 Hy3 模型的量化版本，使拥有 2950 亿参数的模型能够在单个推理 GPU 上甚至在具备足够内存的本地机器上运行。团队将 Hy3 权重量化为 1-bit 和 4-bit 精度，使用 GGUF 格式打包，并与 llama.cpp 生态系统集成。这样，先前需要多 GPU 集群才能完成的工作，现在在更广泛的部署场景中也变得可行。
免责声明：本页面信息可能来自第三方，仅供参考，不代表 Gate 的观点或意见，亦不构成任何财务、投资或法律建议。数字资产交易风险较高，请勿仅依赖本页面信息作出决策。具体内容详见
声明。
