Tether AI 发布开源 TurboQuant,并集成到 QVAC SDK 0.12.0,提供 5 倍 KV Cache 压缩

Tether AI 最近发布了开源 TurboQuant,并将其集成到 QVAC SDK 0.12.0 中。该技术基于 Google Research 的记忆压缩算法,通过最多 5 倍压缩大型语言模型的 KV 缓存,在保持输出质量的同时,降低本地和边缘设备的内存消耗。
免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明
评论
0/400
暂无评论