Tether AI 开源 TurboQuant 正式版并嵌入 QVAC SDK,助力AI量化交易升级!
Tether AI 研究团队公开了 TurboQuant 生产版本,并将其集成至 QVAC SDK 0.12.0。TurboQuant 源自 Google Research 的内存压缩算法,能够将 AI 运行时的 KV 缓存压缩高达 5 倍,同时保持与未压缩模型相近的输出质量。此举使笔记本、手机及边缘设备可在本地处理更长的对话、更大文件及更复杂任务,无需上传云端。发布内容包含完整量化流水线、主流推理框架适配器和开发者文档,面向消费级硬件、边缘设备和点对点网络上的开发者与初创团队。