Qdrant 实测 Google EmbeddingGemma 2：1 位向量与重排序技术实现极致内存压缩
在向量数据库面临海量数据存储压力的当下，Google 最新发布的 EmbeddingGemma 2 模型因其轻量级特性（仅 2.7 亿参数，768 维空间）引发了广泛关注。然而，即便模型本身轻量，当面对 1000 万级文档时，全精度 float32 向量仍需占用 30.7GB 内存，这对边缘计算和移动端应用构成了巨大挑战。
Qdrant 团队凭借早期访问权限，对 EmbeddingGemma 2 进行了深度实测，重点探索了如何通过量化（Quantization）与重排序（Rescoring）技术，在大幅降低内存占用的同时，维持高检索精度。
核心突破：从 30GB 到 1GB 的内存飞跃
Qdrant 的测试结果显示，通过优化存储策略，向量内存占用可实现数量级的下降：
- 极致压缩方案：采用 1-bit TurboQuant 量化，并关闭重排序功能，每个向量仅需 104 字节。在 1000 万文档规模下，向量内存占用降至约 1GB，相比全精度方案节省 30 倍，且保留了 99% 的检索质量。
- 高压缩 + 重排序方案：若需进一步压缩，可采用 256 维 1-bit 向量配合 4 倍过采样重排序。此方案将向量内存占用降至 77 倍 以下，虽检索质量保留率为 94.5%，但足以满足对延迟敏感且对精度要求稍低的场景。
技术细节与策略对比
测试基于 BEIR 基准集中的 SciFact、NFCorpus、ArguAna 等五个数据集，以 nDCG@10 作为衡量标准。
- 维度截断 vs 位宽压缩：实验表明，优先压缩位宽（如 1-bit）比单纯截断维度（如保留 128 维 4-bit）效率更高。在同等内存预算下，1-bit 方案在保持精度的同时，比 4-bit 方案表现更优。
- 重排序的价值：关闭重排序时，Top 10 结果中仅有约 74% 与全精度搜索结果一致。开启重排序（使用原始向量进行二次打分）可显著提升召回的精确度，是平衡内存与精度的关键手段。
对开发者的实际价值
Qdrant 的 vector datatypes 功能允许开发者灵活选择存储格式（如 float16 或 turbo4），结合 EmbeddingGemma 2 的 Matryoshka Representation Learning 特性，开发者可以根据硬件资源动态调整向量维度（512/256/128），无需重新嵌入数据即可适应不同层级的应用需求。
对于追求极致性价比的 AI 应用，Qdrant 提供的这套组合拳——1-bit 量化 + 按需重排序，已成为处理超大规模向量检索的推荐架构。
