如何选择RAG的Embedding模型？

Embedding模型在RAG技术中非常关键，因为它们直接影响到信息检索的效果和生成文本的质量。

https://huggingface.co/spaces/mteb/leaderboard

1 选择标准

选择的标准有很多，比如模型的性能、处理速度，vector维度大小，我主要从下面两个方面进行的比较：

• Huggingface趋势与下载量

• 实验对比结果

• PEG

  作者：腾讯
  模型地址： https://huggingface.co/TownsWu/PEG
  论文： https://arxiv.org/pdf/2311.11691.pdf

  重点优化检索能力。

  GTE 系列

  作者：阿里巴巴
  模型地址： https://huggingface.co/thenlper/gte-large-zh
  论文： https://arxiv.org/abs/2308.03281

  picolo 系列

  作者：商汤
  地址： https://huggingface.co/sensenova/piccolo-large-zh

  有一些微调的小tips

  stella 系列

  地址：https://huggingface.co/infgrad/stella-large-zh-v2
  博客文章： https://zhuanlan.zhihu.com/p/655322183

  基于piccolo 模型fine-tuning，支持1024 序列长度。博客文章记录了一些训练思路。

  BGE 系列

  作者：智源研究院
  地址：https://huggingface.co/BAAI/bge-large-zh-v1.5
  论文：https://arxiv.org/pdf/2309.07597.pdf
  Github：https://github.com/FlagOpen/FlagEmbedding

  开放信息最多的模型，也提供了fine-tuning 示例代码。同时也是 C-MTEB 榜单的维护者。

  m3e 系列

  作者：MokaAI
  地址：https://huggingface.co/moka-ai/m3e-large
  Github：https://github.com/wangyuxinwhy/uniem

  研究的比较早，算是中文通用 Embedding 模型、数据集以及评测比较早的开拓者。

  multilingual-e5-large

  地址：https://huggingface.co/intfloat/multilingual-e5-large
  论文：https://arxiv.org/pdf/2212.03533.pdf

  多语言支持。

  tao-8k

  地址： https://huggingface.co/amu/tao-8k

  支持8192 序列长度，但是信息很少。

2 下载量

数据采集时间：2024.04.18

按趋势排行（前5名）

按下载量排行（最后多列出了几个中文版模型）

大系列有：bge, jina, gte, bce, e5, m3e
中文模型：bge-large-zh-v1.5, multilingual-e5-large, bce-embedding-base_v1，m3e-base，acge_text_embedding

2 结果对比（主要参考QAnything）

• MTEB排行榜
  https://huggingface.co/spaces/mteb/leaderboard

• https://huggingface.co/spaces/mteb/leaderboard_legacy

  
  

  既包含开源，也包含API，鱼目混杂，需要进一步验证和确认。

• QAnything文档结果
  文档链接：https://qanything.ai/docs/architecture

中英双语评估（优先Retrieval结果）：

评测Metric：
https://arxiv.org/pdf/2210.07316.pdf

中文上Embedding模型的表现
Language: zh, Task Type: Retrieval

3 Embedding 模型推荐（中文，性能优先）

参考资料：

基于开源embedding模型的中文向量效果测试

https://github.com/JovenChu/embedding_model_test

1. https://www.llamaindex.ai/blog/boosting-rag-picking-the-best-embedding-reranker-models-42d079022e83

2. https://github.com/FlagOpen/FlagEmbedding/tree/master