orca-zhang/bge-m3-4l-v551-langprefix-fixed-ncnn-int8

bge-m3-4l-v551-langprefix-fixed-ncnn-int8

v551 的 split-NCNN int8 发布包。

这不是一个重新导出的单文件 model.param/model.bin。当前可验证的发布形态是两段式：

1. 1.bundle-split-v551-langprefix-int8/backbone.param + backbone.bin
2. 2.复用 v527 的 NCNN int8 backbone；
3. 3.推理时从内部 blob 136 取 384 维特征。
4. 4.bundle-split-v551-langprefix-int8/projection.param + projection.bin
5. 5.从 v551 的 output_proj.weight 导出的 NCNN int8 projection head；
6. 6.输入 384 维特征，输出 512 维向量，随后在运行时做 L2 normalize。

查询必须使用 language-prefix 形式：

query_language: {lang}
{query}

这个发布包针对当前的 en/zh language-prefixed 检索场景。它不应被当成一个已经证明优于通用多语言检索基线的长尾多语言模型。

Local validation

• —fixed-full-v117 langprefix targeted set
• —queries: 204
• —MRR / Top1: 1.0 / 1.0
• —EN MRR: 1.0
• —ZH MRR: 1.0

Files

• —bundle-split-v551-langprefix-int8/backbone.param
• —bundle-split-v551-langprefix-int8/backbone.bin
• —bundle-split-v551-langprefix-int8/projection.param
• —bundle-split-v551-langprefix-int8/projection.bin
• —bundle-split-v551-langprefix-int8/metadata.json
• —reference_infer.py
• —verification.json
• —fixed-full-v117-langprefix-v551-final-vs-v550.json
• —run_config.json

训练用 checkpoint-final.pt 没有放进发布仓库，发布物只保留部署所需的 int8 runtime bundle 和验证材料。

Quick start

python reference_infer.py   --bundle-dir bundle-split-v551-langprefix-int8   --mode query   --lang zh   --text "wifiAccessPoints 是什么"