Modelpublic

REILX/llava-Qwen2-7B-Instruct-Chinese-CLIP-v3

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face

4likes12downloads

Model Card

llava-Qwen2-7B-Instruct-Chinese-CLIP-v3

本模型扩大了中文图文训练数据集,并改用 OFA-Sys/chinese-clip-vit-huge-patch14,增强了中文文字识别能力和图像识别能力。

llava-Qwen2-7B-Instruct-Chinese-CLIP-v3 = Qwen/Qwen2-7B-Instruct + multimodalprojector + OFA-Sys/chinese-clip-vit-huge-patch14

模型分三阶段训练,每次都对以下两模块进行微调：

—visiontower 和 languagemodel 的 qproj, kproj, vproj, oproj, gateproj, upproj, down_proj 模块进行 lora 训练
—mmp 层全量训练

—数据集: REILX/chinese-meme-description-dataset、SWHL/ChineseOCRBench、priyank-m/chinesetextrecognition、fly0331/ChineseTest、liuhaotian/LLaVA-Pretrain、Lin-Chen/ShareGPT4V
—微调参数:
—lorar=32, loraalpha=64, numtrainepochs=2, perdevicetrainbatchsize=1, gradientaccumulationsteps=8, highlr=1e-3, lowlr=2e-5, modelmaxlength=2048
—训练时长: 84小时02分钟

—数据集: REILX/Chinese-Image-Text-Corpus-dataset
—微调参数:
—lorar=32, loraalpha=64, numtrainepochs=3, perdevicetrainbatchsize=1, gradientaccumulationsteps=8, highlr=5e-4, lowlr=1e-5, modelmaxlength=2048
—训练时长: 36小时56分钟

—数据集: REILX/chinese-meme-description-dataset 中的 ChineseBQB-Claude-3-5-sonnet-20240620.jsonl 和 emo-visual-data-Claude-3-5-sonnet-20240620.jsonl，仅使用质量最高的 Claude-3-5-sonnet-20240620 模型输出进行最后的微调
—微调参数:
—lorar=32, loraalpha=64, numtrainepochs=3, perdevicetrainbatchsize=1, gradientaccumulationsteps=8, highlr=5e-4, lowlr=1e-5, modelmaxlength=2048
—训练时长: 1小时04分钟

3阶段共耗时: 122小时