CoolFace
Modelpublic

liuchen88/Qwen3.8-27B-CommercialLoan

sourceHugging Faceupdated 19d agoView on Hugging Face
1likes2.7kdownloads
Model Card

Qwen3.8-27B-CommercialLoan

基于 Qwen3.8-27B 通过 LoRA 微调的企业信贷审批专用大模型，支持三态分类决策（批准 / 有条件批准 / 拒绝）。

本仓库包含 GGUF 多模态版：Qwen3.8-27B-CommercialLoan-f16.gguf（文本塔）+ mmproj-*.gguf（视觉投影塔）+ preprocessor_config.json，适用于 llama.cpp / Ollama / LM Studio，支持图片输入。

模型简介

本模型面向商业银行对公信贷审批场景，针对企业贷款申请给出审批结论。融合了上市公司财务数据、小微企业违约数据、真实司法不良记录等多源训练语料。

核心能力

  • —三态审批决策：approve（批准）、cond_approve（有条件批准）、reject（拒绝）
  • —一票否决铁律：企业存在被执行 / 失信被执行人 / 限制消费 / 债务逾期 / 破产清算 / 资不抵债等情形，一律拒绝授信
  • —风险分析：生成详细的审批理由分析，包括财务指标评估、风险点识别、缓释条件判断

模型架构

项目内容
架构Qwen3_5ForCausalLM (GGUF)
参数量27B
隐藏维度5120
层数64 (48 SSM + 16 full attention)
词表大小248,320
注意力头Gated Attention: 24 Q + 4 KV, Head dim 256
上下文长度262,144 tokens

GGUF 文件

文件大小说明
Qwen3.8-27B-CommercialLoan-f16.gguf~50 GB文本塔 F16
mmproj-Qwen3.8-27B-CommercialLoan-f16.gguf~0.9 GB视觉投影塔（多模态必需）
  • —多模态：加载 GGUF 时需同时加载 mmproj，并配合 preprocessor_config.json，LM Studio 才会显示 Vision 标签。
  • —文本塔元数据含 qwen35.attention.recurrent_layers，llama.cpp 运行时只给 16 层 full attention 分配 KV cache，实际内存需求约 70 GB。

训练信息

项目内容
基座模型Qwen3.8-27B
微调方式QLoRA (rank=8, dropout=0.1, scale=16.0)
训练框架mlx-lm v0.31.3 (Apple MLX)
训练步数1,000 iterations
学习率5e-6 (cosine decay, warmup=150)
序列长度2048 tokens

硬件兼容性

精度硬件配置支持
GGUF F16Apple Silicon Mac64GB+ 统一内存✅
GGUF F16NVIDIA GPU80GB+ VRAM (A100/H100)✅

使用方法

llama.cpp / Ollama / LM Studio

bash
# llama.cpp（多模态：加 --mmproj）
llama-cli \
  -m Qwen3.8-27B-CommercialLoan-f16.gguf \
  --mmproj mmproj-Qwen3.8-27B-CommercialLoan-f16.gguf \
  -p "你是一位具有20年企业信贷审批经验的商业银行对公信贷审批专家。\n某企业申请授信500万元，该企业当前存在被执行案件，尚未结案。请给出审批结论。" \
  -n 2048

LM Studio 注意事项：

  • —同目录放入 mmproj-*.gguf + preprocessor_config.json，模型会显示 Vision 标签，可拖入图片/财报截图问答
  • —LM Studio 会显示 ~137 GB 内存估算，这是估算错误（实际只需 ~70 GB）
  • —加载方法：打开 Flash Attention（估算 ÷2 → ~68 GB），或按住 ⌥ Option 强制加载

限制与免责声明

  • —本模型仅用于辅助信贷审批决策参考，不可替代人工审批
  • —模型训练数据以中国上市公司和中小企业信用数据为主，对非中国企业适用性有限
  • —审批结论存在误判风险，请结合实际业务情况综合判断
  • —本项目不构成任何金融建议或信贷承诺