matheus-ciro-tcc/qwen3.5-0.8b-triagem-medica-gguf

Qwen3.5-0.8B — Triagem Médica PT-BR (GGUF)

Versões GGUF (Q8_0) dos modelos de triagem do TCC de Matheus Marques Eiras e Ciro Guilherme Nass (IFPR, Câmpus Pinhais; orientação de João Paulo Orlando), com os adaptadores LoRA já mesclados aos pesos. Feitas para rodar com llama.cpp — em especial no navegador, via wllama, na demo `matheus-ciro-tcc/triagem-medica-demo`.

⚠️ Não é um dispositivo médico. O modelo sugere um encaminhamento de especialidade a partir de texto; não diagnostica nem avalia gravidade.

Como foram gerados

1. 1.Cada par LoRA foi somado ao peso correspondente do checkpoint original (W += (α/r)·B·A, α=32, r=16 — a mesma conta do merge_and_unload do PEFT); os 96 pares de cada adaptador encontraram destino.
2. 2.Conversão com o convert_hf_to_gguf.py do llama.cpp no commit 83d855c (b10663), o mesmo embutido no wllama 3.6.1, com --outtype q8_0.

Script: scripts/07_export_gguf.py no repositório do projeto.

Paridade com o modelo original

40 exemplos do conjunto de teste (4 por classe, seed 42), decodificação gulosa, comparando a especialidade prevista pelo GGUF no navegador (wllama) com a do modelo original em transformers fp32:

O modelo base, sem ajuste, muitas vezes nem responde uma especialidade — as divergências dele são empates quase exatos que a quantização desempata diferente.

Formato do prompt

O mesmo do treino — o chat template do Qwen3.5 em non-thinking mode:

<|im_start|>system
Você é um sistema de triagem médica. Dada a queixa do paciente, classifique a especialidade médica mais apropriada entre: Dentista, Dermatologista, Ginecologista, Oftalmologista, Ortopedista - traumatologista, Otorrino, Psicólogo, Psicólogo, Psicanalista, Psiquiatra, Urologista. Responda APENAS com o nome da especialidade, sem explicações adicionais.<|im_end|>
<|im_start|>user
{queixa}<|im_end|>
<|im_start|>assistant
<think>

</think>

Use decodificação gulosa (temperatura 0), até 20 tokens, parando em <|im_end|>, e case o texto gerado com a lista de especialidades.