Felipecezar01/dlf-v1-tecnologia

DLF V1 — Tecnologia

DLF V1 é um modelo de linguagem em português especializado em respostas sobre tecnologia.

O modelo foi desenvolvido a partir do `pierreguillou/gpt2-small-portuguese` por meio de instruction tuning utilizando LoRA (Low-Rank Adaptation).

Após o treinamento, os pesos LoRA foram incorporados ao modelo-base, produzindo esta versão standalone, que pode ser carregada diretamente com a biblioteca Transformers sem depender de PEFT ou de um adaptador separado.

Dataset

O treinamento utilizou uma base com aproximadamente 1.200 pares no formato:

• —instruction
• —input
• —output

A base é predominantemente composta por perguntas e respostas relacionadas à área de tecnologia.

Configuração DLF V1

• —Modelo-base: pierreguillou/gpt2-small-portuguese
• —Técnica: LoRA / PEFT
• —LoRA rank (r): 16
• —LoRA alpha: 32
• —Target modules: c_attn, c_proj, c_fc
• —Learning rate: 2e-4
• —Warmup ratio: 0.05
• —Batch físico: 4
• —Batch efetivo: 8
• —Máximo de épocas: 10
• —Early stopping: ativo
• —Patience: 3
• —Melhor checkpoint: época 6
• —Treinamento encerrado: época 9

Modelo standalone

O adaptador LoRA foi consolidado com o modelo-base utilizando merge_and_unload().

O artefato publicado neste repositório contém aproximadamente 124 milhões de parâmetros e pode ser carregado diretamente com AutoModelForCausalLM.

Limitações

O modelo possui aproximadamente 124 milhões de parâmetros e foi treinado em uma base relativamente pequena e especializada.

A base apresentou melhor confiabilidade em conteúdo conceitual do que em exemplos contendo código. Portanto, respostas envolvendo geração de código podem apresentar erros ou inconsistências.

O modelo também não possui acesso à internet, RAG ou fontes externas de conhecimento.

Projeto

Modelo desenvolvido no projeto DLF, como atividade acadêmica de Introdução ao Machine Learning.