RiosWesley/gemma-3-270M-Model-Router

Rango Router BR - Gemma 3 270M (GGUF)

Rango Router BR é um modelo Tiny LLM (baseado no Gemma 3 270M) finetunado para atuar como um classificador de intenções (router) extremamente rápido e leve para sistemas de atendimento de delivery no Brasil.

Este modelo foi treinado e convertido para o formato GGUF usando Unsloth.

Funcionalidade

O modelo lê a mensagem do usuário (que pode conter gírias, abreviações e linguagem informal brasileira) e classifica a intenção em um formato JSON.

Intenções Suportadas (Output):

O modelo retorna um JSON com uma das três chaves:

1. 1.`INFO_FLOW`: O usuário quer informações (cardápio, horário, endereço, pix).
2. 2.`ORDER_FLOW`: O usuário quer fazer, alterar ou confirmar um pedido.
3. 3.`HUMAN_HANDOFF`: O usuário está irritado, teve problemas ou pediu um humano.

Configurações de Inferência Recomendadas

Para garantir a melhor consistência no formato JSON e precisão na classificação, recomendamos os seguintes parâmetros:

Como rodar

1. Ollama (Recomendado)

Crie um arquivo chamado Modelfile com o seguinte conteúdo (as configurações já estão incluídas):

FROM ./gemma-3-270m-it.Q8_0.gguf

# Template de chat padrão do Gemma 3
TEMPLATE "<start_of_turn>user\n{{ .Prompt }}<end_of_turn>\n<start_of_turn>model\n"

# Parâmetros recomendados para o Router
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER top_k 64
PARAMETER stop "<end_of_turn>"

Depois crie e rode o modelo:

ollama create rango-router -f Modelfile
ollama run rango-router "Manda o cardápio aí chefia"

2. Llama.cpp (CLI)

Ao rodar via linha de comando, passe as flags correspondentes:

llama-cli --hf RiosWesley/gemma-3-270m-router-br-gguf \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 64 \
  -p "<start_of_turn>user\nO motoboy sumiu, cadê meu lanche?<end_of_turn>\n<start_of_turn>model"

3. Python (Llama-cpp-python)

from llama_cpp import Llama

llm = Llama(
    model_path="./gemma-3-270m-it.Q8_0.gguf",
    n_ctx=2048
)

output = llm(
    "<start_of_turn>user\nQuero pedir uma pizza meia a meia\n<end_of_turn>\n<start_of_turn>model",
    max_tokens=128,
    temperature=0.6,
    top_p=0.95,
    top_k=64,
    stop=["<end_of_turn>"]
)

print(output['choices'][0]['text'])

Arquivos Disponíveis

• —gemma-3-270m-it.Q8_0.gguf: Versão quantizada em 8-bit (Recomendada).

Dados de Treinamento

O modelo foi treinado no dataset [RiosWesley/rango-router-BR](https://huggingface.co/datasets/RiosWesley/rango-router-BR), contendo frases coloquiais do português brasileiro focadas em contextos de alimentação e restaurantes.

Model finetuned using [Unsloth](https://github.com/unslothai/unsloth).