Alxis955/qwen25-adv-lora

qwen25-adv-lora

Este modelo es una versión de Qwen2.5-Coder-7B-Instruct afinada utilizando la técnica LoRA (Low-Rank Adaptation) para mejorar su rendimiento en tareas de generación de texto y robustez frente a ejemplos adversariales, como los de AdvBench. El modelo ha sido fusionado (merge_and_unload) para facilitar su uso directo en inferencia.

Detalles técnicos

• —Modelo base: Qwen2.5-Coder-7B-Instruct
• —Técnica de ajuste: LoRA con unsloth
• —Precision: 4-bit (con bitsandbytes)
• —Secuencia máxima: 4096 tokens
• —Uso: generación de texto en español e inglés

Cómo usar

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Alxis955/qwen25-adv-lora")
tokenizer = AutoTokenizer.from_pretrained("Alxis955/qwen25-adv-lora")

prompt = "¿Cuál es la capital de Francia?"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))