miguelmejias0512/deepseek-solidity-coder-llm-7b-finetuned

Model Card for QLoRA Fine-Tuned DeepSeek-LLM-7B-Base

Model Details

Model Description

Esta es una versión optimizada mediante QLoRA (Adaptación Cuantizada de Bajo Rango) del modelo DeepSeek-LLM-7B-Base. El modelo base es un modelo de lenguaje de 7 mil millones de parámetros desarrollado por DeepSeek AI. Esta versión optimizada se ha adaptado utilizando técnicas de QLoRA para optimizar el rendimiento en tareas específicas, manteniendo la eficiencia.

• —Desarrollado por: [Miguel Moisés Mejías Hernández/Universidad Politécnica Territorial del Estado Aragua "Federico Brito Figueroa"]
• —Tipo de modelo: Modelo de lenguaje basado en transformadores
• —Idioma(s): Principalmente inglés y español
• —Licencia: deepseek
• —Optimizado a partir del modelo: deepseek-ai/deepseek-llm-7b-base

Training Procedure

El modelo se ajustó con QLoRA (Adaptación Cuantizada de Bajo Rango), que permite un ajuste preciso y eficiente de modelos de lenguaje extensos mediante:

• —La cuantificación de 4 bits del modelo base
• —La adición de pequeños adaptadores de bajo rango entrenables
• —La congelación de la mayoría de los parámetros del modelo original

Training Hyperparameters

• —Training regime: QLoRA fine-tuning
• —Learning rate: [2e-4]
• —Batch size: [1]
• —Epochs: [300]
• —LORA parameters:
• —Rank: [8]
• —Alpha: [16]
• —Dropout: [0.1]
• —Optimizer: [Your optimizer]

Uses

Direct Use

Este modelo puede ser usado para clasificación de texto en dominios específicos como...

Downstream Use

Este modelo podría ser fine-tuned para:

• —Análisis de sentimiento en redes sociales
• —Clasificación de tickets de soporte
• —Detección de contenido inapropiado

Out-of-Scope Use

El modelo no debe ser usado para:

• —Textos en otros idiomas no incluidos en el entrenamiento
• —Dominios muy diferentes a los datos de entrenamiento
• —Toma de decisiones críticas sin supervisión humana

Bias, Risks, and Limitations

Sesgos identificados:

• —Puede presentar peor rendimiento en textos con jerga regional
• —Sesgo hacia variedades dialectales presentes en los datos de entrenamiento
• —Sensibilidad a textos con ortografía no convencional

Limitaciones:

• —Tamaño máximo de entrada: 512 tokens
• —Rendimiento disminuido en textos muy cortos (<10 palabras)
• —No captura bien el sarcasmo o ironía

Riesgos:

• —Posibles falsos positivos/negativos en casos críticos
• —No debe usarse como único criterio para decisiones automatizadas

Training Data

Dataset utilizado: Nombre del dataset

Características:

• —Tamaño: X ejemplos de entrenamiento, Y de validación
• —Distribución de clases:
• —Clase A: 60%
• —Clase B: 30%
• —Clase C: 10%
• —Fuente: Origen de los datos

Preprocesamiento especial:

1. 1.Normalización de texto:
2. 2.Conversión a minúsculas
3. 3.Eliminación de caracteres especiales
4. 4.Corrección de acentos
5. 5.Tokenización especial para términos del dominio
6. 6.Balanceo de clases mediante oversampling para clases minoritarias
7. 7.Eliminación de stopwords personalizada

Training Procedure

• —Framework: PyTorch + Transformers
• —Hardware: 1x NVIDIA V100 GPU
• —Training Hyperparameters:
• —learning_rate: 2e-5
• —batch_size: 16
• —num_epochs: 3
• —weight_decay: 0.01
• —warmup_steps: 500

Training Results

{visualization}

Evaluation

Testing Data

• —Dataset independiente de Z ejemplos
• —Distribución balanceada
• —Incluye casos edge recolectados específicamente

Results

Ejemplos de errores comunes:

• —Confunde X con Y en casos de negaciones dobles
• —Bajo rendimiento en textos con mezcla de idiomas

Technical Specifications

Model Architecture and Objective

El modelo sigue la arquitectura del transformador del modelo original DeepSeek-LLM-7B-Base con adaptadores QLoRA agregados durante el ajuste fino.

Compute Infrastructure

• —Hardware: [Your hardware]
• —Training time: [Your training duration]

How to Get Started with the Model

Carga básica del modelo

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

model = AutoModelForSequenceClassification.from_pretrained("miguelmejias0512/deepseek-solidity-coder-llm-7b-finetuned")
tokenizer = AutoTokenizer.from_pretrained("miguelmejias0512/deepseek-solidity-coder-llm-7b-finetuned")

# Ejemplo de inferencia
text = "Texto de ejemplo a clasificar"
inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True, max_length=512)

with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.softmax(outputs.logits, dim=-1)
    
print(f"Probabilidades por clase: {predictions.numpy()}")
Preprocesamiento necesario
python
def preprocess_text(text):
    # Implementa aquí el mismo preprocesamiento usado en entrenamiento
    text = text.lower()
    # ... más pasos
    return text

# Uso completo con preprocesamiento
raw_text = "TEXTO Crudo con MAYÚSCULAS y signos!"
processed_text = preprocess_text(raw_text)
inputs = tokenizer(processed_text, return_tensors="pt", truncation=True, padding=True)
# ... resto del código de inferencia
Ejemplo completo con post-procesamiento
python
import numpy as np

class_names = ["clase_A", "clase_B", "clase_C"]  # Reemplaza con tus clases

def predict(text):
    # Preprocesamiento
    processed_text = preprocess_text(text)
    
    # Tokenización
    inputs = tokenizer(processed_text, return_tensors="pt", truncation=True, padding=True, max_length=512)
    
    # Inferencia
    with torch.no_grad():
        outputs = model(**inputs)
        probs = torch.softmax(outputs.logits, dim=-1).numpy()[0]
    
    # Resultado
    return {class_names[i]: float(probs[i]) for i in range(len(class_names))}

# Ejemplo de uso
result = predict("Este es un texto de ejemplo para clasificar")
print(result)

Citation

BibTeX:

bibtex @misc{deepseek-ai/deepseek-llm-7b-base}, author = miguelmejias0512, title = deepseek-solidity-coder-llm-7b-finetuned, year = datetime.now().year, publisher = Hugging Face, howpublished = \url{{https://huggingface.co/miguelmejias5012/deepseek-solidity-coder-llm-7b-finetuned,

APA Style: miguelmejias5012. (datetime.now().year). deepseek-solidity-coder-llm-7b-finetuned} [Software]. Hugging Face. https://huggingface.co/miguelmejias5012/deepseek-solidity-coder-llm-7b-finetuned