CoolFace
Datasetpublic

Linkhero2/bertopic-conflictos-chile-v26.2

📖 README Técnico: BERTopic v24 "The Complete Pipeline" 📊 Resumen del Proyecto Objetivo: Modelamiento de tópicos de conflictos socioambientales en Chile para tesis de Sociología. Dataset: 3,268 noticias (2018-2025) K Natural (HDBSCAN): 54 tópicos Fecha de Generación: 2026-01-16 02:38 📈 Métricas Principales (K-54 Natural) Métrica Valor Interpretación Topic Diversity 0.6549 Diversidad de palabras entre tópicos (0-1, mayor es mejor)… See the full description on the dataset page: https://huggingface.co/datasets/Linkhero2/bertopic-conflictos-chile-v26.2.

sourceHugging Faceupdated 8mo agoView on Hugging Face
0likes123downloads
Dataset Card

📖 README Técnico: BERTopic v24 "The Complete Pipeline"

📊 Resumen del Proyecto

Objetivo: Modelamiento de tópicos de conflictos socioambientales en Chile para tesis de Sociología. Dataset: 3,268 noticias (2018-2025) K Natural (HDBSCAN): 54 tópicos Fecha de Generación: 2026-01-16 02:38

📈 Métricas Principales (K-54 Natural)

MétricaValorInterpretación
Topic Diversity0.6549Diversidad de palabras entre tópicos (0-1, mayor es mejor)
Silhouette Score0.5711Separación de clusters (-1 a 1, mayor es mejor)
Mean NPMI Coherence0.1430Coherencia semántica (-1 a 1, mayor es mejor)
Mean UMass Coherence-13.6672Coherencia estadística (cercano a 0 es mejor)
Calinski-Harabasz5250.16Varianza entre/dentro clusters (mayor es mejor)
Davies-Bouldin0.5375Similitud entre clusters (menor es mejor)
Outlier Ratio12.88%Documentos no asignados (ideal <15%)

📁 Estructura de Archivos

resultados_v24/
├── ANALISIS_TOPICS_v24.txt          # 🔑 TODOS los topics de TODOS los K en un TXT
├── README.md                         # 📖 Documentación completa (este archivo)
├── metadata.json                     # ⚙️ Metadatos y configuración
├── todos_los_K_topics.xlsx           # 📊 Excel consolidado con todos los K
│
├── datos_globales/                   # 📊 Datos compartidos entre todos los K
│   ├── embeddings.npy               # Vectores 4096-dim (Qwen)
│   ├── reduced_embeddings.npy       # UMAP 2D para visualización
│   ├── document_info_complete.xlsx  # Cada documento con su tópico asignado
│   ├── hierarchical_topics.xlsx     # Estructura padre-hijo de tópicos
│   ├── topic_tree.txt               # Árbol visual de la jerarquía
│   ├── topic_info.xlsx              # Info resumen de tópicos
│   └── representative_docs.json     # 3 documentos más representativos por tópico
│
├── outliers/                         # 👻 Documentos no asignados (topic -1)
│   ├── outliers_topic_minus1_K54.xlsx
│   └── outliers_stats.json
│
├── modelos/                          # 🧠 Modelo guardado para reutilización
│   └── topic_model_v24/
│
├── K-54/                    # 📂 Resultados del K natural
│   ├── topics_K54.xlsx     # Topics con keywords
│   ├── topics_over_time.xlsx        # Evolución temporal
│   ├── metricas/
│   │   ├── metrics_K54.json
│   │   └── coherence_per_topic_K54.xlsx
│   ├── visualizaciones/
│   │   ├── barchart.html
│   │   ├── hierarchy.html
│   │   ├── heatmap.html
│   │   ├── topics_map.html
│   │   ├── topics_over_time.html
│   │   ├── datamap_interactive.html
│   │   └── documents_plotly.html
│   └── documentos_por_topico/
│       └── documentos_por_topico_K54.xlsx
│
└── K-XX/                             # 📂 Otros valores de K generados
    └── (misma estructura)

🔢 Multi-K Generados

  • —K-40
  • —K-30
  • —K-20
  • —K-12

🧠 Configuración del Modelo

ParámetroValorJustificación
Embedding ModelQwen/Qwen3-Embedding-8BMejor modelo multilingual 2024
UMAP n_neighbors15Balance entre estructura local/global
UMAP n_components5Reducción dimensional para HDBSCAN
HDBSCAN min_cluster_size15Mínimo docs para ser tópico (evita ruido)
HDBSCAN min_samples5Consistencia del clustering
MMR Diversity0.7Diversidad en selección de keywords
Dedup Threshold0.7Umbral para deduplicar keywords similares
Min Keywords Safe6Mínimo keywords por tópico (safety net)

🔬 Fórmulas Matemáticas Usadas

UMass Coherence (Mimno et al., 2011)

C_UMass = (2 / (N * (N-1))) * Σ log((D(w_i, w_j) + ε) / D(w_j))

NPMI Coherence (Bouma, 2009)

NPMI(w_i, w_j) = log(P(w_i, w_j) / (P(w_i) * P(w_j))) / (-log(P(w_i, w_j)))

Topic Diversity (Dieng et al., 2020)

TD = |unique_words| / (|topics| * top_n)

Silhouette Coefficient

s(i) = (b(i) - a(i)) / max(a(i), b(i))

Davies-Bouldin Index

DB = (1/k) * Σ max_{j≠i}((σ_i + σ_j) / d(c_i, c_j))

🔄 Cómo Cargar el Modelo

python
from bertopic import BERTopic

# Cargar modelo entrenado
topic_model = BERTopic.load("modelos/topic_model_v24")

# Usar para nuevos documentos
topics, probs = topic_model.transform(["nuevo texto a clasificar"])

🔮 Próximos Pasos

  1. 1.Gemini Enrichment: Ejecutar gemini_enrichment.py para análisis sociológico profundo
  2. 2.Dashboard: Generar visualizaciones interactivas con los datos enriquecidos
  3. 3.Validación: Revisar coherencia de tópicos con expertos del dominio

📚 Referencias Académicas

  • —BERTopic: Grootendorst, M. (2022). "BERTopic: Neural topic modeling with a class-based TF-IDF procedure"
  • —UMAP: McInnes, L., Healy, J., & Melville, J. (2018). "UMAP: Uniform Manifold Approximation and Projection"
  • —HDBSCAN: Campello, R. J., Moulavi, D., & Sander, J. (2013). "Density-Based Clustering Based on Hierarchical Density Estimates"
  • —Qwen Embeddings: Alibaba DAMO Academy (2024). "Qwen2/Qwen3 Embedding Models"
  • —NPMI Coherence: Bouma, G. (2009). "Normalized (pointwise) mutual information in collocation extraction"
  • —Topic Diversity: Dieng, A. B., Ruiz, F. J., & Blei, D. M. (2020). "Topic Modeling in Embedding Spaces"

🆚 Mejoras v24 sobre v23

Característicav23v24
ANALISIS_TOPICS.txt❌✅ Consolidado
Carpeta outliers/❌✅ Exportados
datos_globales/❌✅ Organizado
README50 líneas200+ líneas
DocumentaciónBásicaCompleta

Generado automáticamente por DEFINITIVO_bertopic_v24.py Timestamp: 2026-01-16T02:38:20.290989