proxectonos/corpus_dominio_periodistico

Corpus de dominio periodístico

Descripción general

El corpus periodístico reúne textos informativos procedentes de prensa digital en gallego, recopilados a partir de distintos medios y en el marco de proyectos y fases de adquisición diferentes. El conjunto representa el registro periodístico contemporáneo y está orientado a su uso en tareas de procesamiento del lenguaje natural.

El corpus incluye tanto colecciones previamente integradas en CorpusNÓS, con un esquema de datos simplificado, como conjuntos más recientes que conservan metadatos periodísticos completos extraídos directamente de fuentes estructuradas.

Fuentes

El corpus incluye textos procedentes de los siguientes medios de comunicación digitales en gallego:

• —Galicia é
• —Galicia Hoxe
• —Tempos Dixital
• —Xornal GL
• —A Nosa Terra
• —Nós Diario
• —Praza Pública
• —Código Cero

Colecciones sin metadatos

Una parte de los medios fue incorporada a CorpusNÓS en fases anteriores y se presenta en un formato JSON plano, con una estructura orientada principalmente al contenido textual. Cada documento incluye, de forma general, los siguientes campos:

• —identificador interno
• —texto completo de la noticia
• —número de palabras
• —métricas automáticas de calidad (por ejemplo, pyplexity)
• —idioma

Estos conjuntos priorizan la disponibilidad de texto limpio y homogéneo frente a la conservación de metadatos editoriales detallados. Estos archivos son los mismos que se pueden encontrar en CorpusNÓS.

Corpus con metadatos

Los corpus correspondientes a Nós Diario y Praza Pública se obtuvieron directamente a partir de fuentes XML/HTML estructuradas. En estos casos, los documentos conservan información periodística detallada, entre la que se incluye:

• —identificadores de la noticia
• —fechas de creación, publicación y revisión
• —URL original
• —titular y subtítulo
• —categorías temáticas
• —cuerpo de la noticia en texto plano y en HTML
• —palabras clave
• —referencia al archivo XML de origen

Estos documentos se organizan jerárquicamente por año publicación, reflejando la estructura temporal original de los medios. Estos diarios también están incluidos en CorpusNÓS, pero abarcan una cantidad menor de noticias. Los archivos en este corpus han pasado un proceso de extracción y limpieza diferente.

Estos corpus se irán ampliando en futuras versiones a medida que se procesen e incorporen nuevos textos de Nós Diario y Praza Pública, por lo que la cobertura actual no debe considerarse definitiva.

Formato y organización

Todos los textos del corpus periodístico se distribuyen en formato JSONL.

El corpus presenta la siguiente estructura:

corpus_dominio_periodistico/
├── nosdiario/
│   ├── nosdiario_2012.jsonl
│   ├── nosdiario_2013.jsonl
│   ├── ...
│   └── nosdiario_2025.jsonl
├── prazapublica/
│   ├── prazapublica_2012.jsonl
│   ├── prazapublica_2013.jsonl
│   ├── ...
│   └── prazapublica_2025.jsonl
├── gl_a_nosa_terra.jsonl
├── gl_codigocero.jsonl
├── gl_galicia_e.jsonl
├── gl_galicia_hoxe.jsonl
├── gl_tempos_dixital.jsonl
└── gl_xornal.jsonl

Ejemplo de entrada sin metadatos:

{
  "id": 41090,
  "text": "O roadshow da banda larga de Movistar recala en Arbo até o domingo. A iniciativa forma parte do Plan de Banda Larga da Xunta e permitirá o acceso a redes ultrarrápidas mediante fibra óptica (FTTH)...",
  "num_words": 544,
  "pyplexity_score": 685.0293946985031,
  "lang": "gl"
}

Ejemplo de entrada con metadatos:

{
  "metadata": {
    "news_item_id": "188941",
    "first_created": "20240131T195109+01:00",
    "first_published": "20240201T072219+01:00",
    "this_revision_created": "20240201T073632+01:00",
    "url": "https://www.nosdiario.gal/articulo/social/..."
  },
  "news": {
    "headline": "A Xunta cancelou a misión para salvar a Casa da Galiza en Uruguai",
    "categories": ["social"],
    "body": "No mes de outubro de 2021, o Goberno do Uruguai ordenou a intervención pública do sanatorio da Casa da Galiza...",
    "body_html": "<p>No mes de outubro de 2021, o Goberno do Uruguai ordenou a intervención pública do sanatorio...</p>",
    "abstract": "Responsables da Xunta son acusados de manter silencio ante o fechamento da Casa da Galiza no Uruguai.",
    "keywords": [
      "Alberto Núñez Feixoo",
      "Alfonso Rueda",
      "Xunta da Galiza",
      "Uruguai",
      "Casa da Galiza"
    ]
  },
  "source_xml": "2024-02-01T062219__188941.xml",
  "images": [
    {
      "url": "https://www.nosdiario.gal/media/...jpg",
      "caption": "Alberto Iglesias, último presidente da Casa da Galiza."
    }
  ]
}

Procesamiento y limitaciones

El corpus ha sido generado mediante procesos automáticos de extracción, normalización y limpieza básica del texto. No se ha realizado corrección lingüística manual ni anotación semántica adicional.

Dado que los datos proceden de diferentes fuentes y momentos de recopilación, existen variaciones en la riqueza de metadatos, en la estructura de los documentos y en la calidad del texto, inherentes a los formatos originales y a los métodos de extracción utilizados.

Información adicional

Usos previstos

Este conjunto de datos puede utilizarse para:

• —modelado de lenguaje específico del dominio periodístico
• —preentrenamiento continuo sobre texto periodístico en gallego
• —análisis de corpus del lenguaje periodístico gallego contemporáneo
• —experimentos de extracción de información y procesamiento documental sobre texto periodístico
• —investigación en PLN para lenguas de bajos recursos con datos de medios en gallego

Licencias

Los textos incluidos en el corpus periodístico fueron obtenidos mediante acuerdos de cesión y colaboración con las entidades responsables de los contenidos o a través de fuentes que permiten su reutilización con fines de investigación. Parte de estos corpus ha sido previamente integrada en CorpusNÓS y se distribuye bajo las mismas condiciones.

El corpus constituye una obra derivada, resultado de procesos automáticos de extracción, limpieza y estructuración en formato JSONL, sin alteración del contenido semántico original. En todas las reutilizaciones se mantiene la atribución a las fuentes periodísticas originales.

La estructura del corpus y los procesos de procesamiento aplicados se distribuyen bajo la licencia:

Creative Commons Attribution 4.0 International (CC BY 4.0)

Financiación y agradecimientos

Esta publicación del proyecto Desarrollo de Modelos ALIA está financiada por el Ministerio para la Transformación Digital y de la Función Pública y por el Plan de Recuperación, Transformación y Resiliencia – Financiado por la Unión Europea – NextGenerationEU.

This work is funded by the Ministerio para la Transformación Digital y de la Función Pública - Funded by EU – NextGenerationEU within the framework of the project Desarrollo de Modelos ALIA.