Datasetpublic

kurumikz/kaz-news-corpus

kaz-news-corpus Қазақ тіліндегі жаңалықтар корпусы — egemen.kz, baq.kz және azattyq.org сайттарынан жиналған. Датасет туралы Параметр Мән Мақала саны 11,814 Жалпы көлемі 53.86 MB Жалпы сөз саны 3,405,903 Орташа мақала ұзындығы 2,274 символ / 288 сөз Медиана ұзындығы 1,503 символ Ең ұзын мақала 81,103 символ Ең қысқа мақала 86 символ Бос тақырып (title) 3 (0.025%) Деректер көздері Сайт Мақала Орташа ұзындық Үлесі… See the full description on the dataset page: https://huggingface.co/datasets/kurumikz/kaz-news-corpus.

sourceHugging Faceodc-byupdated 6mo agoView on Hugging Face

0likes54downloads

Dataset Card

kaz-news-corpus

Қазақ тіліндегі жаңалықтар корпусы — egemen.kz, baq.kz және azattyq.org сайттарынан жиналған.

Датасет туралы

Параметр	Мән
Мақала саны	11,814
Жалпы көлемі	53.86 MB
Жалпы сөз саны	3,405,903
Орташа мақала ұзындығы	2,274 символ / 288 сөз
Медиана ұзындығы	1,503 символ
Ең ұзын мақала	81,103 символ
Ең қысқа мақала	86 символ
Бос тақырып (title)	3 (0.025%)

Деректер көздері

Сайт	Мақала	Орташа ұзындық	Үлесі
Baq.kz	4,993	1,620 символ	42.3%
Azattyq (RFE/RL)	3,839	3,134 символ	32.5%
Egemen Qazaqstan	2,982	2,262 символ	25.2%

Мақала ұзындықтарының бөлінуі

      100–500  символ :  ████                     986  (8.3%)
     500–1000  символ :  █████████               2305 (19.5%)
    1000–3000  символ :  ███████████████████████ 6480 (54.9%)
   3000–10000  символ :  ███████                 1739 (14.7%)
       10000+  символ :  █                        301  (2.5%)

Тазалау туралы

Бастапқы датасет kazakh_media_dataset.jsonl (11,824 мақала) автоматты түрде тазаланды:

—Сайт навигациясы, фото астары, санат белгілері жойылды
—Байлайндар жойылды (BAQ.KZ тілшісі, т.б.)
—Қайталанатын жолдар алынды
—title өрісі бос болған жағдайда мақаланың бірінші сөйлемінен автоматты түрде толтырылды
—10 мақала тазалаудан кейін 80 символдан аз болды — алынып тасталды

Деректер форматы

JSONL форматы — әр жол бір мақала:

json

{
  "article_id": 1,
  "source_name": "Egemen Qazaqstan",
  "url": "https://egemen.kz/article/...",
  "title": "Мақала тақырыбы",
  "content": "Мақала мәтіні осында..."
}

Өріс	Түрі	Сипаттамасы
`article_id`	int	Мақаланың реттік нөмірі
`source_name`	string	Деректер көзінің атауы
`url`	string	Бастапқы сілтеме
`title`	string	Тақырып
`content`	string	Мақала мәтіні

Пайдалану

python

import json
with open("kaz_news_corpus_clean.jsonl", "r", encoding="utf-8") as f:
    for line in f:
        article = json.loads(line)
        print(article["source_name"], article["title"])

python

import pandas as pd
df = pd.read_json("kaz_news_corpus_clean.jsonl", lines=True)
print(df.groupby("source_name")["content"].count())

Лицензия

Датасет [Open Data Commons Attribution License (ODC-BY) 1.0](https://opendatacommons.org/licenses/by/1-0/) лицензиясы бойынша таратылады.

Авторлықты көрсеткен жағдайда датасетті еркін пайдалануға, көшіруге және таратуға болады:

kurumikz. kaz-news-corpus: Kazakh news corpus. 2026.
https://huggingface.co/datasets/kurumikz/kaz-news-corpus

Мәтіндердің авторлық құқығы бастапқы деректер көздеріне тиесілі (egemen.kz, baq.kz, azattyq.org). Датасет тек зерттеу мақсатында жиналған.

Author: [@kurumikz](https://huggingface.co/kurumikz) · 2026