procesaur/Wiki.mk

<table style="width:100%;height:100%"> <!--tr style="width:100%;height:30px">

<td colspan=2 align=center>

</td> <tr--> <tr style="width:100%;height:100%"> <td width=50%> <h2>Вики корпуси на македонски јазик</h2> <p>Свежа верзија, <span class="highlight-container"><span class="highlight">1 мај 2026</span></span>!</p> <p>Исчистен и филтриран сет од три проекти: Википедија, Викиизвор и Викикниги</p> <p>Над 100.000 курирани статии, со <span class="highlight-container"><span class="highlight">над 50 милиони зборови</span></span>.</p> <p></p> <p>Секој документ е во посебна JSON линија.</p> <p>Нови метаподатоци! Категории, број на зборови и процент на кириличен текст</p> <p>Можно е да се филтрира сет по јазик или проект.</p> </td> <td width=50%> <h2>Wiki corpora in Macedonian</h2> <p>Fresh version, <span class="highlight-container"><span class="highlight">1. May 2026</span></span>!</p> <p>Cleaned and filtered set of three projects: Wikipedia, Wikisource and Wikibooks.</p> <p>Over 100,000 curated articles, with <span class="highlight-container"><span class="highlight">over 50 million words</span></span>.</p> <p></p> <p>Each document is in a separate JSON line.</p> <p>New metadata! Categories, number of words and percentage of Cyrillic text</p> <p>Possible to filter the set by language or project.</p> </td> </tr> </tr> <tr> <td colspan=2> <table style='width:100%;font-size:12pt;text-align:right'> <tr> <th style='width:22%'><b>Број на документи<br/>Doc. count</b></th> <th style='width:13%'><b>Википедија<br/>Wikipedia</b></th> <th style='width:13%'><b>Викиизвор<br/>Wikisource</b></th> <th style='width:13%'><b>Викивести<br/>Wikinews</b></th> <th style='width:13%'><b>Викицитати<br/>Wikiquotes</b></th> <th style='width:13%'><b>Викикниги<br/>Wikibooks</b></th> <th style='width:13%'><b>Вкупно<br/>Total</b></th> </tr> <tr> <td>Македонски 🇲🇰</td> <td>101,111</td> <td>2,028</td> <td></td> <td></td> <td>99</td> <td>103,238</td> </tr> </table> </td> </tr> <tr> <td colspan=2> <table style='width:100%;font-size:12pt;text-align:right'> <tr> <th style='width:22%'><b>Број на зборови<br/>Word count</b></th> <th style='width:13%'><b>Википедија<br/>Wikipedia</b></th> <th style='width:13%'><b>Викиизвор<br/>Wikisource</b></th> <th style='width:13%'><b>Викивести<br/>Wikinews</b></th> <th style='width:13%'><b>Викицитати<br/>Wikiquotes</b></th> <th style='width:13%'><b>Викикниги<br/>Wikibooks</b></th> <th style='width:13%'><b>Вкупно<br/>Total</b></th> </tr> <tr> <td>Македонски 🇲🇰</td> <td>53,249,522</td> <td>1,173,304</td> <td></td> <td></td> <td>29,739</td> <td>54,452,563</td> </tr> </table> </td> </tr> </table>

# Učitavanje samo Wikibooks
dataset = load_dataset("procesaur/WikiSonce", split="wikibooks")
print(dataset[9]["text"])

Викимедиин Готвач''Збирка рецепти од целиот свет.''''Забелешка: Секоја од статите во содржинава...

# Filtriranje prema metapodacima
filtered = dataset.filter(lambda example: example["subject"] == "Рецепти за тестенини")
print(f"{filtered[0]["title"]}\n{filtered[0]["text"]} )

Готвач:Рецепти за тестенини
Готвач | Индекс на рецепти Тестениини или паста се вид на јадење направена од брашно, вода и понекогаш јајца, која се меша,...

Cite

@misc{škorić2026wikidumpstrainingcorpora,
      title={Wiki Dumps to Training Corpora: South Slavic Case}, 
      author={Mihailo Škorić and Cosimo Palma},
      year={2026},
      eprint={2604.25384},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2604.25384}, 
}

<div class="inline-flex flex-col avatar-cont"> <div class="avatar-title">Editor</div> <a href="https://huggingface.co/procesaur"> <div class="flex"> <div class="avatar-cover" style="background-image: url(&#39;https://cdn-uploads.huggingface.co/production/uploads/1673534533167-63bc254fb8c61b8aa496a39b.jpeg?w=200&h=200&f=face&#39;)"> </div> </div> <div class="avatar-name">Mihailo Škorić</div> <div class="avatar-handle">@procesaur</div> </a> </div> </div>

<div class="inline-flex flex-col avatar-cont"> <div class="avatar-title">Data</div> <a href="https://www.wikimedia.org/"> <div class="flex"> <div class="avatar-cover" style="background-image: url(&#39;https://upload.wikimedia.org/wikipedia/commons/thumb/5/53/Wikimedia-logo.png/250px-Wikimedia-logo.png&#39;)"> </div> </div> <div class="avatar-name">Wikimedia</div> <div class="avatar-handle">@www.wikimedia.org</div> </a> </div> </div>

<div class="inline-flex flex-col avatar-cont"> <div class="avatar-title">Funding</div> <a href="https://fondzanauku.gov.rs/"> <div class="flex"> <div class="avatar-cover" style="background-image: url(https://fondzanauku.gov.rs/wp-content/uploads/2019/04/FZN-logo-primary-light-1170x396.png)"> </div> </div> <div class="avatar-name">Fond za Nauku</div> <div class="avatar-handle">@fondzanauku_rs</div> </a> </div> </div>

<table style="width:100%;height:100%"> <tr style="width:100%;height:100%"> <td width=50%> <p>Истраживање jе спроведено уз подршку Фонда за науку Републике Србиjе, #7276, Text Embeddings – Serbian Language Applications – TESLA</p> </td> <td> <p>This research was supported by the Science Fund of the Republic of Serbia, #7276, Text Embeddings - Serbian Language Applications - TESLA</p> </td> </tr> </table>

<img src="cover.png" class="cover">

<style> .ffeat: { color:red }

.cover { width: 100%; margin-bottom: 5pt }

.highlight-container, .highlight { position: relative; text-decoration:none }

.highlight-container { display: inline-block; }

.avatar-cont { line-height: 1.5; padding-right:50px; }

.avatar-title{ text-align: center; margin-top: 3px; font-size: 16px; font-weight: 800; }

.avatar-name{ text-align: center; font-size: 16px; font-weight: 800; }

.avatar-handle{ text-align: center; font-size: 14px; }

.avatar-cover{ display:DISPLAY_1; margin-left: auto; margin-right: auto; width: 92px; height:92px; border-radius: 50%; background-position: center; background-size: contain; background-repeat: no-repeat; }

.highlight{ color:white; text-transform:uppercase; font-size: 16pt; }

.highlight-container{ padding:5px 10px }

.highlight-container:before { content: " "; display: block; height: 100%; width: 100%; margin-left: 0px; margin-right: 0px; position: absolute; background: #e80909; transform: rotate(2deg); top: -1px; left: -1px; border-radius: 20% 25% 20% 24%; padding: 10px 18px 18px 10px; }

div.grb, #zastava>table { position:absolute; top:0px; left: 0px; margin:0px }

div.grb>img, #zastava>table{ margin:0px }

#zastava { position: relative; margin-bottom:120px }

p { font-size:14pt } </style>