Datasetpublic

Alex01837178373/absurdopedia-dataset

Absurdopedia Satirical Corpus (LLM Dataset) Этот датасет содержит очищенный текстовый корпус энциклопедии Absurdopedia. Описание Данные подготовлены специально для обучения больших языковых моделей (LLM). Из статей удалены все элементы разметки, мешающие считыванию чистого текста. Формат: JSON Lines (.jsonl), где каждая строка: pageid (int): ID страницы title (string): Название статьи text (string): Очищенный текст статьи в формате Markdown Очистка… See the full description on the dataset page: https://huggingface.co/datasets/Alex01837178373/absurdopedia-dataset.

sourceHugging Facecc-by-sa-4.0updated 3mo agoView on Hugging Face

0likes6downloads

Dataset Card

Absurdopedia Satirical Corpus (LLM Dataset)

Этот датасет содержит очищенный текстовый корпус энциклопедии Absurdopedia.

Описание

Данные подготовлены специально для обучения больших языковых моделей (LLM). Из статей удалены все элементы разметки, мешающие считыванию чистого текста.

—Формат: JSON Lines (.jsonl), где каждая строка:
—pageid (int): ID страницы
—title (string): Название статьи
—text (string): Очищенный текст статьи в формате Markdown

Очистка

Были удалены:

—Служебные ссылки редактирования [править]
—Таблицы содержания
—Боковые карточки-инфобоксы
—Навигационные шаблоны
—Шаблоны предупреждений
—Сноски и ссылки на сноски
—Иллюстрации, галереи и видео

Сохранены заголовки, списки и цитаты.