Mikimi/ru-wikipedia-100k-full-text-daily-stats-10-years

{
    "level": 2,           # Уровень заголовка (2 = ==, 3 = ===, и т.д.)
    "title": "История",   # Заголовок секции
    "text": "Текст..."    # Содержимое секции
}

{
    "2015-07-01": 1234,
    "2015-07-02": 5678,
    "2015-07-03": 9012,
    ...
    "2025-05-15": 4567
}

from datasets import load_dataset

# Загрузка полного датасета
dataset = load_dataset("Mikimi/ru-wikipedia-daily-pageviews-full-text")

# Просмотр структуры
print(dataset)
print(f"Количество статей: {len(dataset['train']):,}")

# Доступ к первой статье
article = dataset['train'][0]
print(f"Заголовок: {article['title']}")
print(f"Просмотров: {article['total_views']:,}")
print(f"Слов: {article['word_count']:,}")

# Краткое содержание
print(f"\nВводный абзац:\n{article['lead'][:500]}...")

# Полный текст
print(f"\nПолный текст (первые 1000 символов):\n{article['full_text'][:1000]}...")

import json
import matplotlib.pyplot as plt

# Парсинг ежедневных просмотров
daily = json.loads(article['daily_views'])

# Построение графика
dates = sorted(daily.keys())
views = [daily[d] for d in dates]

plt.figure(figsize=(14, 5))
plt.plot(range(len(dates)), views, linewidth=0.5)
plt.fill_between(range(len(dates)), views, alpha=0.3)
plt.title(f"Просмотры: {article['title']}")
plt.xlabel("Дни")
plt.ylabel("Просмотры")
plt.show()

# Только статьи о России
russia_dataset = dataset['train'].filter(lambda x: x['is_russia_related'])
print(f"Статей о России: {len(russia_dataset):,}")

# Топ-10000 самых популярных
top_10k = dataset['train'].filter(lambda x: x['pageview_rank'] <= 10000)

# Статьи с большим количеством текста
long_articles = dataset['train'].filter(lambda x: x['word_count'] > 5000)
print(f"Статей > 5000 слов: {len(long_articles):,}")

# Доступ к секциям
for section in article['sections'][:5]:
    print(f"{'  ' * (section['level'] - 2)}[{section['level']}] {section['title']}")

# Парсинг инфобокса
if article['infobox']:
    infobox = json.loads(article['infobox'])
    for key, value in list(infobox.items())[:5]:
        print(f"  {key}: {value[:50]}...")

import json
import pandas as pd

def get_yearly_views(article):
    """Агрегирует просмотры по годам."""
    daily = json.loads(article['daily_views'])
    yearly = {}
    for date, views in daily.items():
        year = date[:4]
        yearly[year] = yearly.get(year, 0) + views
    return yearly

# Анализ динамики для топ-10 статей
for i in range(10):
    article = dataset['train'][i]
    yearly = get_yearly_views(article)
    print(f"\n{article['title']}:")
    for year in sorted(yearly.keys())[-5:]:
        print(f"  {year}: {yearly[year]:,}")

def search_articles(dataset, keywords, field='lead', limit=10):
    """Поиск статей по ключевым словам."""
    keywords_lower = [k.lower() for k in keywords]
    results = []
    
    for article in dataset:
        text = article[field].lower()
        if all(kw in text for kw in keywords_lower):
            results.append({
                'title': article['title'],
                'rank': article['pageview_rank'],
                'views': article['total_views']
            })
            if len(results) >= limit:
                break
    
    return results

# Поиск статей о космосе
space_articles = search_articles(dataset['train'], ['космос', 'ракета'])
for a in space_articles:
    print(f"{a['title']}: {a['views']:,} просмотров")

from datasets import Dataset

# Создание упрощённого корпуса для обучения
def create_nlp_corpus(dataset, max_samples=50000):
    corpus = []
    for article in dataset:
        corpus.append({
            'text': article['full_text'],
            'title': article['title'],
            'category': 'russia' if article['is_russia_related'] else 'other'
        })
        if len(corpus) >= max_samples:
            break
    return Dataset.from_list(corpus)

nlp_corpus = create_nlp_corpus(dataset['train'])
print(f"Корпус создан: {len(nlp_corpus):,} документов")

import json
from collections import defaultdict

def analyze_seasonality(article):
    """Анализирует сезонность просмотров по месяцам."""
    daily = json.loads(article['daily_views'])
    monthly = defaultdict(list)
    
    for date, views in daily.items():
        month = int(date[5:7])
        monthly[month].append(views)
    
    return {m: sum(v) / len(v) for m, v in monthly.items()}

# Анализ сезонности для статьи "Новый год"
new_year = dataset['train'].filter(lambda x: x['title'] == 'Новый год')
if len(new_year) > 0:
    seasonality = analyze_seasonality(new_year[0])
    for month in sorted(seasonality.keys()):
        bar = '█' * int(seasonality[month] / max(seasonality.values()) * 30)
        print(f"{month:2d}: {bar} {seasonality[month]:,.0f}")

@dataset{ru_wikipedia_daily_pageviews_2025,
  author       = {Miki - OTIPL},
  title        = {Russian Wikipedia Top 100K: Full Text with Daily Pageviews},
  year         = {2025},
  publisher    = {Hugging Face},
  url          = {https://huggingface.co/datasets/Mikimi/ru-wikipedia-daily-pageviews-full-text},
  note         = {99,348 most popular Russian Wikipedia articles with full text and 10 years of daily pageview statistics}
}