datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
til-instruct-mix-v1
til-instruct-mix-v1
Көптілді instruction корпусы · Многоязычный instruction-корпус · Multilingual instruction corpus
Қазақша · Русский · English
Қазақша
til-instruct-mix-v1 — қазақ, орыс және ағылшын тілдеріндегі, сондай-ақ код пен математика тапсырмаларындағы instruction fine-tune деректерінің жинағы. Көлемі — 186.5 МБ, жиынтықта 352,651 user–assistant жұбы бар. Аралас материал көптілді instruction модельдерін оқытуға арналған.
Құрамы
Бөлік… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-instruct-mix-v1.til-kk-summ-v1
til-kk-summ-v1
Қазақша мәтінді қысқаша мазмұндау · Краткое изложение казахского текста · Kazakh text summarization
Қазақша · Русский · English
Қазақша
til-kk-summ-v1 — қазақша мәтіннің қысқаша мазмұнын дайындауға арналған қазақ тіліндегі instruction-датасет. Көлемі — 5.4 МБ, жалпы саны — 11754 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
11520
validation
117… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-summ-v1.til-kk-intent-v1
til-kk-intent-v1
Автор ниетін анықтау · Определение намерения автора · Author intent detection
Қазақша · Русский · English
Қазақша
til-kk-intent-v1 — сұрақ, шағым, ақпарат, пікір немесе команда түріндегі ниетті анықтауға арналған қазақ тіліндегі instruction-датасет. Көлемі — 3.6 МБ, жалпы саны — 10982 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
10764… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-intent-v1.til-kk-classify-v1
til-kk-classify-v1
Мәтін тақырыбын жіктеу · Классификация темы текста · Text topic classification
Қазақша · Русский · English
Қазақша
til-kk-classify-v1 — мәтіннің саласын анықтауға арналған қазақ тіліндегі instruction-датасет. Көлемі — 4.3 МБ, жалпы саны — 11897 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
11661
validation
118
test
118
Барлығы
11897… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-classify-v1.til-kk-sentiment-v1
til-kk-sentiment-v1
Мәтін тональділігін анықтау · Определение тональности текста · Text sentiment classification
Қазақша · Русский · English
Қазақша
til-kk-sentiment-v1 — оң, теріс немесе бейтарап тональділікті анықтауға арналған қазақ тіліндегі instruction-датасет. Көлемі — 2.2 МБ, жалпы саны — 6975 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
6837
validation… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-sentiment-v1.til-kk-rephrase-v1
til-kk-rephrase-v1
Мәтінді ресми стильде қайта жазу · Перефразирование в официальном стиле · Official-style rewriting
Қазақша · Русский · English
Қазақша
til-kk-rephrase-v1 — мағынаны сақтап, мәтінді ресми әрі түсінікті етіп қайта жазуға арналған қазақ тіліндегі instruction-датасет. Көлемі — 6.7 МБ, жалпы саны — 12063 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-rephrase-v1.til-kk-qagen-v1
til-kk-qagen-v1
Мәтін бойынша сұрақ пен жауап құрастыру · Генерация вопроса и ответа по тексту · Text-grounded question and answer generation
Қазақша · Русский · English
Қазақша
til-kk-qagen-v1 — мәтінге сүйенген сұрақ пен жауап құрастыруға арналған қазақ тіліндегі instruction-датасет. Көлемі — 3.0 МБ, жалпы саны — 6241 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-qagen-v1.til-kk-normalize-v1
til-kk-normalize-v1
Қазақша мәтінді қалыпқа келтіру · Нормализация казахского текста · Kazakh text normalization
Қазақша · Русский · English
Қазақша
til-kk-normalize-v1 — қате, регистрі мен тыныс белгілері бұзылған мәтінді түзетуге арналған қазақ тіліндегі instruction-датасет. Көлемі — 5.0 МБ, жалпы саны — 10585 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
10375… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-normalize-v1.til-kk-keywords-v1
til-kk-keywords-v1
Кілт сөздерді шығару · Извлечение ключевых слов · Keyword extraction
Қазақша · Русский · English
Қазақша
til-kk-keywords-v1 — қазақша мәтіннен кілт сөздерді шығаруға арналған қазақ тіліндегі instruction-датасет. Көлемі — 4.7 МБ, жалпы саны — 12158 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
11916
validation
121
test
121
Барлығы
12158… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-keywords-v1.til-kk-title-v1
til-kk-title-v1
Қазақша мәтінге тақырып ұсыну · Генерация заголовка к казахскому тексту · Kazakh title generation
Қазақша · Русский · English
Қазақша
til-kk-title-v1 — қазақша мәтінге қысқа әрі дәл тақырып ұсынуға арналған қазақ тіліндегі instruction-датасет. Көлемі — 3.9 МБ, жалпы саны — 10916 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
10698
validation
109… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-title-v1.til-kk-expand-v1
til-kk-expand-v1
Негізгі ойды кеңейту және түсіндіру · Расширение и объяснение основной мысли · Main-idea expansion and explanation
Қазақша · Русский · English
Қазақша
til-kk-expand-v1 — мәтіндегі негізгі ойды кеңейтіп түсіндіруге арналған қазақ тіліндегі instruction-датасет. Көлемі — 9.3 МБ, жалпы саны — 10962 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
10744… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-expand-v1.til-kk-rag-v1
til-kk-rag-v1
Үзіндіге сүйенген сұрақ-жауап · Вопросы и ответы по предоставленному отрывку · Passage-grounded question answering
Қазақша · Русский · English
Қазақша
til-kk-rag-v1 — берілген үзіндіден жауап тауып, дереккөзді көрсетуге арналған қазақ тіліндегі instruction-датасет. Көлемі — 4.6 МБ, жалпы саны — 10281 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-rag-v1.til-kk-gen-v1
til-kk-gen-v1
Қазақша мәтін құрастыру · Генерация текста на казахском · Kazakh text generation
Қазақша · Русский · English
Қазақша
til-kk-gen-v1 — ресми хаттар, жаңалықтар, тест тапсырмалары мен түсіндірмелер құрастыруға арналған қазақ тіліндегі instruction-датасет. Көлемі — 7.7 МБ, жалпы саны — 9527 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
9337
validation… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-gen-v1.Til-Audio
Til-Audio
Қазақ тіліндегі аудио және транскрипттер · Казахское аудио с транскриптами · Kazakh audio with transcripts
Қазақша · Русский · English
Қазақша
Til-Audio — көлемі 249.77 ГБ, жүктелетін default конфигурациясында 380 068 аудио жазбасы мен транскрипті бар қазақ тіліндегі сөйлеу датасеті. Ол ASR, мәтіннен сөйлеу синтезі және аудио жіктеу тапсырмаларына арналған.
Құрамы мен құрылымы
Әр жолда audio пішіміндегі дыбыс, transcript мәтіні және lang… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Audio.til-kk-qa-v1
til-kk-qa-v1
Қазақша сұрақтарға жауап беру · Ответы на вопросы на казахском · Kazakh question answering
Қазақша · Русский · English
Қазақша
til-kk-qa-v1 — қазақша сұрақтарға кеңейтілген жауап дайындауға арналған қазақ тіліндегі instruction-датасет. Көлемі — 16.0 МБ, жалпы саны — 32909 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
32251
validation
329
test
329… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-qa-v1.til-kk-simplify-v1
til-kk-simplify-v1
Қазақша мәтінді жеңілдету · Упрощение казахского текста · Kazakh text simplification
Қазақша · Русский · English
Қазақша
til-kk-simplify-v1 — күрделі мәтінді жеңіл әрі түсінікті тілмен қайта жазуға арналған қазақ тіліндегі instruction-датасет. Көлемі — 6.6 МБ, жалпы саны — 10289 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
10085
validation… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-simplify-v1.til-kk-ner-v1
til-kk-ner-v1
Атаулы мәндерді шығару · Извлечение именованных сущностей · Named-entity extraction
Қазақша · Русский · English
Қазақша
til-kk-ner-v1 — адамдарды, ұйымдарды, орындарды, күндер мен ақша мәндерін JSON түрінде шығаруға арналған қазақ тіліндегі instruction-датасет. Көлемі — 1.8 МБ, жалпы саны — 3675 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
3603… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-ner-v1.Til-Instruct
Til-Instruct
Нұсқау бойынша жауап беруге арналған жинақ · Датасет инструкций и ответов · Instruction-following dataset
Қазақша · Русский · English
Қазақша
Til-Instruct — тілдік модельдерді нұсқау орындауға бейімдеуге арналған 2 563 966 жазбалық жинақ. Көлемі — 8.35 ГБ; қазақ және ағылшын тілдеріндегі жазбалар басым.
Құрамы мен деңгейлері
Әр жазбада messages, task, source, src_lang, score, category және lang өрістері сақталған. Модель-судья… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Instruct.Til-Classification
Til-Classification
Қазақша мәтіндерді жіктеу жинағы · Датасет классификации казахских текстов · Kazakh text classification dataset
Қазақша · Русский · English
Қазақша
Til-Classification — мәтінді жіктеу міндеттеріне арналған, сарапшы-модель бағалап, сапа деңгейлеріне бөлген 91 766 жолдық жинақ. Репозиторий көлемі — 15.1 МБ.
Құрамы
Жолдарда text, label, task, source, score, category және judge_lang өрістері бар. Негізгі тіл — қазақ тілі; жинақта… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Classification.kaz-morphology-sample
kaz-morphology-sample
Қазақ сөздерінің морфологиялық үлгісі · Образец морфологической разметки казахских слов · Kazakh word morphology sample
Қазақша · Русский · English
Қазақша
kaz-morphology-sample — қазақ сөздерінің морфологиялық талдауы бар 9.3 МБ деректер жинағы. Жинақта 10 000 жазба және 7 сөз табы қамтылған; оны морфологиялық талдау, леммалау және POS-tagging үлгілерін тексеруге қолдануға болады.
Деректер құрамы
Файл
Жазба… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/kaz-morphology-sample.kazakh-morpho-experiments
kazakh-morpho-experiments
Қазақ морфологиясына арналған тәжірибе материалдары · Материалы экспериментов по казахской морфологии · Kazakh morphology experiment material
Қазақша · Русский · English
Қазақша
kazakh-morpho-experiments — қазақ тілінің морфологиялық талдауын оқытуға және бағалауға қолданылған деректер, скрипттер мен нәтижелер мұрағаты. Репозиторий көлемі — 13.7 МБ; ол тәжірибені қайта қарауға және таңбаларды түзету барысын зерттеуге арналған.… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/kazakh-morpho-experiments.kaz-pos-corpus
kaz-pos-corpus
Қазақ тілінің POS корпусы · Корпус частей речи казахского языка · Kazakh POS corpus
Қазақша · Русский · English
Қазақша
kaz-pos-corpus — қолмен POS белгісі қойылған қазақ мәтіндерінің 1.9 МБ корпусы. Онда 1 200 сөйлем, 4 107 сөз және 18 белгі класы бар; корпус token classification модельдерін оқыту мен бағалауға арналған.
Құрамы мен нәтижелері
Көрсеткіш
Мәні
Сөйлем
1 200
Сөз
4 107
POS класы
18
Сөз деңгейіндегі… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/kaz-pos-corpus.til-kk-mt-kk-en-v1
til-kk-mt-kk-en-v1
Қазақшадан ағылшыншаға аудару · Перевод с казахского на английский · Kazakh-to-English translation
Қазақша · Русский · English
Қазақша
til-kk-mt-kk-en-v1 — қазақша мәтінді ағылшын тіліне аударуға арналған қазақ тіліндегі instruction-датасет. Көлемі — 1.2 МБ, жалпы саны — 3858 мысал. Деректер instruction fine-tune мен тиісті тапсырманы зерттеуге жарайды.
Құрамы мен форматы
Бөлік
Мысал саны
train
3782
validation
38… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/til-kk-mt-kk-en-v1.Til-Terminology
Til-Terminology
Бағаланған терминологиялық мәтіндер · Оценённые терминологические тексты · Scored terminology texts
Қазақша · Русский · English
Қазақша
Til-Terminology — терминологияға қатысты 317277 жолдан тұратын, сапа деңгейлері бойынша бөлінген мәтін жинағы. Репозиторий көлемі — 5.7 МБ; жинақты терминдерді зерттеуге және мәтін генерациясы міндеттеріне қолдануға болады.
Құрамы
Әр жазбада text, source, score, category және judge_lang өрістері… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Terminology.Til-GEC
DEPRECATED
Этот датасет не следует использовать для обучения GEC. 39% строк () —
это параллельный корпус переводов kk↔ru и kk↔en с задачей и пустыми
. Он попал в сборку из — претрейн-микса,
а не GEC-набора. Обучение без фильтра учит модель переводить вместо того, чтобы исправлять.
Внутри также лежат строки публичного бенчмарка (), что делает любую оценку
без явной деконтаминации недействительной.
Преемники:
— только
коррекция, без переводов и без бенчмарка (2 860 104 строки… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-GEC.Til-Web-Raw-KK-v1
Til-Web-Raw-KK-v1
Білім беру сайттарының бастапқы веб-айнасы · Исходное зеркало образовательных сайтов · Raw mirror of educational websites
Қазақша · Русский · English
Қазақша
Til-Web-Raw-KK-v1 — қазақ тіліндегі білім беру және сұрақ-жауап сайттарының бастапқы веб-айнасы, көлемі 19.50 ГБ. Репозиторий сервер берген HTML беттерін, суреттерді және жүктелетін тіркемелерді мәтін тазалауға дейінгі күйінде сақтайды.
Құрамы
Сайт
Беттер
HTML көлемі… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Web-Raw-KK-v1.kazakh-morpho-1200-sentences
kazakh-morpho-1200-sentences
Морфологиялық белгіленген қазақша сөйлемдер · Казахские предложения с морфологической разметкой · Morphologically annotated Kazakh sentences
Қазақша · Русский · English
Қазақша
kazakh-morpho-1200-sentences — морфологиялық талдауға толық белгіленген 1 200 қазақша сөйлемнен тұратын, көлемі 0.8 МБ датасет. Жинақ сөйлем деңгейіндегі морфологиялық зерттеулерге арналған бастапқы дерек ретінде қолданылады.
Құрамы
Толық дерек… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/kazakh-morpho-1200-sentences.kazakh-web-corpus-news
kazakh-web-corpus-news
Қазақ тіліндегі жаңалықтар веб-корпусы · Веб-корпус новостей на казахском языке · Kazakh news web corpus
Қазақша · Русский · English
Қазақша
kazakh-web-corpus-news — қазақ тіліндегі жаңалық порталдарынан жиналған, көлемі 12.5 МБ веб-материалдар корпусы. Репозиторий жаңалық мәтіндерімен бірге оларды жинауға арналған Python скрипттерін сақтайды.
Құрамы
Бума
Дереккөз
scraping_w/abai.kz/
Abai.kz мақалалары… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/kazakh-web-corpus-news.Til-Corpus-exp078
Til-Corpus-exp078
Қазақ тілі басым оқыту корпусы · Корпус для обучения с преобладанием казахского языка · Kazakh-dominant training corpus
Қазақша · Русский · English
Қазақша
Til-Corpus-exp078 — тілдік модельдерді алдын ала оқытуға дайындалған, қазақ тілі басым корпус. Репозиторий көлемі — 139.07 ГБ; оқытуға дайын бөлігінде 32.9M жол және Til-Tokenizer-128k бойынша 7.21B токен бар.
Құрамы
Дерек сапасы оқу соңына қарай арта түсетін ретпен жиналған.… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Corpus-exp078.Til-Zharar
Til-Zharar
Zharar деректерінің бастапқы жинағы · Исходная коллекция данных Zharar · Initial Zharar data collection
Қазақша · Русский · English
Қазақша
Til-Zharar — Zharar материалдары сақталған, көлемі 40.0 МБ бастапқы деректер репозиторийі. Жинақ кейінгі нұсқаға дейінгі материалды сақтап, деректердің шығу тегін бақылауға көмектеседі.
Құрамы
Репозиторийде data бумасы мен тексеруге арналған _probe бумасы бар. Бірыңғай кесте схемасы, мәтін өрістері… See the full description on the dataset page: https://huggingface.co/datasets/TilQazyna/Til-Zharar.