Datasetpublic

hsbharadwaj/toxic-vs-clean-dataset

Dataset Name: Toxic vs Clean Text Dataset Описание Данный датасет предназначен для обучения бинарного классификатора текстовой безопасности (выявление токсичности, вредоносного контента и скрытых промпт-инъекций). Структура данных Датасет разделен на три сплита (train, validation, test) в пропорции 80/10/10 с сохранением стратификации классов. Каждый сплит содержит колонки: text (string): Текст запроса или команды. label (int): Метка класса (0 —… See the full description on the dataset page: https://huggingface.co/datasets/hsbharadwaj/toxic-vs-clean-dataset.

sourceHugging Facemitupdated 28d agoView on Hugging Face

0likes76downloads

Dataset Card

Dataset Name: Toxic vs Clean Text Dataset

Описание

Данный датасет предназначен для обучения бинарного классификатора текстовой безопасности (выявление токсичности, вредоносного контента и скрытых промпт-инъекций).

Структура данных

Датасет разделен на три сплита (train, validation, test) в пропорции 80/10/10 с сохранением стратификации классов. Каждый сплит содержит колонки:

—text (string): Текст запроса или команды.
—label (int): Метка класса (0 — нетоксичный/нейтральный, 1 — токсичный/инъекция).

Источники данных и балансировка

—Класс 1 (Токсичный): Данные из датасета russian_prompt_injections.
—Класс 0 (Нетоксичный): Нейтральные команды и вежливые интенты из датасетов mtop_intent_ru и ru_nlu_intent.

В ходе предобработки была проведена фильтрация выбросов по длине (оставлены тексты от 3 до 500 слов), удалены дубликаты и пустые значения. Выполнена балансировка классов методом undersampling мажоритарного класса до идеального соотношения 50/50. Общий объем выборки составил 30,018 записей.