Datasetpublic

APTO-001/ja-safety-sft-dataset

ja-safety-sft-dataset 日本語LLMの安全性チューニング用 SFT データセットのサンプル (500件) です。 A 500-item sample of the SFT dataset used to safety-tune APTO's Japanese LLMs. English version is provided below. 概要株式会社APTOが大規模言語モデル（LLM）の安全性向上のために作成した約18,000件の日本語安全性学習データから、比率を維持して抽出したサンプルです。本サンプルでデータの構造と品質を確認できます。関連モデル本サンプルの元データを用いて以下のモデルを安全性チューニングしました。 APTO-001/Qwen3.5-27B-SafetyTuned (GGUF) APTO-001/Qwen3.5-9B-Base-SafetyTuned (GGUF) APTO-001/Qwen3.5-9B-SafetyTuned (GGUF)… See the full description on the dataset page: https://huggingface.co/datasets/APTO-001/ja-safety-sft-dataset.

sourceHugging Facecc-by-4.0updated 4mo agoView on Hugging Face

0likes117downloads

Dataset Card

ja-safety-sft-dataset

日本語LLMの安全性チューニング用 SFT データセットのサンプル (500件) です。

A 500-item sample of the SFT dataset used to safety-tune APTO's Japanese LLMs. English version is provided below.

概要

株式会社APTOが大規模言語モデル（LLM）の安全性向上のために作成した約18,000件の日本語安全性学習データから、比率を維持して抽出したサンプルです。本サンプルでデータの構造と品質を確認できます。

データ構成

500件のサンプルは、元データの比率を維持して以下の4カテゴリで構成されています。

カテゴリ	件数	比率	内容
`safety_refusal`	388	77.6%	有害な質問への適切な拒否と安全な代替案の提示。多様な攻撃パターンへの耐性も考慮
`overrefusal_prevention`	84	16.8%	安全だが誤拒否されやすい質問（医療相談、創作、ゲーム攻略等）への適切な応答
`mid_refusal`	23	4.6%	応答途中からの軌道修正パターン（ACL 2025 の DeRTa に着想）
`anti_hallucination`	5	1.0%	存在しない法令等を捏造せず誠実に「存在しない」と回答

データ項目

Field	Type	内容
`id`	string	サンプル ID
`messages`	list[dict]	チャット形式 (user/assistant)、SFT用にそのまま使用可能
`category`	string	上記4カテゴリのいずれか
`category_detail`	string	リスク細分類（例: 「違法活動の支援 > 詐欺 > オレオレ詐欺」）
`purpose`	string	サンプルの存在意義
`has_jailbreak`	bool	ユーザクエリにjailbreakラッパーが含まれるか
`jailbreak_type`	string\	null	jailbreakの種類が示される場合あり
`language`	string	常に "ja"
`harmful_prefix`	string	`mid_refusal`のみ。軌道修正前の有害な応答冒頭。

データ作成プロセス

株式会社APTOのデータ作成ノウハウに基づき、以下の4段階プロセスで作成しています。

1.攻撃プロンプトの設計
2.モデル応答の設定
3.模範安全回答の作成
4.品質精査

ライセンス

CC BY 4.0

引用

本データセットは、日本語LLM安全性の代表的なベンチマークであるAnswerCarefullyでの性能向上を目的の一つとして設計しています。安全性研究にあたっては、AnswerCarefullyの論文・データセットもあわせてご参照ください。

bibtex

@misc{answercarefully2024,
  title  = {AnswerCarefully: A Dataset for Improving the Safety of Japanese LLM Output},
  author = {llm-jp},
  year   = {2024},
  url    = {https://huggingface.co/datasets/llm-jp/AnswerCarefully}
}

お問い合わせ

株式会社APTOでは、安全性チューニングおよび学習データの設計・作成に取り組んでおります。データ構成や品質、安全性チューニングの応用についてご関心をお持ちの方はお気軽にお問い合わせください。

—Website: https://apto.co.jp/

ja-safety-sft-dataset (English)

Overview

This dataset is a proportional sample of approximately 18,000 Japanese safety SFT items created by APTO, K.K. for LLM safety tuning. It is intended for inspecting data structure and quality.

Related Models

The full dataset was used to safety-tune the following models:

—APTO-001/Qwen3.5-27B-SafetyTuned (GGUF)
—APTO-001/Qwen3.5-9B-Base-SafetyTuned (GGUF)
—APTO-001/Qwen3.5-9B-SafetyTuned (GGUF)

Composition

The 500-item sample preserves the category proportions of the full dataset.

Category	Count	Ratio	Description
`safety_refusal`	388	77.6%	Appropriate refusal of harmful queries with safe alternatives; designed to be robust to diverse attack patterns
`overrefusal_prevention`	84	16.8%	Helpful responses to safe-but-sensitive queries (medical consultation, creative writing, game walkthroughs, etc.)
`mid_refusal`	23	4.6%	Mid-response course correction (inspired by DeRTa, ACL 2025)
`anti_hallucination`	5	1.0%	Honest "does not exist" responses instead of fabricated citations

Fields

Field	Type	Description
`id`	string	Unique sample identifier
`messages`	list[dict]	Chat format (user/assistant) ready for SFT
`category`	string	One of the four categories above
`category_detail`	string	Fine-grained risk taxonomy
`purpose`	string	Why this sample exists
`has_jailbreak`	bool	Whether the query contains a jailbreak wrapper
`jailbreak_type`	string\	null	Type of jailbreak if present
`language`	string	Always "ja"
`harmful_prefix`	string	`mid_refusal` only; the harmful response opening to be course-corrected

Data Creation Process

The data is created by APTO, K.K. through the following four-stage process.

1.Designing attack prompts
2.Specifying intended model responses
3.Authoring exemplary safe answers
4.Quality review

The quality review stage combines multi-stage LLM-as-Judge evaluation, and only items judged to be of high quality are adopted.

License

CC BY 4.0

Citation

This dataset is designed with one of its goals being to improve performance on AnswerCarefully, a representative Japanese LLM safety benchmark. For safety-related research, please also refer to the AnswerCarefully paper and dataset.

bibtex

@misc{answercarefully2024,
  title  = {AnswerCarefully: A Dataset for Improving the Safety of Japanese LLM Output},
  author = {llm-jp},
  year   = {2024},
  url    = {https://huggingface.co/datasets/llm-jp/AnswerCarefully}
}

Contact

APTO, K.K. designs and creates training data for LLM safety tuning and general performance improvement. Please feel free to contact us for inquiries about data design or safety-tuning applications.

—Website: https://apto.co.jp/