datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
PTT-Corpus-100K_Gossiping-1400-39400_v2
版本資訊
增加了更多過濾詞並且一旦符合過濾規則，就會被過濾掉
簡介
本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為本數據集
過濾規則
總推數 - 總噓數 >= 20
最靠前的推文最優先
以下為過濾詞
#文章標題不能「包含」以下關鍵字
filter_title_in = ["http", "gif", "jpeg", "jpg", "png", "圖", "水桶", "永桶", "出桶", "被桶", "欠桶", "有效文章", "登入次數"]
#推文內容不能「等於」以下關鍵字
filter_content_equal = ["推", "推推", "推推推", "未看先推", "先推", "推一下", "推個", "正文", "頭", "錢", "好", "是", "引", "廢文"]
#推文內容不能「包含」以下關鍵字
filter_content_in =… See the full description on the dataset page: https://huggingface.co/datasets/Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400_v2.PTT-Corpus-100K_Gossiping-1400-39400
簡介
本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為本數據集
過濾規則
總推數 - 總噓數 >= 20
最靠前的推文最優先
文章標題不能「包含」以下關鍵字，水桶
推文內容不能「等於」以下關鍵字，推、未看先推、先推、推推、推一下、推個、正文、頭香、水桶、頭、$、錢、好、是
推文內容不能「包含」以下關鍵字，頭香、水桶、樓上、樓下、一樓、二樓、三樓、四樓、五樓、六樓、七樓、八樓、九樓、1樓、2樓、3樓、4樓、5樓、6樓、7樓、8樓、9樓
並且為了節省VRAM空間，將question字數 + answer字數 > 50的數據丟棄
tw-ptt-keyboard-warrior-chat
Dataset Card for tw-ptt-keyboard-warrior-chat
本資料集模擬臺灣網路論壇「鍵盤戰士」風格，產生具備臺灣鄉民語氣（含特定流行語、嘴砲、引戰／護航式回應）之對話。可作為 persona / style 微調資料集，用於賦予模型臺灣鄉民風格的對話能力。
Dataset Details
Dataset Description
資料集以 OpenAI messages 格式儲存，每筆樣本包含一段對話與對應的生成模型名稱（model）。對話設計取材自臺灣網路論壇常見的提問與爭論模式，並要求 LLM 以鄉民／戰文風格作答（例如使用「==」、「(?)」、「樓上正解」、「在野黨表示」等典型語氣）。目前包含 gossiping 一個 config，共 3,100 筆樣本。
⚠️ 本資料集刻意保留嘴砲／戲謔風格，使用前請評估目標應用是否適合此語氣。
Curated by: Huang Liang Hsun
Language(s) (NLP): Traditional Chinese… See the full description on the dataset page: https://huggingface.co/datasets/lianghsun/tw-ptt-keyboard-warrior-chat.