Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400
簡介 本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中,過濾出噪聲較小(理論上)的部份作為本數據集 過濾規則 總推數 - 總噓數 >= 20 最靠前的推文最優先 文章標題不能「包含」以下關鍵字,水桶 推文內容不能「等於」以下關鍵字,推、未看先推、先推、推推、推一下、推個、正文、頭香、水桶、頭、$、錢、好、是 推文內容不能「包含」以下關鍵字,頭香、水桶、樓上、樓下、一樓、二樓、三樓、四樓、五樓、六樓、七樓、八樓、九樓、1樓、2樓、3樓、4樓、5樓、6樓、7樓、8樓、9樓 並且為了節省VRAM空間,將question字數 + answer字數 > 50的數據丟棄
013
This repository belongs to Riyuechang on Hugging Face.
CoolFace never edits a repository it does not host. Visibility, licence, collaborators and gating are all managed at the source.
PTT-Corpus-100K_Gossiping-1400-39400
public
apache-2.0
no
Riyuechang
