Datasetpublic

Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400

簡介本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為本數據集過濾規則總推數 - 總噓數 >= 20 最靠前的推文最優先文章標題不能「包含」以下關鍵字，水桶推文內容不能「等於」以下關鍵字，推、未看先推、先推、推推、推一下、推個、正文、頭香、水桶、頭、$、錢、好、是推文內容不能「包含」以下關鍵字，頭香、水桶、樓上、樓下、一樓、二樓、三樓、四樓、五樓、六樓、七樓、八樓、九樓、1樓、2樓、3樓、4樓、5樓、6樓、7樓、8樓、9樓並且為了節省VRAM空間，將question字數 + answer字數 > 50的數據丟棄

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face

0likes13downloads

Dataset Card

簡介

本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中，過濾出噪聲較小(理論上)的部份作為本數據集

過濾規則

—總推數 - 總噓數 >= 20
—最靠前的推文最優先
—文章標題不能「包含」以下關鍵字，水桶
—推文內容不能「等於」以下關鍵字，推、未看先推、先推、推推、推一下、推個、正文、頭香、水桶、頭、$、錢、好、是
—推文內容不能「包含」以下關鍵字，頭香、水桶、樓上、樓下、一樓、二樓、三樓、四樓、五樓、六樓、七樓、八樓、九樓、1樓、2樓、3樓、4樓、5樓、6樓、7樓、8樓、9樓
—並且為了節省VRAM空間，將question字數 + answer字數 > 50的數據丟棄