CoolFace
Datasetpublic

Riyuechang/PTT-Corpus-100K_Gossiping-1400-39400

簡介 本數據集使用來自PTT網站中的Gossiping分類的資料訓練總共爬取了第1400頁~第39400頁的所有文章裡的內容和所有留言在使用一些方法從海量的數據中,過濾出噪聲較小(理論上)的部份作為本數據集 過濾規則 總推數 - 總噓數 >= 20 最靠前的推文最優先 文章標題不能「包含」以下關鍵字,水桶 推文內容不能「等於」以下關鍵字,推、未看先推、先推、推推、推一下、推個、正文、頭香、水桶、頭、$、錢、好、是 推文內容不能「包含」以下關鍵字,頭香、水桶、樓上、樓下、一樓、二樓、三樓、四樓、五樓、六樓、七樓、八樓、九樓、1樓、2樓、3樓、4樓、5樓、6樓、7樓、8樓、9樓 並且為了節省VRAM空間,將question字數 + answer字數 > 50的數據丟棄

sourceHugging Faceapache-2.0updated 2y agoView on Hugging Face
0likes13downloads
discussions and pull requests

Conversations for this repository live on Hugging Face.

CoolFace shows imported repositories read-only. Posting into someone else’s repository from here would need an authorised integration and the account holder’s consent, so the link goes to the source instead.

Open discussions on Hugging Face