Data-Gouv-ML/Robots-TXT-Des-Domaines-FR
Ce DataSet est concu pour que nous puissions crawler des sites, mais tout en respectant les regles en vigueur, Ainsi grace a un mapping des robots.txt nous pourrons savoir quel sites autorise ou refuse l'utlisation des données du site pour l'entrainement des modeles, et ce, pour la totalité des domaine en .fr Et d'ici pas long je l'espere nous aurons un dataset opensource a > 1T token , PUREMENT FRANCAIS ! serieux c'est normal que les gros dataset FR ont plus de 50% d'anglais ??? On… See the full description on the dataset page: https://huggingface.co/datasets/Data-Gouv-ML/Robots-TXT-Des-Domaines-FR.
Conversations for this repository live on Hugging Face.
CoolFace shows imported repositories read-only. Posting into someone else’s repository from here would need an authorised integration and the account holder’s consent, so the link goes to the source instead.
Open discussions on Hugging Face