LLM-CLEM/fondation-pretrain

1[2  {3    "source": "Passé Composé",4    "texte": "Elle a publié un nouveau modèle rapidement."5  },6  {7    "source": "Phrase Interrogative",8    "texte": "Est-ce que tu peux optimiser les hyperparamètres ?"9  },10  {11    "source": "Impératif Présent",12    "texte": "Vérifie le script avec diligence !"13  },14  {15    "source": "Nom Commun et Déterminant",16    "texte": "Cette librairie est crucial pour le pré-entraînement."17  },18  {19    "source": "Adjectif Qualificatif",20    "texte": "L'approche est performant et nécessite de l'attention."21  },22  {23    "source": "Expression Courante",24    "texte": "C'est un jeu d'enfant de créer ce JSON."25  },26  {27    "source": "Futur Simple",28    "texte": "Ils auront leur partie demain matin."29  },30  {31    "source": "Verbe du Premier Groupe",32    "texte": "On regarde dans la cuisine."33  },34  {35    "source": "Subordonnée Temporelle",36    "texte": "Dès qu'il arrivera, l'entraînement commencera."37  },38  {39    "source": "Comparaison",40    "texte": "L'algorithme est plus stable que je ne l'espérais."41  },42  {43    "source": "Passé Composé",44    "texte": "Nous avons développé un nouveau modèle en silence."45  },46  {47    "source": "Verbe du Premier Groupe",48    "texte": "Elle danse avec joie."49  },50  {51    "source": "Phrase Interrogative",52    "texte": "Comment as-tu trouvé les données pour le *pretrain* ?"53  },54  {55    "source": "Impératif Présent",56    "texte": "Sauvegarde le script à la bibliothèque !"57  },58  {59    "source": "Futur Simple",60    "texte": "Je coderai la prochaine fonctionnalité rapidement."61  },62  {63    "source": "Nom Commun et Déterminant",64    "texte": "Les paramètres sont essentiels pour la performance."65  },66  {67    "source": "Adjectif Qualificatif",68    "texte": "Le code est complexe et mérite une révision."69  },70  {71    "source": "Expression Courante",72    "texte": "Il faut battre le fer pendant qu'il est chaud pour la formation."73  },74  {75    "source": "Comparaison",76    "texte": "Ce petit modèle est aussi rapide qu'un éclair."77  },78  {79    "source": "Subordonnée Temporelle",80    "texte": "Quand j'aurai fini de coder, je déploierai le modèle."81  },82  {83    "source": "Verbe du Premier Groupe",84    "texte": "Il chante pour la conférence."85  },86  {87    "source": "Passé Composé",88    "texte": "J'ai analysé un nouveau modèle avec diligence."89  },90  {91    "source": "Impératif Présent",92    "texte": "Lance le script demain matin !"93  },94  {95    "source": "Futur Simple",96    "texte": "Nous finirons leur partie pour la conférence."97  },98  {99    "source": "Phrase Interrogative",100    "texte": "Pourquoi ce modèle a-t-il un si petit nombre de paramètres ?"101  },102  {103    "source": "Nom Commun et Déterminant",104    "texte": "Un modèle se pré-entraîne sur des milliers d'exemples."105  },106  {107    "source": "Adjectif Qualificatif",108    "texte": "Ton idée de dataset est innovant et très pertinent."109  },110  {111    "source": "Expression Courante",112    "texte": "Mieux vaut prévenir que guérir avec les erreurs de code."113  },114  {115    "source": "Subordonnée Temporelle",116    "texte": "Après avoir lu la documentation, tu comprendras l'API."117  },118  {119    "source": "Comparaison",120    "texte": "Ton travail est meilleur que la version précédente."121  },122  {123    "source": "Verbe du Premier Groupe",124    "texte": "Tu parles avec diligence."125  },126  {127    "source": "Passé Composé",128    "texte": "Elle a testé un nouveau modèle hier soir."129  },130  {131    "source": "Impératif Présent",132    "texte": "Code le script en silence !"133  },134  {135    "source": "Futur Simple",136    "texte": "Vous serez prêt pour le déploiement rapidement."137  },138  {139    "source": "Phrase Interrogative",140    "texte": "Est-ce que le modèle est compatible avec Safetensors ?"141  },142  {143    "source": "Nom Commun et Déterminant",144    "texte": "Une donnée manquante peut corrompre la formation."145  },146  {147    "source": "Adjectif Qualificatif",148    "texte": "La documentation est claire et très bien structurée."149  },150  {151    "source": "Expression Courante",152    "texte": "C'est la cerise sur le gâteau d'avoir un modèle *from scratch*."153  },154  {155    "source": "Subordonnée Temporelle",156    "texte": "Lorsque l'API sera stable, je ferais les tests finaux."157  },158  {159    "source": "Comparaison",160    "texte": "L'entraînement est plus long que nous l'avions prévu."161  },162  {163    "source": "Verbe du Premier Groupe",164    "texte": "Je regarde à la bibliothèque."165  },166  {167    "source": "Passé Composé",168    "texte": "Tu as développé un nouveau modèle avec joie."169  },170  {171    "source": "Impératif Présent",172    "texte": "Lis ce tutoriel de codage avec attention !"173  },174  {175    "source": "Futur Simple",176    "texte": "Ils coderont la prochaine fonctionnalité pour la conférence."177  },178  {179    "source": "Phrase Interrogative",180    "texte": "Comment mettre à jour les poids du modèle facilement ?"181  },182  {183    "source": "Nom Commun et Déterminant",184    "texte": "Le jeu de données nécessite un nettoyage en profondeur."185  },186  {187    "source": "Adjectif Qualificatif",188    "texte": "Ce SLM est petit mais étonnamment puissant."189  },190  {191    "source": "Expression Courante",192    "texte": "Ne remettons pas à demain ce qu'on peut coder aujourd'hui."193  },194  {195    "source": "Subordonnée Temporelle",196    "texte": "Avant que le modèle ne diverge, il faut ajuster le *learning rate*."197  },198  {199    "source": "Comparaison",200    "texte": "Ce modèle de 51M de paramètres est presque aussi bon que le 0.7B."201  }202]