SprayOpoivre/project_codeNet_translation_go_cpp

📂 Translationgointo_cpp

Bienvenue sur la base de données Translation_go_into_cpp.

Ce dataset regroupe des traductions de code en trois langages de programmation : Go, Python et C++. Chaque ligne contient un script go, et une traduction de celui ci, soit en python, soit en C++.

L'objectif principal de ce dataset est de fournir une base propre et nettoyée pour l'entraînement de modèles de type LLM (Large Language Models) dans des tâches de traduction Go ↔ C++.

📊 Source de données

Le dataset a été construit à partir de la base de données originale Project CodeNet mise à disposition par IBM : 🔗 Project CodeNet - DAX

🧹 Prétraitements appliqués

• —Élimination des lignes avec plus de 2 champs vides.
• —Limitation de la taille des codes à 1000 tokens maximum (sur base de tokenisation simple par espaces).
• —Vérification syntaxique des codes Python (ast.parse()).
• —Élimination des doublons exacts sur l'ensemble des lignes.

🧱 Structure des données

Le dataset contient les champs suivants :

💻 Exemple de ligne

{
  "id": "abc123",
  "name": "fibonacci",
  "Go": "func fibonacci(n int) int { ... }",
  "C++": "int fibonacci(int n) { ... }",
  "Python": ""
} 

💻 Auteurs

Git : Nicolaevitch