jack635/visuotactile-bench

Visuo-Tactile Bench — DH116 / RealSense D405

Jeu de données visuo-tactile acquis sur un banc construit à l'ISIR (équipe ASIMOV, Sorbonne Université / CNRS) au cours d'un stage de Master 2, entre mars et septembre 2026.

Chaque enregistrement associe des images couleur et de profondeur d'un objet posé sur un plateau tournant à la pression mesurée par une main dextre qui vient le saisir.

État : dépôt créé, données en cours de dépôt. Cette carte décrit le banc, le protocole et la structure des enregistrements. Le contenu sera versé progressivement.

Le banc

L'absence de projecteur infrarouge sur la D405 est le point central du banc : la profondeur y est entièrement dépendante de la texture de surface et de l'éclairage ambiant, ce qui en fait un instrument pour mesurer cette dépendance plutôt qu'une simple source de profondeur.

Profil photométrique

Trois niveaux d'éclairement, espacés de 2,00 diaphragmes et étalonnés sans photomètre — le temps d'exposition servant de référence linéaire — puis rapportés en unité physique par une mesure absolue au luxmètre.

L'exposition est identique aux trois niveaux (2 200 µs, auto-exposition et auto-balance coupées, balance des blancs à 5 180 K). C'est la condition pour que le jeu de données montre l'effet de la lumière plutôt que sa compensation par la caméra.

Les objets

Les objets sont imprimés en 3D, ce qui permet trois choses qu'un objet réel ne permet pas : disposer d'une vérité terrain géométrique exacte (le fichier CAO est la référence), obtenir la même forme en plusieurs finitions, et régler la résistance de la pièce.

Trois matériaux, tous du même fabricant pour écarter les écarts de formulation entre marques :

Familles de formes : primitives de calibration (cube, sphère, cylindre), courbures complexes (selle, tore), formes adverses (cylindre aveugle, tasse à anse dissimulée — invisibles à la caméra mais accessibles au doigt), géométries à haute fréquence spatiale (icosaèdre), et tasses paramétriques à déformations anamorphiques contrôlées (cisaillement, évasement).

Chaque objet est décliné à trois échelles (100 %, 75 %, 60 %) et porte un logement hexagonal M3 identique, qui sert d'interface de montage sur un support magnétique faisant office de fusible mécanique.

Le signal tactile

Le décodage de la trame a été établi par mesure, canal par canal, et non repris du SDK constructeur — celui-ci lit ses champs avec un octet de décalage et rejette silencieusement les mises à jour de trois doigts.

• —9 zones distinctes (le SDK en déclare 11, dont deux n'existent pas sur ce matériel)
• —60 canaux de pression décodables, dont 48 réactifs
• —Bout et pulpe lus séparément sur l'index, le majeur et l'annulaire ; capteur unique sur le pouce et l'auriculaire ; 26 points pour la paume, dont 12 muets

Structure des enregistrements

session_<horodatage>/
├── session_metadata.json      # objet, intrinsèques caméra, angles, tolérance plateau
├── summary.csv
└── object_<label>/
    └── grasp_NNN/
        ├── pre_contact/       # snapshot.json + color.png
        ├── approach/          # frame_NNNN.json + frame_NNNN_color.png (séquence)
        └── contact_angle_NNN/ # snapshot.json + color.png

Les fichiers JSON portent l'état tactile des neuf zones, les positions articulaires, les courants moteurs et la pose du plateau mesurée par ArUco.

Ressources liées

• —Générateur d'objets paramétriques et évaluation de profondeur monoculaire : `cup-generator-depth-eval`
• —Jeu d'objets CAO imprimables : `visuotactile-dataset`
• —Génération de points de contact : `grasp-dataset-gen`
• —Pilotage et lecture tactile de la main : `DH116-Monitor`

Citation

Travail réalisé à l'ISIR (Institut des Systèmes Intelligents et de Robotique), équipe ASIMOV, Sorbonne Université / CNRS, sous l'encadrement de Nizar Ouarti.

Licence

CC BY 4.0