error-analysis
ErrorAnalysis
AnchorSR Error Analysis
500道题,严格沿 failure_cases_500.json 的文件顺序排列,每题对照三个SFT模型。
推荐从第001题开始,点击“下一题”逐题阅读。
也可使用本页上方 Dataset Viewer,一行就是一题:图片、问题、标准答案、三个模型完整输出。
Q-Spatial 150题,SpatialRGPT 175题,VSI 175题(仅尺寸、距离,不含面积)。
全部500题:每个模型均提供原图和标注图,共3000张图;O编号和帧号来自模型声明。
原图与标注图使用相同源帧和拼图顺序。无效框/帧号或无声明会注明,不补造;此时标注页可能没有框。
原图指未添加模型框的网页展示副本,经过等比例缩放与JPEG编码,并非原始文件字节;SpatialRGPT原有区域标记保留。
视频只展示可绘制对象涉及帧,无有效框时展示第1帧,非完整视频。原图/标注图使用相同帧。
原生输出完整保留,包括循环、截断和格式错误;未修改答案或重新评分。
所有模型均为SFT,不是baseline。至少一个模型在该题失败,其他模型可能答对。… See the full description on the dataset page: https://huggingface.co/datasets/AnchorSR/ErrorAnalysis.camerabench_error_analysiscuda-error-resolution-analysisvideo_error_analysisag_news_error_analysisThis is a dataset created for testing purposes in the context of this tutorial: https://rubrix.readthedocs.io/en/master/tutorials/08-error_analysis_using_loss.html
You can find more details on section 5. of the tutorial and the corresponding dataset with corrected labels at https://huggingface.co/datasets/Recognai/ag_news_corrected_labels
granite_4.0_h_small_FP8_test_detoxificability_annotation_error_analysis
