datasets
Training and evaluation data, with the modality, task and licence stated up front. Listed live from the Hugging Face Hub.
abstention-reranking-benchmark
Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism
Dataset
This dataset provides the evaluation benchmark used in the paper "Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism", accepted at TMLR (September 2024).
Paper
For more details on this work, you can read the full paper here.
Citation:
@article{gisserot2024towards,
title={Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism}… See the full description on the dataset page: https://huggingface.co/datasets/artefactory/abstention-reranking-benchmark.LGUplus_keyword_reranking
LGUplus_keyword_reranking
페르소나 기반 키워드 top1 선택 데이터셋. 350m 페르소나 모델의 <|kw|> 태스크 학습용.
(persona, date, 2h block) 마다: 그 블록에서 총 15분 이상 시청한 프로그램들의 키워드(1~8, dedup) 중,
그 사람의 성향을 가장 잘 대표하는 **키워드 1개(top1)**를 고른다.
태스크 I/O
입력: 주간 페르소나(전주, key_keywords 제외: viewing_tendency/preferred_genres/preferred_programs/frequent_channels) + 직전일 일일페르소나 서술 + 후보 키워드(1~8). 최근 시청이력은 입력에 넣지 않음(후보를 만들 때만 사용).
출력: 키워드 1개 (label_keyword)
후보 키워드 = 그 블록 15분+ 시청 프로그램들의 키워드(프로그램별 1개, dedup). 정답 = 교사… See the full description on the dataset page: https://huggingface.co/datasets/ENERZAiKR/LGUplus_keyword_reranking.enhanced_reranking_hyde_text4B_ans_rel_Llama-3.3-70B-Instructenhanced_reranking_hyde_text4B_ans_rel_Llama-3.1-8B-Instruct