Fatema142/LabourActQA

LabourActQA

LabourActQA is a 500-item, expert-verified question-answering benchmark built directly from the statutory text of the Bangladesh Labour Act, 2006 (as amended). Every question, reference answer, and supporting evidence quote is drafted and cross-checked against the Act's own sections, subsections, provisos, and cross-references; no case law, commentary, or secondary legal literature is used at any stage.

The dataset spans seven reasoning categories across three difficulty tiers, drawn from 19 chapters of the Act, letting it evaluate statutory-reasoning systems from simple fact lookup through multi-hop and hypothetical legal reasoning. It is intended purely as an evaluation benchmark (no train/test split) for retrieval-augmented and agentic legal-QA systems over an under-served, non-English statutory jurisdiction.

Table of contents

• —Source material
• —Data fields
• —Example
• —Reasoning category taxonomy
• —Difficulty tiers
• —Chapter-wise distribution
• —By reasoning category
• —By difficulty
• —Licensing
• —Contact

Source material

The source document is the **Bangladesh Labour Act, 2006, as amended**, a public government statute issued by the Ministry of Labour and Employment, Government of the People's Republic of Bangladesh, with no copyright restriction on the statutory text itself.

The Act's PDF is typeset in a legacy pre-Unicode Bangla font (SutonnyMJ/ShonarBangla-style), which stores glyphs in visual draw order and hijacks ASCII code points for common conjuncts (e.g. শ্র, প্র), so direct PDF text extraction (pypdf, PyMuPDF get_text()) silently corrupts the text under this encoding. GPT-4o and GPT-4o-mini vision were both tried on rendered page images and hallucinated: invented wording, wrong section numbers, one inserted a random English word mid-sentence. The Act was therefore digitized via page-rendered, vision-based OCR with `gemini-3-flash-preview`, whose transcription was cross-checked against the source page images and reproduced the text (including exact section/subsection numbers) correctly. The OCR output was then segmented by a structure-aware chunker into chapter / section / subsection / proviso / cross-reference units before any question was drafted, so that every item is traceable to specific, citable statutory units rather than an arbitrary span of text.

19 of the Act's chapters are represented in the released set:

Table 1. Chapter coverage and item counts

Data fields

Each item is a flat JSON object with the following fields:

Table 2. Schema of a LabourActQA item

Example

{
  "id": "LABOURACTQA-CH2-PR-003",
  "number": 14,
  "category": "procedural_reasoning",
  "difficulty": "Medium",
  "chapter": "2",
  "chapter_title": "নিয়োগ ও চাকুরীর শর্তাবলী",
  "question": "কোনো শ্রমিকের বিরুদ্ধে শাস্তির আদেশ দেওয়ার আগে কী কী ধাপ অনুসরণ করা বাধ্যতামূলক?",
  "answer": "শাস্তির আদেশ প্রদান করা যাইবে না, যদি না: (ক) তাহার বিরুদ্ধে অভিযোগ লিখিতভাবে করা হয়; (খ) অভিযোগের কপি দিয়া অন্তত সাত দিন জবাব দেওয়ার সময় দেওয়া হয়; (গ) তাহাকে শুনানীর সুযোগ দেওয়া হয়; (ঘ) মালিক ও শ্রমিকের সম-সংখ্যক প্রতিনিধি সমন্বয়ে গঠিত তদন্ত কমিটির তদন্তের পর (যা ষাট দিনের মধ্যে শেষ করিতে হইবে) তাহাকে দোষী সাব্যস্ত করা হয়; এবং (ঙ) মালিক বা ব্যবস্থাপক বরখাস্তের আদেশ অনুমোদন করেন।",
  "evidence": "২৪(১) ধারা ২৩ এর অধীন কোন শ্রমিকের বিরুদ্ধে শাস্তির আদেশ প্রদান করা যাইবে না, যদি না- (ক) তাহার বিরুদ্ধে অভিযোগ লিখিতভাবে করা হয়; (খ) অভিযোগের একটি কপি তাহাকে দেওয়া হয় এবং ইহার জবাব দেওয়ার জন্য অন্তত সাতদিন সময় দেওয়া হয়; (গ) তাহাকে শুনানীর সুযোগ দেওয়া হয়; (ঘ) মালিক ও শ্রমিকের সম-সংখ্যক প্রতিনিধি সমন্বয়ে গঠিত তদন্ত কমিটির তদন্তের পর তাহাকে দোষী সাব্যস্ত করা হয়: তবে শর্ত থাকে যে, উক্ত তদন্ত ষাট দিনের মধ্যে শেষ করিতে হইবে; (ঙ) মালিক বা ব্যবস্থাপক বরখাস্তের আদেশ অনুমোদন করেন।",
  "source_page": "31"
}

Reasoning category taxonomy

Every item carries exactly one category value, describing the reasoning operation the question demands, independent of which chapter it is drawn from. Difficulty is assigned per category (every item in a given category carries the same tier), so the two fields are not independent axes but two granularities of the same underlying taxonomy.

Table 3. Reasoning category taxonomy, with mapped difficulty tier and item counts

Difficulty tiers

Table 4. Item counts by difficulty tier

Chapter-wise distribution

By reasoning category

Table 5. Item counts per chapter, broken down by reasoning category

By difficulty

Table 6. Item counts per chapter, broken down by difficulty tier

Licensing

This dataset (questions, answers, and evidence annotations) is released under the MIT License. The underlying source document, the Bangladesh Labour Act, 2006 (as amended), is a public statute of the Government of Bangladesh with no copyright restriction on the statutory text itself.

Contact

Maintained by Fatema Tuj Johora Faria (fatema.faria323@gmail.com) and Mukaffi Bin Moin (mukaffi28@gmail.com). For questions, corrections, or issues, please open a discussion on the dataset's Hugging Face repository.