CoolFace
Modelpublic

demimomi/no2ver-qwen3-4b-structured-output-lora

sourceHugging Faceapache-2.0updated 8mo agoView on Hugging Face
0likes18downloads
Model Card

東京大学 松尾・岩澤研究室　大規模言語モデル　応用講座2025-2026

Author and Acknowledgments

  • —Author: Toshiki Demizu (出水 利樹) — GitHub/Hugging Face ID: @demimomi
  • —Affiliation: ソフトバンク株式会社、MONET Technologies株式会社
  • —Course: Large Language Model Development Lecture Advanced (Winter 2025－2026)
  • —Participants: 3800名参加

メインコンペ(2026年2月2日～3月2日)

  • —状況:

2026年2月8日現在 293位（現時点で497人が提出） 0.70044点

2026年2月11日現在 261位（現時点で646人が提出）0.73407点

T4（TPU）だと日次Limitにすぐ達するため、A100（GPU）にて学習/推論コードを実施。

  • —ルール:

基準点：0.7　※コード脳死で回すだけでは超えられない

　１Google Colabで実行可能なモデル・実装であること

　２評価は StructEval（Text）のみを使用

　３提出物は推論結果JSONとHugging Face上のモデルURL

　４運営指定モデル・データのみ使用可

　５Omnicampusに提出すると自動採点・順位付け

demimomi44taomax-qwen3-4b-structured-output-lora（0.73407点版）

This repository provides a LoRA adapter fine-tuned from Qwen/Qwen3-4B-Instruct-2507 using QLoRA (4-bit, Unsloth).

This repository contains LoRA adapter weights only. The base model must be loaded separately.

Training Objective

This adapter is trained to improve structured output accuracy (JSON / YAML / XML / TOML / CSV).

Loss is applied only to the final assistant output, while intermediate reasoning (Chain-of-Thought) is masked.

Training Configuration

  • —Base model: Qwen/Qwen3-4B-Instruct-2507
  • —Method: QLoRA (4-bit)
  • —Max sequence length: 1024
  • —Epochs: 2
  • —Learning rate: 5e-06
  • —LoRA: r=64, alpha=128

Usage

python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base = "Qwen/Qwen3-4B-Instruct-2507"
adapter = "demimomi/demimomi44taomax-qwen3-4b-structured-output-lora"

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    torch_dtype=torch.float16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)

Sources & Terms (IMPORTANT)

Training data: u-10bei/structureddatawithcotdataset512v4

Dataset License: MIT License. This dataset is used and distributed under the terms of the MIT License. Compliance: Users must comply with the MIT license (including copyright notice) and the base model's original terms of use.