Modelpublic

WariHima/rinn-taiko-comba-180m-ja-base-v1

sourceHugging Facecc-by-sa-4.0updated 1mo agoView on Hugging Face

0likes7downloads

Model Card

隣大河 comba 180m base ja v1

architecture:

—comba(fla)

tarined by (日本語):

—rtx3060 2.5h 6 トレーニングコードは ./trainingcodesにあります。学習の際はflash-linear-attentionライブラリのインストールとtrustremote_codeの有効化が必要です。

tokenizer from ku-nlp/gpt2-small-japanese-char +(qwne3 chat format | special tokens)

dataset:

—OmniAICreator/Japanese-Wikipedia-202506 use 150k rows 1 epoch * 6, = 900k row (512 seq)