mocomoco-inc/AudioJev-AudioDecisionModel
AudioJev-AudioDecisionModel
—— English below ——
AudioJev-AudioDecisionModelは、音声に質問を投げると、答えをNoul（Yes/No）・Choice（選択）・Score（数値）の形で返すモデルです。「予約を取り消したい？」「犬の鳴き声がする？」といった質問を、同じ音声にまとめて指定できます。
デモを試す · ライセンス
できること
予約の変更や取り消し、特定の言葉が含まれるかといった発話内容への質問に加え、音楽、動物の鳴き声、環境音についても質問できます。発話と背景音の両方が必要な場合は、それぞれのモデルの判断を組み合わせます。Cloudとブラウザ上で動くEdge AIを用意しています。
入力は0.25〜30秒の音声と、任意の文脈・質問・選択肢です。出力には質問ごとの回答、選択肢スコア、使用したexpert、ルーティング重みが含まれます。
モデルのしくみ
質問文・文脈・選択肢をsbintuitions/modernbert-ja-30mで読み、学習済みrouterが音声言語と非言語音の使い方を決めます。言語側はQwen/Qwen3-ASR-0.6B、非言語側はlaion/clap-htsat-unfusedを基盤にし、両方が必要な質問では選択肢単位で結果を融合します。Cloudには日本語ASR適応重み、意味分類器、汎用typed head、laion/clap-htsat-unfusedの分類headを収録しています。Edge AIには量子化した音声塔・質問encoder・headと、FP32のrouterをONNX形式で収録しています。
CloudとEdge AIは同じ質問形式・結果JSONを使う別の実装です。現行の公開CloudデモはCPU上で動き、必要な言語タスクではASRと文字起こしを使用します。Edge AIはQwen3-ASRの音声encoderを使いますが、ASR decoderは使いません。文字起こしを経由せず、音声特徴と質問・選択肢の特徴から直接判断します。Edge AIはCloud全体を量子化したものではありません。図のMermaidソースも参照できます。
評価
予約・注文などの用件と、依頼・確認など発話の役割を音声から同時に答える評価では、事前に固定した240件のうち88.75%で両方正解しました。
発話と周囲の音を組み合わせる質問や、自由に作成した質問全体の正答率は引き続き評価中です。選択肢スコアは確率校正前の値です。VAD・話者分離・ストリーミングは現行モデルの構造化出力にまだ含まれません。
使い方と収録内容
デモでは音声を録音またはアップロードし、質問・選択肢を編集してCloudとEdge AIの回答を試せます。モデルを取得する場合は以下を使用してください。
from huggingface_hub import snapshot_download
model_dir = snapshot_download("mocomoco-inc/AudioJev-AudioDecisionModel", token=True)
print(model_dir)Cloud実行には、ここに収録した適応重み・headに加え、Qwen/Qwen3-ASR-0.6Bとlaion/clap-htsat-unfusedの基盤モデルを使用します。入出力の実装例はデモのソースにあります。
ライセンスとクレジット
このモデルは、以下の事前学習済みモデルを基盤にしています。
router、typed head、分類headなどmocomoco inc.が作成した部分も含まれます。基盤モデルのライセンス文とnoticeはlicenses/に収録し、ファイルごとの条件と基盤モデルrevisionはLICENSE.mdとMANIFEST.jsonに記載しています。
Jev / TypeSafe AIとOpenJev / SemIfのアイデアを参考にしています。
English
AudioJev-AudioDecisionModel answers questions about audio in structured JSON: Noul (Yes/No), Choice (selection), or Score (ordinal value). You can provide a 0.25–30 second clip, context, natural-language questions, and answer options. It covers speech-related tasks as well as music, animal calls, and environmental sounds. Questions that need both speech and background audio use both model paths.
The Cloud configuration combines Qwen/Qwen3-ASR-0.6B, sbintuitions/modernbert-ja-130m, and laion/clap-htsat-unfused. The Edge AI configuration includes quantized ONNX audio and text models for browser inference; loading all Edge components downloads about 289 MB. In a fixed 240-item evaluation of reservation/order intent and speech act together, both answers were correct for 88.75% of items. Accuracy across arbitrary new questions and speech-plus-background-audio questions remains under evaluation; option scores are not calibrated probabilities.
The public Cloud demo runs on CPU and uses ASR for language tasks that need a transcript. Edge AI uses the Qwen3-ASR audio encoder without its ASR decoder: it scores audio features against the question and answer options directly, without transcribing the clip. The two modes share an input/output contract and routing design, but Edge AI is not a quantized copy of the entire Cloud pipeline.
The repository also contains model components trained by mocomoco inc. Qwen/Qwen3-ASR-0.6B and laion/clap-htsat-unfused declare Apache-2.0, while sbintuitions/modernbert-ja-30m and sbintuitions/modernbert-ja-130m declare MIT. See LICENSE.md, `licenses/`, and MANIFEST.json for component provenance and notices. The design draws inspiration from Jev / TypeSafe AI and OpenJev / SemIf.