xCloudinfo/NVIDIA-Nemotron-3-Nano-30B-A3B-GGUF

NVIDIA-Nemotron-3-Nano-30B-A3B-GGUF

云碩科技 · xCloudinfo　·　系列：社群量化 · Community GGUF

`nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B` 的 GGUF（llama.cpp / Ollama） 量化版本（30B 總參、A3B≈3B 活躍 MoE），供地端部署。

各量化等級見 Files 分頁。

用法

llama-server -m NVIDIA-Nemotron-3-Nano-30B-A3B-<quant>.gguf -c 4096 -ngl 99

授權與來源聲明

• —基底：`nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B`。
• —授權依 NVIDIA Open Model License（原作者條款）；使用須遵守該授權與適用法律。
• —模型本體與能力屬 NVIDIA；本 repo 僅提供重新量化之 GGUF。

由 云碩科技 xCloudinfo 重新量化、散布。