Modelpublic

unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF

sourceHugging Faceapache-2.0updated 8mo agoView on Hugging Face

58likes7.9kdownloads

fileERNIE-4.5-21B-A3B-Thinking-BF16.gguf40.66 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-IQ4_NL.gguf11.62 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-IQ4_XS.gguf11.01 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q2_K_L.gguf7.59 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q2_K.gguf7.59 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q3_K_M.gguf9.80 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q3_K_S.gguf8.98 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q4_0.gguf11.64 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q4_1.gguf12.83 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q4_K_M.gguf12.42 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q4_K_S.gguf11.68 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q5_K_M.gguf14.51 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q5_K_S.gguf14.10 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q6_K.gguf16.74 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-Q8_0.gguf21.61 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-IQ1_M.gguf6.75 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-IQ1_S.gguf6.53 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-IQ2_M.gguf7.48 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-IQ2_XXS.gguf7.23 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-IQ3_XXS.gguf8.89 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q2_K_XL.gguf7.66 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q3_K_XL.gguf9.85 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q4_K_XL.gguf12.48 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q5_K_XL.gguf14.60 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q6_K_XL.gguf17.94 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-Q8_K_XL.gguf24.81 GBdownload

fileERNIE-4.5-21B-A3B-Thinking-UD-TQ1_0.gguf6.05 GBdownload

unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF · main · files are served by the source, never re-hosted here