macunaima/gemma4-search-doc-sm8650-a8w4-full-int4embed
gemma4-search-doc · SM8650 · A8W4 (full) + embedders INT4
Quantização derivada do checkpoint gemma4-search-doc, compilada e empacotada especificamente para a NPU (HTP) da Qualcomm Snapdragon SM8650 — o SoC do Samsung Galaxy S24, alvo deste projeto. Sujeito aos Termos de Uso do Gemma.
Compilado via AOT com--soc-model SM8650. Roda através do runtime LiteRT-LM como um único arquivo.litertlm.
Tamanho
Esquema de quantização
Granularidade: per-channel em todos os pesos (o compilador HTP da Qualcomm não suporta blockwise — ver Qualcomm_QNN_Compiler.md no repo LiteRT). Os embedders (embedder.tflite, per_layer_embedder.tflite) nunca passam pelo compilador AOT — são tabelas de lookup puras, então a compressão ali não tem restrição de HTP.
Risco de qualidade
Médio-alto. Todas as projeções lineares do modelo (atenção + MLP) vão pra INT4 — máxima redução de tamanho possível dentro do que o HTP da Qualcomm suporta (per-channel; blockwise não é suportado no HTP), mas também o maior desvio do baseline validado.
Velocidade esperada
Mesma lógica da opção MLP-only, ganho um pouco maior (mais peso movido em 4 bits por token). Estimativa de engenharia, não medida no S24 ainda.
Recomendação
Última opção — só se as duas anteriores não liberarem RAM suficiente. Precisa de comparação de qualidade contra um conjunto de avaliação fora da calibração antes de ir pra produção.
Modelos irmãos (mesma base, outras receitas)
- gemma4-search-doc-sm8650-a8w8-int4embed
- gemma4-search-doc-sm8650-a8w4-mlponly-int4embed
- gemma4-search-doc-sm8650-a8w4-full-int4embed
Uma quarta receita (INT4 weight-only com dequantize explícito) foi testada e descartada: o compilador AOT da Qualcomm rejeita esse padrão inteiro (Op Dequantize does not support per-channel quant tensor) — não gerou modelo utilizável, por isso não tem repo.
Aviso
As estimativas de velocidade/qualidade acima são raciocínio de engenharia sobre a arquitetura (decode é limitado por banda de memória; MLP domina os parâmetros), não medições reais no dispositivo. Ainda não foram validadas num Galaxy S24 físico.