yheye43/Eval-Qwen3-30B-A3B-GPTQ-Int4

Update model_loader.py

Update memo

Update Dockerfile

Update Dockerfile

Update requirements.txt

Update model_loader.py

Update Dockerfile

Update Dockerfile

bitsadnbytes-added

deleted nvidiasmi

a

cuda fix

Dockerのベースイメージの変更。Cuda使用する場合はこっちの方がいいらしい

acceralate

req

changed req

editted quantization settings

added cuda dependency

fixed dockerfile

fixed hf_xet error

added requirements

fixed write permission issue

Dockerfile変更。書き込み権限を持つユーザーを設定。

changed main.py

ロード時量子化ビット数を変更する環境変数を追加。

プロトタイプ。DockerfileのMODEL_IDで指定したモデルをロード時実行。

init

initial commit