Iridescent7538/sparkle-server
✨ feat: 在流生成器中添加完整响应打印功能,增强调试信息
🐞 fix: 在 Dockerfile 中安装 llama.cpp 运行时所需的共享库
🐳 chore: 在 Dockerfile 中添加 git 依赖,更新 README 文档以包含核心概念与配置建议
📃 docs: 更新 README 文档,添加项目元数据和描述,增强可读性
🦄 refactor: 重构 Dockerfile 和 app.py,优化多阶段构建,增强模型加载和 API 逻辑,更新 README 文档以反映新特性
🐳 chore: 更新模型配置为Qwen3系列8B,使用8位量化版本以优化性能和质量
🐳 chore: 更新模型文件名以使用更高质量的Qwen3系列6位量化版本
🐳 chore: 更新模型文件名以使用更高质量的Qwen3系列量化版本
🐳 chore: 在 Dockerfile 中添加 git 依赖以支持 llama-cpp-python 的安装
🐳 chore: 更新依赖项版本,提升性能和兼容性
🐳 chore: 优化代码格式,更新模型文件名,移除不必要的导入
🐳 chore: 在 requirements.txt 中添加 huggingface-hub 依赖
🐳 chore: 更新 Dockerfile 以安装 llama-cpp-python 所需的编译工具,并移除 transformers 依赖
Merge branch 'quantization'
🐳 chore: 更新 transformers 版本至 4.52.4 以获取最新功能和修复
🐳 chore: 更新为GGUF优化的Qwen3系列14B模型,调整API请求参数并更换依赖库
🐳 chore: 更新模型为Qwen3系列14B,并配置4位量化以优化内存使用
🐳 chore: 将用户输入格式化为指令提示,以优化模型问答效果
🐳 chore: 更换模型为更强大的 "bigscience/bloomz-3b",并重新加入 torch.float16 以优化内存使用
🐳 chore: 更换模型为支持多语言的 "bigscience/bloomz-560m",并优化分词器设置以消除警告
🐳 chore: 更新模型为更强大的 "EleutherAI/gpt-neo-1.3B",并优化内存占用和性能
🐳 chore: 创建并授权缓存目录,以解决运行时权限问题
🐳 chore: 更换基础镜像为更安全、更小的 Python 3.12-slim
🐳 chore: 将基础镜像版本升级至 Python 3.13.5,并设置 Hugging Face 缓存目录以避免权限问题
🎉 init: Initial commit after project review and fixes
initial commit
