RichardErkhov/Sdff-Ltba_-_LightChatAssistant-TypeB-2x7B-gguf

Quantization made by Richard Erkhov.

Github

Discord

Request more models

LightChatAssistant-TypeB-2x7B - GGUF

• —Model creator: https://huggingface.co/Sdff-Ltba/
• —Original model: https://huggingface.co/Sdff-Ltba/LightChatAssistant-TypeB-2x7B/

Original model description: --- base_model:

• —NTQAI/chatntq-ja-7b-v1.0
• —Elizezen/Antler-7B language:
• —ja tags:
• —mistral
• —mixtral
• —merge
• —moe
• —not-for-all-audiences
• —nsfw pipeline_tag: text-generation ---

LightChatAssistant-TypeB-2x7B

GGUF量子化はこちら

Aratakoさんの LightChatAssistant-2x7B-optimized-experimental でChatVectorに適用された加算割合を参考に、Sdff-Ltba/LightChatAssistant-2x7Bを 製作者の好みに合うように手作業で割合を調整したモデルです。 本モデルの製作にあたりAratakoさんに加算割合データの公開をお願いしたところ、快く対応してくださいました。 その時のディスカッションはこちらです。 心から感謝いたします。ありがとうございました！

モデル特徴

LightChatAssistant-2x7Bから以下の特徴を引き継いでいます。

• —ContextSize 32768 まで対応
• —iQ3XXS量子化ファイルを用いれば、[ContextSize:32768]時でもVRAM12GBでフルロード可能

また本モデルで狙った効果は以下の通りです。

1. 1.加算するInstruct割合を可能な限り落とさず、それでいて日本語をより自然にする
2. 2.長文を出力させても日本語をより滑らかにできるように調整
3. 3.LightChatAssistantの特徴であるクリエイティブな文章力も、可能な限りキープする

製作者の環境では上記3点が実現できたため、本モデルには満足しています。 ただしプロンプト等によっては元モデルより劣るものもあるかもしれないため、バージョンアップとしてではなく別型としてリリースすることにしました。

参考

• —GitHub - Aratako_Task-Vector-Merge-Optimzier Aratakoさん作の、ChatVectorに適用する加算割合を最適化するスクリプトです。本モデル製作のきっかけとなりました。