Modelpublic

soyamilk/RWKV-5.2-90M-NSFW

sourceHugging Faceupdated 3y agoView on Hugging Face

2likes

Model Card

RWKV-5.2-90M-NSFW基于RWKV5.2架构，模型宽度为512，拥有8个注意力头，一共8层。 模型基于a686d380/h-corpus-2023数据集进行训练，训练长度从384,扩展到1920,最终达到了3840。 网页上提供的模型可以被RWKV Runner等常见加载器直接加载。 模型因为数据清洗不足、参数量过小、在转换成pytorch的时候存在精度丢失(疑似)、没有经过预训练、作者个人能力不足等多方面问题模型效果一般。 体验图一乐级别，但是它跑的真的好快，在轻薄笔记本上都跑的飞快。 这个小东西的训练完成，标志着我的训练代码基本完善，下一次我会带来更有意的RWKV模型。 祝你玩的开心，再见。