CoolFace
Modelpublic

win10/Lfm2-MaleCNS-Titans-VL-3B-V2-PT

sourceHugging Faceotherupdated 10d agoView on Hugging Face
0likes31downloads
Model Card

Lfm2-MaleCNS-Titans-VL-3B-V2-PT

原生 LFM2.5-VL-3B 加入 MaleCNS-Titans 與持續保存的 VAE 潛在表示，兩種記憶共同參與讀取。 這是完成 536 次更新、兩小時預算的雙記憶 PT 節點。全模組 LoRA 已合併為完整模型；後續正式 SFT 權重另行保存。

架構

  • —保留原生語言模型、視覺 tower 與 projector；視覺 port 和語言層 4／14／26 分別接入記憶。
  • —Titans 圖記憶與實體 FFN 記憶保存可更新的權重；VAE 壓縮頭／解碼頭保存並讀取逐特徵潛在表示。
  • —模型內含做夢鞏固組件。session.dream_consolidate 接受呼叫端驗證器，通過後才發布新版本。
  • —呼叫端管理 session；open_physical_archive 支援磁碟保存、先查詢索引再熱掛載權重與潛在表示。
  • —原生上下文設定維持不變。跨區塊記憶由 session 保存；新資訊的召回準確率仍需依任務實測。

載入與雙記憶讀寫

使用 Python、CUDA 與 requirements.txt 所列版本；訓練使用的 FlashAttention-2 revision 如下。

python
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor

repo = 'win10/Lfm2-MaleCNS-Titans-VL-3B-V2-PT'
model = AutoModelForImageTextToText.from_pretrained(
    repo, trust_remote_code=True, dtype=torch.bfloat16, device_map='cuda',
    attn_implementation='kernels-community/flash-attn2@f50dc99ed079b35990bc895d43fd353ea0cb376d',
).eval().requires_grad_(False)
processor = AutoProcessor.from_pretrained(repo, trust_remote_code=True)
archive = model.open_physical_archive('./physical-memory')

source = processor(text='本次觀察的內容……', return_tensors='pt').to('cuda')
archive.session.observe(**source, use_cache=False, logits_to_keep=1)
saved = archive.append()  # 保存完整單元，開始新的活躍單元
archive.build_index()

query = processor(text='請回憶剛才的內容。', return_tensors='pt').to('cuda')
keys = archive.encode_query(query)
matches = archive.query_keys(keys, index_mode='exact', device='cpu')
archive.mount_async(matches['matches'][0]['unit_id']).result()
answer = archive.session.generate(**query, max_new_tokens=128)
print(processor.tokenizer.decode(answer[0], skip_special_tokens=True))
archive.close()

observe 更新 Titans 圖與 VAE 碼；以觀察內容建立 labels 後，session.learn 可更新實體 FFN 記憶。寫入需要內部梯度，請勿包在 torch.inference_mode() 中。 圖片輸入沿用 processor 原生格式。長來源依序分塊寫入同一 session，磁碟記憶路徑由使用者指定。

PT 來源為 Formosa 繁中原文、選定數學與視覺資料。此版本保留 PT 權重，包含經輸出與梯度對照的潛在讀取實作修正。 權重、設定、processor、完整架構程式及授權文件均包含於此倉庫。