vitin12/gpt-pt-270m-base-1b

LeanGPT(
  emb: Embedding(49152 → 1024)
  blocks: 14× LeanBlock(
    ln1: RMSNorm(1024, eps 1e-6)
    attn: Attn(d 1024, h 16, kv 8, dh 64)  — qkv + SDPA causal + GQA repeat
    ln2: RMSNorm(1024)
    mlp:  SwiGLU(1024 → 4096 → 1024)  — w1 gate + w3 up, SiLU, w2 down
  )
  norm: RMSNorm(1024)
  rope: RoPE(dim 64, max 2048, theta 10000)
  head: tied — logits = norm(h) @ emb.weight.T
)
Params: 270,6M (emb 50,3M + 14× ~15,7M + norm/rope)

# pip install torch tokenizers safetensors
import torch, torch.nn as nn, torch.nn.functional as F
from tokenizers import Tokenizer
from safetensors.torch import load_file

class RMSNorm(nn.Module):
    def __init__(self, dim, eps=1e-6):
        super().__init__(); self.w = nn.Parameter(torch.ones(dim)); self.eps = eps
    def forward(self, x):
        return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + self.eps) * self.w

class RoPE(nn.Module):
    def __init__(self, dim, max_t, theta=10000.0):
        super().__init__()
        half = dim // 2
        inv = 1.0 / (theta ** (torch.arange(0, dim, 2).float() / dim))
        t = torch.arange(max_t).float()
        cos = torch.outer(t, inv).cos(); sin = torch.outer(t, inv).sin()
        self.register_buffer("cos", torch.cat([cos, cos], dim=-1))
        self.register_buffer("sin", torch.cat([sin, sin], dim=-1))
        self.half = half
    def rot(self, x): return torch.cat((-x[..., self.half:], x[..., :self.half]), dim=-1)
    def forward(self, q, k):
        c = self.cos[:q.shape[-2]]; s = self.sin[:q.shape[-2]]
        return q*c + self.rot(q)*s, k*c + self.rot(k)*s

class Attn(nn.Module):
    def __init__(self, d, h, kv):
        super().__init__(); self.h=h; self.kv=kv; self.dh=d//h
        self.qkv=nn.Linear(d, d+2*self.dh*kv); self.wo=nn.Linear(d,d)
    def forward(self, x, rope):
        b,s,d=x.shape; qkv=self.qkv(x)
        q,k,v=torch.split(qkv,(d,self.dh*self.kv,self.dh*self.kv),dim=-1)
        q=q.view(b,s,self.h,self.dh).transpose(1,2)
        k=k.view(b,s,self.kv,self.dh).transpose(1,2)
        v=v.view(b,s,self.kv,self.dh).transpose(1,2)
        q,k=rope(q,k)
        if self.h!=self.kv:
            r=self.h//self.kv; k=k.repeat_interleave(r,dim=1); v=v.repeat_interleave(r,dim=1)
        y=F.scaled_dot_product_attention(q,k,v,is_causal=True)
        return self.wo(y.transpose(1,2).reshape(b,s,d))

class MLP(nn.Module):
    def __init__(self,d,inner):
        super().__init__(); self.w1=nn.Linear(d,inner,bias=False); self.w2=nn.Linear(inner,d,bias=False); self.w3=nn.Linear(d,inner,bias=False)
    def forward(self,x): return self.w2(F.silu(self.w1(x))*self.w3(x))

class LeanBlock(nn.Module):
    def __init__(self,d,h,kv,inner):
        super().__init__(); self.ln1=RMSNorm(d); self.attn=Attn(d,h,kv); self.ln2=RMSNorm(d); self.mlp=MLP(d,inner)
    def forward(self,x,rope): x=x+self.attn(self.ln1(x),rope); x=x+self.mlp(self.ln2(x)); return x

class LeanGPT(nn.Module):
    def __init__(self,vocab,d,n_layers,h,kv,inner,seq):
        super().__init__(); self.emb=nn.Embedding(vocab,d)
        self.blocks=nn.ModuleList(LeanBlock(d,h,kv,inner) for _ in range(n_layers))
        self.norm=RMSNorm(d); self.rope=RoPE(d//h,seq)
    def forward(self,x):
        h=self.emb(x)
        for blk in self.blocks: h=blk(h,self.rope)
        return self.norm(h)

# — carregar / load —
tok = Tokenizer.from_file("tokenizer.json")
sep_id = tok.token_to_id("<|endoftext|>")  # 0 — SEMPRE prepend no prompt! / ALWAYS prepend!
vocab, d, n_layers, h, kv, inner, seq = 49152, 1024, 14, 16, 8, 4096, 2048

model = LeanGPT(vocab, d, n_layers, h, kv, inner, seq)
state = load_file("model.safetensors")  # ou / or torch.load("pytorch_model.bin")
model.load_state_dict(state, strict=False)
model.eval().cuda()

# — gerar / generate —
prompt = "A cidade de São Paulo é conhecida por"
ids = [sep_id] + tok.encode(prompt).ids
x = torch.tensor([ids], device="cuda")
with torch.no_grad():
    for _ in range(80):
        with torch.autocast("cuda", dtype=torch.float16):
            logits = model(x[:, -seq:])[0] @ model.emb.weight.T
            logits = logits[-1] / 0.8
        v,_ = torch.topk(logits, 40)
        logits[logits < v[-1]] = float("-inf")
        nid = torch.multinomial(torch.softmax(logits, dim=-1), 1).item()
        x = torch.cat([x, torch.tensor([[nid]], device="cuda")], dim=1)
print(tok.decode(x[0].tolist(), skip_special_tokens=True))

hf: marco ckpt_70000.pt (passo 70000) e mais novo que last.pt (passo 56100); usando o marco
tokenizer: 49152 tokens  |  BOS(sep) id: 0
ckpt: passo 70000 | tokens 1,146,880,000 | dims 49152,1024,14,16,8,4096 | seq 2048
modelo em cuda (270.6M params)

"A capital do Brasil é" → "a cidade de São Paulo. Com uma população de 758.700 habitantes, a capital é responsável por abrigar a maior"
"A água ferve a" → "nossa espinha!\nA temperatura da água e a umidade estão aumentando a quantidade de água na nossa espinha.\nEntão,"
"O símbolo químico do ouro é" → "a sua origem.\nA sua origem está ligada à ideia do ouro e ao ouro que é um metal nobre, uma"
"Dom Pedro I proclamou a independência em" → "1521, mas a realidade é que não foi. São os portugueses, portugueses e espanhóis que não são os que dizem"
"O maior planeta do sistema solar é" → "o Sol, que é o segundo mais próximo do sol. Isso significa que ele fica mais próximo do Sol e mais próximo"
"Quem escreveu Dom Casmurro?" → "A nossa vida, o nosso dia a dia, o nosso estado de espírito, o nosso estado de espírito, a"

"The capital of France is" → "the most popular and most important indústria in Europe and the most important factor of the production of natural gas production is the production"
"Water boils at" → "a constant rate of one percent. What is the value of the boiling rate, when it is 0.1%"
"The chemical symbol for gold is" → "Cd. Here's a quick test for it:\n\nThe following chemical symbol for gold is Cd."
"The largest planet is" → "going to be observed on the Sun, so I’ll be sure that the planet will see it.\n\n#"
"Who wrote Hamlet?" → "Let us take a look at the definition of an ideal on a compact disk.\n\nLet $K$"
"The speed of light is about" → "4.0 m/s, so we can write it as 4.3 m/s^2 or 4."

"A cidade de São Paulo é conhecida por" → "suas belíssimas praias, arquitetura e vida noturna. Entretanto, o que se pode dizer sobre São Paulo é que ela é um"
"A tecnologia mudou a forma como" → "nos relacionamos e interagimos com o mundo à nossa volta. Ela trouxe novas ferramentas e instrumentos para nos comunicarmos,"
"Os cientistas descobriram que" → "a densidade da água no fundo do oceano aumentou cerca de 2 bilhões de vezes no ano de 2015, aproximadamente em três meses"

"def fatorial(n):\n    if n <= 1:" → "return 1\n    else:\n        return n * fatorial(n - 1)\n\ndef fatorial_d"
"def is_prime(n):\n    for i in range(2, int(n**0.5)+1):" → "if int(i)%i == 0:\n            return False\n    if is_prime(n):\n        if"
"lista = [1,2,3]\nfor x in lista:" → "for y in lista:\nf(x, y)\n}\n\nprint\n\nO código abaixo é"
"import math\nresult = math.sqrt(25)" → "result *= math.sqrt(25)\nresult /= math.sqrt(25)\n\nreturn result"

"Quanto é 17 * 23?" → "Esta é uma das questões mais antigas que encontramos no GMAT!\n\nO número 17 pode ser escrito como 17"
"Se um trem viaja a 60 km/h por 3 horas, ele percorre " → "60 km e 1.6 km. Se, por outro lado, um trem percorre  60 km por 5 horas,"
"A derivada de x^2 é " → "a raiz quadrada de -6 (4,2)\n\na) Encontre o valor de x ao redor do"
"What is 17 * 23?" → "It is 17 * 23.\n\nIt is 17 * 23.\n\nIt is 17 * 7."
"If a train travels 60 km/h for 3 hours, it covers " → "70 km, and it can travels 300 km. The time for the train and the distance is 400 km/h"
"The derivative of x^2 is " → "$\\frac{x^3}{3}$\n\nThe derivative of the square root of x^2 is  $\\"

"Eu sou" → "uma pessoa que não tem vergonha de sorrir, de brincar, de fazer tudo à mão..."
"Meu nome é" → "Marcos, e sou o que sou desde que me mudei para os Estados Unidos em 1975..."
"Quem é você?" → "A gente é a nossa!\nNão há nada mais perigoso do que ficar perto de alguém..."
"I am" → "having a problem with the following code and I am trying to figure it out..."
"My name is" → "Lucky ee\nMy email is Lucky ee@gmail.com\nIt is my blog.\nMy"
"Who are you?" → "# The number of objects in a box is equal to the number of objects in the box's number of objects"

# continuar o pré-treino a partir deste checkpoint / continue pre-training from this checkpoint
python tools/train_gptpt_v2.py --ckpt /kaggle/working/ckt_v2 --data /tmp/corpus_v2 --dims 49152,1024,14,16,8,4096
# publicar próximo marco / publish next milestone
python tools/publish_1b_public.py --ckpt_step 140000 --public_repo vitin12/gpt-pt-270m-base-2b

@misc{gptpt2026_1b,
  title  = {GPT-PT 270M Base — 1B tokens},
  author = {icdron},
  year   = {2026},
  url    = {https://huggingface.co/vitin12/gpt-pt-270m-base-1b},
  note   = {Checkpoint base do passo 70.000 (1,14B tokens). Modelo subtreinado, não-instruído. / Base checkpoint at step 70,000 (1.14B tokens). Undertrained, not instruction-tuned.}
}