Lyse-336M

Modèle de langage causal (decoder-only) entraîné from scratch.

Architecture

• 24 couches, d_model=1024, 16 têtes d'attention, feed-forward=4096
• Contexte : 512 tokens (positions apprises, non extrapolable)
• ~336M de paramètres, embeddings d'entrée/sortie liés
• Tokenizer : camembert-base (SentencePiece Unigram, 32013 tokens + tokens ChatML)

Pré-entraînement

• Corpus : Wikipédia FR + EN (texte complet, non tronqué)
• Mixed precision bf16, gradient checkpointing

Contenu de ce dépôt

• base/causal_transformer.pt — checkpoint base, tokenizer inclus (vocab=32005)
• instruct/causal_transformer_instruct.pt — checkpoint instruct, tokenizer inclus (vocab=32013)

Utilisation

Ce modèle utilise une architecture custom (model.py), pas une classe transformers standard. Pour le charger :

import torch
from transformers import AutoTokenizer
from model import CausalTransformerModel
from config import Config

cfg = Config()
tokenizer = AutoTokenizer.from_pretrained("./tokenizer")
state_dict = torch.load("causal_tranformer.pt", map_location=cfg.device)
cfg.vocab_size = state_dict["token_emb.weight"].shape[0]

model = CausalTransformerModel(cfg)
model.load_state_dict(state_dict, strict=True)