H64LM은 PyTorch로 구현된 249M 파라미터 Mixture-of-Experts Transformer 프로젝트입니다.
H64LM은 PyTorch로 처음부터 구현된 249M 파라미터의 Transformer입니다. 이 프로젝트는 현대 LLM을 이해하기 위해 핵심 구성 요소를 직접 구현하며, 이는 attention, MoE 라우팅, 정규화, 훈련 루프를 포함합니다. 주요 기능으로는 Sparse MoE, SwiGLU, RoPE, RMSNorm 등이 있으며, 커스텀 훈련 루프와 체크포인트 지원이 가능합니다.
H64LM is a 249M-parameter Mixture-of-Experts Transformer implemented from scratch in PyTorch.
H64LM is a 249M-parameter Transformer built from scratch in PyTorch aimed at understanding modern LLMs. It implements core components like attention, MoE routing, normalization, and training loops without high-level frameworks. Key features include Sparse Mixture-of-Experts, SwiGLU, RoPE, and custom training loops, along with checkpointing support.