OpenArch - LLM 아키텍처를 모델별 한 파일로 구현한 PyTorch 코드 모음

OpenArch는 여러 LLM 아키텍처를 PyTorch로 구현한 코드 모음입니다.

OpenArch는 Llama, Qwen, DeepSeek 등 다양한 LLM 아키텍처를 코드로 구현한 PyTorch 저장소입니다. 이 저장소는 각 아키텍처의 내부 구조를 비교하며 공부할 수 있도록 돕고 있습니다. 또한, 가독성과 학습을 우선으로 하여 어텐션 유형, 정규화, 계층 구성, MoE 라우팅, 위치 인코딩과 같은 구조적 선택을 나란히 보여줍니다.

OpenArch is a collection of PyTorch implementations for various LLM architectures.

OpenArch is a repository that implements various LLM architectures such as Llama, Qwen, and DeepSeek in PyTorch. It allows users to study and compare the internal structures of these models through code. The repository prioritizes readability and learning, showcasing structural choices like attention types, normalization, layer composition, MoE routing, and positional encoding side by side.