다양한 Transformer Attention 메커니즘 구현을 위한 레포지토리 소개.
이 레포지토리는 Small Language Model(SLM) 실험을 위해 다양한 Attention 메커니즘을 쉽게 교체할 수 있도록 개발되었습니다. 이러한 구현은 컴퓨터 비전, 최신 비전 인코더, 강화 학습 등에도 적용될 수 있습니다. 다른 관심 메커니즘의 구현도 환영하며 기여할 것을 권장합니다.
Introduction to a repository for various Transformer Attention mechanism implementations.
This repository was developed to easily switch between different Attention mechanisms for Small Language Model (SLM) experiments. These implementations can also be applicable in Computer Vision, modern Vision Encoders, and Reinforcement Learning. Contributions of other Attention mechanism implementations are encouraged.