소형 Transformer가 1.5시간 학습에 67센트로 여러 LLM을 초과 달성함.
RTX 5090을 이용한 소형 Transformer는 ARC-AGI-1에서 44%, ARC-AGI-2에서 7%의 성과를 기록했습니다. 전체 학습과 추론은 고작 1.5시간과 67센트의 비용이 들었습니다. 이 모델은 입력과 출력을 격자 형태로 토큰화하고, 다양한 임베딩 기법과 증강 기법을 결합하여 퍼즐을 학습하는 방식으로 성능을 극대화했습니다.
A small Transformer beats multiple LLMs with just 1.5 hours of training for 67 cents.
Utilizing an RTX 5090, the small Transformer achieved 44% on ARC-AGI-1 and 7% on ARC-AGI-2. The entire training and inference took only 1.5 hours and cost 67 cents. This model leverages grid tokenization for input and output, combining task-specific embeddings and augmentation techniques to learn various puzzles effectively.