Transformer 구조를 시각적으로 탐색할 수 있는 도구 소개.
Transformer Explainer는 브라우저에서 1억 2,400만 매개변수의 GPT-2 small을 실행하며, 사용자들이 입력한 문장이 다음 토큰 예측으로 이어지는 과정을 시각적으로 탐색할 수 있도록 돕는 도구이다. 이 도구를 통해 사용자는 직접 문장을 입력하고, 토큰화, 임베딩, 어텐션과 출력 확률 등을 단계별로 확인할 수 있다.
Introduction of a tool to visually explore the Transformer structure.
Transformer Explainer is a tool that runs a 124 million parameter GPT-2 small in the browser, allowing users to visually explore the process leading from an input sentence to the next token prediction. Users can input text and unfold the steps of tokenization, embedding, attention, and output probabilities.