LLM의 어텐션 시각화를 위한 도구 소개.
이 도구는 LLM이 토큰을 생성할 때 어떤 이전 토큰을 참조했는지를 시각적으로 보여준다. 생성된 토큰을 클릭하거나 마우스를 올리면 참조 정보를 불투명도로 시각화하는 기능이 있다. 또한 어텐션 가중치에 값 벡터의 크기를 반영하여 모든 헤드와 레이어의 정보를 통합해 표시한다.
Introduction to a tool for visualizing LLM attention.
This tool visualizes which previous tokens are referenced when an LLM generates tokens. It allows users to click on generated tokens or hover over them to see reference information displayed with opacity. Additionally, it reflects the size of the value vectors in the attention weights and aggregates information across all heads and layers.