GPT-2의 실시간 생각을 3D 그래프로 시각화하는 AXON 도구 개발.
AXON은 GPT-2가 토큰을 생성할 때의 생각을 실시간으로 보여주는 도구입니다. Sparse Autoencoder를 활용해 모델의 잔여 스트림을 해석 가능하게 분해하고, 이를 통해 생성되는 3D 포스 그래프를 브라우저에 통해 시각화합니다. 이 도구는 FastAPI와 Three.js를 기반으로 하며, 다양한 모델에 대해 작동합니다.
Developed AXON tool visualizing GPT-2's real-time thoughts as a 3D graph.
AXON is a tool that visualizes what GPT-2 is 'thinking' in real-time as it generates tokens. It uses a Sparse Autoencoder to decompose the model's residual stream into interpretable features, displayed as a live 3D force graph in the browser. Built with FastAPI and Three.js, it supports various models and showcases activation features before token generation.