Three.js로 브라우저에서 LLM 실행하기

Three.js를 활용해 브라우저에서 LLM을 실행하는 방법을 소개합니다.

이 글에서는 Three.js의 GPU 연산 기능을 이용해 언어 모델(LLM)을 브라우저에서 실행하는 방법을 설명합니다. 사용자는 별도의 추론 서버 없이 GPT-2, SmolLM2, Qwen, Phi와 같은 모델을 직접 구동할 수 있습니다. 모델 파일은 Hugging Face에서 직접 읽어들이며, TSL 컴퓨트 셰이더를 통해 행렬 곱과 어텐션 같은 연산을 수행합니다.

Introducing how to run LLMs in the browser using Three.js.

This article explains how to use the GPU computation capabilities of Three.js to run language models (LLMs) directly in the browser. Users can execute models like GPT-2, SmolLM2, Qwen, and Phi without a separate inference server. The model files are read directly from Hugging Face, and operations like matrix multiplication and attention are implemented using TSL compute shaders.