Karpathy의 펠리컨

Karpathy의 새로운 LLM 평가 접근 방식에 대한 논의.

Karpathy는 LLM 평가 기준을 단순한 결과물에서 벗어나 절차적 세계 구현으로 확장하자는 의견을 제시했습니다. 그의 예시로 <>와 함께 100만 토큰 예산을 활용한 Three.js 렌더링 요청이 있습니다. 이 과정은 단순히 자전거 타는 펠리컨 SVG와 같은 결과물을 넘어서는 장기적인 작업을 포함합니다.

Discussion on Karpathy's new approach to LLM evaluation.

Karpathy proposes expanding LLM evaluation criteria beyond simple outputs to include procedural implementations of worlds. He shares an example of requesting a Three.js rendering with a budget of one million tokens, inspired by the first paragraph of 'The Lord of the Rings.' This approach involves long-term projects that go beyond just creating a single output like a pelican riding a bicycle SVG.