Perplexity’s new agent runs entirely on your GPU — with one expensive catch

Perplexity의 새로운 에이전트는 GPU에서 완전 작동하지만 고비용이 따른다.

Perplexity의 새로운 기능은 LLM(대형 언어 모형)을 개인 컴퓨터에서 실행 가능하게 하지만, 이를 위한 에이전트를 활용하는 것은 도전적이다. 이 에이전트는 GPU에서 완전히 운영되지만, 비용이 많이 드는 점이 단점으로 지적된다. 이 기술은 사용자가 PC 환경에서 LLM을 실험할 수 있는 기회를 제공한다.

Perplexity's new agent runs entirely on your GPU but comes with a high cost.

Perplexity's new feature allows for the execution of large language models (LLMs) on personal computers, but leveraging an agent with this setup proves challenging. The agent operates entirely on GPU, yet the high associated costs are a notable drawback. This technology offers users the opportunity to experiment with LLMs in a PC environment.