LLM 제공자를 위한 계층 캐시 테스트 소프트웨어를 찾고 있습니다.
LLM 제공자처럼 계층적이고 일시적인 캐시를 시뮬레이션할 수 있는 테스트 소프트웨어를 찾고 있습니다. 기존에 사용했던 libCacheSim은 단일 캐시에 적합하지만, 다양한 비용과 거주 기간을 가진 여러 계층을 모형화하는 데 적합하지 않습니다. 요청자는 여러 계층과 빈도에 따라 비용과 거주 기간을 모델링하는 소프트웨어를 찾고 있고, 관련 도움을 요청하고 있습니다.
Looking for cache-testing software for tiered ephemeral caches used by LLM providers.
The article discusses the search for cache-testing software designed for tiered ephemeral caches similar to those used by LLM providers. The author has tried libCacheSim but found it suitable only for single, flat caches without multi-tier support. They seek software that models various tiers with per-tier costs and supports tokenized objects and edit-driven workloads, inviting suggestions for academic code or internal tools that may fit these requirements.