Inkling은 975B 파라미터의 오픈 웨이트 모델로 다양한 미디어 입력을 처리합니다.
Inkling은 975B의 MoE Transformer로, 41B의 활성 파라미터를 갖고 있습니다. 이 모델은 최대 1M 토큰의 문맥을 지원하며, 텍스트, 이미지, 오디오, 비디오 등 다양한 미디어를 처리할 수 있습니다. 사전 학습에는 45조 토큰이 사용되었고, 특정 벤치마크에서의 작업 및 추론 성능이 강조됩니다.
Inkling is an open weight model with 975B parameters that supports various media inputs.
Inkling is an MoE Transformer with 975B parameters and 41B active parameters. This model supports context up to 1M tokens and can process various media types including text, images, audio, and video. It was pre-trained on 45 trillion tokens, emphasizing its performance on specific benchmarks for tasks and reasoning.