Block-sparse GPU kernels

블록 스파스 가중치를 가진 신경망을 위한 최적화된 GPU 커널을 출시했습니다.

블록 스파스 가중치를 가진 신경망 아키텍처를 위한 최적화된 GPU 커널이 출시되었습니다. 이러한 커널은 선택된 스프라시티에 따라 cuBLAS나 cuSPARSE보다 몇 배 더 빠른 성능을 발휘할 수 있습니다. 우리는 이를 사용하여 텍스트 감정 분석 및 텍스트와 이미지의 생성 모델링에서 최첨단 결과를 달성했습니다.

Optimized GPU kernels for block-sparse weight neural networks are now released.

We are releasing highly-optimized GPU kernels for an underexplored class of neural network architectures: those with block-sparse weights. Depending on the chosen sparsity, these kernels can run orders of magnitude faster than cuBLAS or cuSPARSE. We have used them to achieve state-of-the-art results in text sentiment analysis and generative modeling of text and images.