2012년 이래로 신경망 훈련에 필요한 컴퓨팅 수요가 감소하고 있다는 분석을 발표했습니다.
2012년 이후로 신경망을 훈련하는 데 필요한 컴퓨팅 리소스가 16개월마다 2배씩 감소하고 있습니다. 현재는 AlexNet 수준의 성능을 훈련하는 데 44배 적은 컴퓨팅이 필요합니다. 비교를 위해, 무어의 법칙에 따르면 이 기간 동안 11배의 개선이 있을 것으로 예상됩니다. 이러한 결과는 최근 투자된 AI 작업에서 알고리즘적인 발전이 전통적인 하드웨어 효율보다 더 큰 성과를 보여주고 있음을 시사합니다.
We've released an analysis showing a significant decrease in compute needed for training neural nets since 2012.
Since 2012, the amount of compute required to train a neural network has been decreasing by a factor of 2 every 16 months. It now takes 44 times less compute to train a neural network to the level of AlexNet. In contrast, Moore's Law would suggest an 11x improvement over the same period. These results indicate that for AI tasks with high levels of investment, algorithmic progress has outpaced traditional hardware efficiency.