2020년대에 무어의 법칙이 둔화되고 있는지, 여전히 적용 가능한지, 아니면 죽었는지 살았는지에 대해 사람들이 논쟁을 벌이는 가운데, 엔비디아 과학자들은 황의 법칙의 놀라운 모멘텀을 예고합니다. 지난 10년 동안 엔비디아 GPU의 AI 처리 능력은 1,000배 성장한 것으로 알려져 있습니다. 황의 법칙은 "단일 칩 추론 성능"에서 우리가 목격했던 속도 향상이 이제 사라지지 않고 계속 이어질 것임을 의미합니다.

Nvidia는 금요일에 황의 법칙에 대한 블로그 포스팅을 게시하여 황의 법칙에 대한 믿음과 그 이면에 있는 작업 관행을 설명했습니다. 엔비디아의 수석 과학자인 빌 달리(Bill Dally)가 "무어의 법칙 이후 시대에 컴퓨터 성능 제공 방식의 지각 변동"이라고 설명하는 황의 법칙은 흥미롭게도 주로 인간의 독창성에 기반을 두고 있습니다. 이 특성은 법칙을 정립하기에는 다소 예측하기 어려운 것처럼 보이지만, Dally는 아래의 인상적인 차트가 황의 법칙의 시작에 불과하다고 생각합니다.

Dally의 최근 Hot Chips 2023 컨퍼런스 강연에 따르면, 위 차트는 지난 10년 동안 GPU AI 추론 성능이 1,000배 증가했음을 보여줍니다. 흥미롭게도 무어의 법칙과 달리 공정 축소는 황의 법칙의 진행에 거의 영향을 미치지 않았다고 엔비디아 수석 과학자는 말했습니다.

Dally는 엔비디아 GPU의 기본 숫자 처리 방식을 변경하여 16배의 이득을 얻었다고 회상합니다. 또 다른 큰 성과는 트랜스포머 엔진이 탑재된 엔비디아 호퍼 아키텍처의 출시와 함께 이루어졌습니다. 호퍼는 8비트 및 16비트 부동 소수점과 정수 수학을 동적으로 혼합하여 12.5배의 성능 도약을 제공할 뿐만 아니라 에너지도 절약할 수 있다고 주장합니다. 이전에 엔비디아 암페어는 2배의 성능 향상을 위해 구조적 희소성을 도입했다고 과학자는 말했습니다. NV링크 및 엔비디아 네트워킹 기술과 같은 발전은 이러한 인상적인 이득을 더욱 강화했습니다.

Dally의 가장 눈길을 끄는 주장 중 하나는 AI 추론 성능의 1000배 이상의 복합적 향상은 프로세스 개선으로 인한 성능 향상과 극명한 대조를 이룬다는 점입니다. 지난 10년 동안 엔비디아 GPU가 28nm 공정에서 5nm 공정으로 전환하는 동안 반도체 공정 개선은 "총 이익의 2.5배에 불과했다"고 Hot Chips의 Dally는 주장했습니다.

"새로운 재료를 발명하고 검증하는 독창성과 노력"과 같은 개념이 뒷받침되는 상황에서 황의 법칙은 어떻게 계속 속도를 낼 수 있을까요? 다행히도 Dally는 자신과 그의 팀이 AI 추론 프로세싱을 가속화할 수 있는 "몇 가지 기회"를 여전히 보고 있다고 말합니다. "숫자를 표현하는 방식을 더욱 단순화하고, AI 모델에 더 많은 희소성을 부여하며, 더 나은 메모리 및 통신 회로를 설계하는 것" 등이 그 예입니다.