미니 실성능 지향한다는 벤치마크 툴들이 괴이쩍은 짓을 많이 하는 이유가...
- ARMCC
- 조회 수 351
- 2019.02.27. 22:19
실성능 반영한답시고 마이크로아키텍처 변경에 따른 요소들이 어떻게 사이드이펙트를 터뜨릴 지 불분명한 미들레벨 만빵인 실전SW를 그대로 가져다 놓고 그걸 실성능 측정한답시고 돌리다 보니...
정작 측정하라는 성능은 제대로 측정 안하고 사이드이펙트 얼마나 많이 튀어나오나를 측정하는 그런 벤치마크로 전락해 버리는 거죠....
괜히 벤치마크계에서 오랫동안 중심을 잡아오고 있는 SPEC쪽의 가장 주요한 점수인 SPECint나 SPECfp가 C나 포트란 코드에서 바로 컴파일해서 미들레벨의 복잡성을 최대한 제거하고 점수 내는 게 아닙니다...
그리고 적어도 긱벤4같은 것들도 C코드 기반으로 바로 빌드한 것들로 테스트를 돌리니 아주 황당한 숫자가 나오는 경우는 그나마 적고요...
실전지향 그런 거 섣불리 주장하기 전에 변인통제가 단순해지는 환경에서부터 접근해서 숫자 자체를 신뢰성 있게 수렴시키는 게 우선입니다. 적어도 고성능 아키텍처 순으로 줄서기가 제대로 되는 단순하면서도 신뢰성 있는 코드들을 먼저 써야 하는 거죠...
왜 PC마크 같이 요상하게 꼬이기 쉬운 벤치에서 스냅쪽이 잘나오냐고요? 당연한 이야기입니다... 거기 들어가는 게 ARM본가의 A76코어인데 그 이야기는 모바일업계 중 SW지원역량이 가장 강력한 두 업체, 즉 퀄컴과 ARM사의 SW인력들이 그쪽 관련 최적화 문제들을 해결하는데 왕창 갈려들어간다는 거죠... 아무리 삼전이 크다고 해도 SW는 그정도 까지는 안되고 게다가 두 업체가 연합하다시피한 환경에서는 그런 역량은 밀릴 수 밖에 없는 것.
말씀하신대로라면 긱벤치 외에 믿을 만한게 또 뭐가 있으려나요...?