
미니 벤치마크 점수로 불량을 산정하면 안되는 이유들에 대해서
- AquStar
- 조회 수 1196
- 2023.10.17. 16:11
모든 소비자가 특정 제품을 구매할 때 그에 대한 최고의 만족도를 원하는건 변하지 않는 사실입니다.
단차나, 마감의 품질, 올바른 성능 등 다양한 부분에서 지불한 가치 대비 특정한 목표를 원하죠.
그리고 전자기기 부분에서 칩 성능을 사용자 기준에서
가장 간편하게 눈으로 볼 수 있는건 "유명한 서드파티 벤치마크 프로그램의 결과값" 이 될겁니다.
여기서 분명히 해야할 부분은 그런 벤치마크 프로그램을 특정 제조사가 단독으로 공인해서는 안된다는 것입니다.
긱벤치는 모바일 환경에서 가장 대표적으로 인용되는 멀티플랫폼 CPU벤치마크 어플리케이션임에는 분명하지만 이러한 프로그램을 특정 제조사에서 공인해버리면 벤치마크의 신뢰도는 누가 보장해주죠?
특정 제조사가 해당 벤치마크를 공인했기 때문에 특정 제조사에서 더 점수가 높게 나올 수 있다
라는 의혹에서 벗어날 수 있나요?
그래서 미국에서는 SPEC 이라는 기업집합의 공인 비영리 단체가 보증해주는 벤치마크가 있습니다.
그런데 그거, 일반 소비자용 프로그램이 아니죠, 라이센스 하나에 천달러인데요,
결국 소비자는 무료 서드파티 벤치마크 테스트로 기기의 최대성능을 평가할 수 밖에 없습니다.
그렇다면 이 벤치마크 어플리케이션은 우리의 칩셋이 불량이라고 판단할 수 있을까요?
애당초 불량의 기준이 뭐죠?
누군 싱글 점수가 3000점이 나왔는데 내 기기는 2800점이 나왔으니 200점 만큼 불량이다?
몇점 부터 불량이라고 판단할까요? 벤치마크가 돌아가는 현실 온도는요?
백그라운드 프로그램으로 인한 부하 분할로 인한 점수 하락은?
벤치마크를 돌리기 전 한참동안 게임을 하다가 온도가 충분히 올라간 상태에서 돌려서 스로틀링이 걸린 상태라면?
칩의 성능을 단순히 벤치마크 점수로만 서비스센터에서 보장해줄 정도라면 객관적으로 기기를 초기화한 뒤 벤치마크 어플리케이션만 설치하고 모든 백그라운드를 강제로 중지한 뒤 최대한 안정적인 온도에서 테스트를 진행해 사용자에게 확인시켰을 때 만족스러운 점수가 아니면 불량판정입니까?
만약 이런 일이 발생한다면 점수가 낮은 기기는 모두 불량인 셈이 되니 긱벤치 기기 평균 점수가 확 올라가겠네요, 그러면 평균점수가 올라가고 그럼 더 많은 제품들이 점수가 낮다며 불량취급을 받겠네요 이게 맞나요?
이어서 벤치마크 점수가 현실을 대변하는가?
물론 모든 칩은 제조사의 내부 테스트를 거친 뒤 출하됩니다. 하지만 모든 칩이 균일하진 않죠
특정 칩은 다른 칩들에 비해 좀 더 전력제한이 널널하거나, 혹은 빡빡할 수 있습니다.
그 차이는 소비자들이 체감할 수 있는 정도는 분명 아니지만 극단적인 사례를 들어보겠습니다.
위 그래프에서 A와 B칩이 있습니다. 벤치마크 테스트를 진행하면 B칩의 점수가 더 높게 나오네요
그럼 A칩은 불량인가요? 하지만 스마트폰의 칩셋이 대부분 사용하는 저전력구간에서는 B칩셋보다 더 높은 전성비가 나오는데요? B칩은 최고점수는 높지만 저전력 구간에서의 성능은 더 낮네요?
물론 실제 칩은 이렇게 극단적으로 차이나진 않습니다.
하지만
이런거 벤치마크 테스트 앱이 알려줍니까?
소비자가 클럭 구간별, 코어별 소비전력을 알 수 있나요?
소비자 입장에서 서비스 센터를 방문해 벤치마크를 통해 불평할 수 있는건 기껏해야
"한번 이상이 없는지 확인좀 해주세요" 정도지 벤치마크 결과가 낮으니 대처해주세요가 아닙니다.
이어서 모바일 시대로 와 뿔딱의 단어가 변경된 것에 대해
뿔딱이라는 단어는 조립PC에 있어서 전압 마진폭이 널널하게 출하된 제품에 한해
오버클럭이 얼마나 잘먹냐, 국민오버라고 부르는 단계까지도 오버클럭이 되지 않는 제품들에 한해
뿔딱이라는 단어를 붙인것을 기원으로 합니다.
그런데 오버클럭이란 단어부터 제조사가 권장하는 상황은 아니죠
즉 동작 자체가 되지 않는 초기불량을 제외한 모든 제품은 정상제품으로 출고가 된 상태이며,
오버가 안먹는다고 불량이 아닙니다.
그렇다면 소비자가 오버클럭을 할 수 없는 모든 스마트폰 칩셋에는 말 그대로 뿔딱은 존재하지 않는 셈이죠,
아니 오히려 갤럭시용 스냅드래곤 8 Gen 2 처럼 제조사가 공인된 오버클럭 제품을 탑재했다는건
반대로 모든 제품이 뿔딱이 아닌 것이라고 공인한 셈입니다.
벤치마크 점수가 낮은건 결코 불량의 사유가 될 수 없습니다.
내 칩셋이 불량같다? 보통 그러면 기기가 작동을 안하지 단순히 점수가 낮은 정도로 끝나지 않습니다.
서드파티 벤치마크 신뢰성에 대한 문제, 벤치마크 테스트가 진행되는 스마트폰 자체 혹은 외부 환경
단순히 벤치마크 점수가 알려주지 않는 것들,
이러한 모든 원인을 제쳐두고 벤치마크 점수에 대한 일차원적 신봉은 잠시 미뤄두시길 바랍니다.
뭐.. 다른건 논외로 치고
뿔딱은, 의미 확장이라는 개념으로 받아들여도 될것이라고 생각합니다.