https://www.semiaccurate.com/2024/04/24/qualcomm-is-cheating-on-their-snapdragon-x-elite-pro-benchmarks/

퀄컴은 OEM과 언론에 제공되는 스냅드래곤 X Plus/Elite 벤치마크에 사기를 쳤습니다. SemiAccurate는 이러한 단어를 가볍게 사용하지 않지만 여러 소스가 우리에게 말하는 내용을 부인할 수 없습니다.

몇 가지 면책 조항부터 시작해 보겠습니다. 가장 분명한 것은 우리가 많은 세부 사항을 얼마나 모호하게 하고 있는지입니다. 우리가 이 작업을 수행하는 데는 여러 가지 이유가 있습니다. 가장 큰 이유는 OEM과 퀄컴 엔지니어 사이에 주의하지 않으면 출처를 지적할 수 있는 몇 가지 질문을 촉진했기 때문입니다. 우리 출처의 익명성은 항상 최우선입니다.

둘째, 브리핑이 부족합니다. 지난 가을 하와이 컨퍼런스에서 퀄컴은 기본적으로 모든 기술적 질문을 회피했습니다. SemiAccurate와 다른 많은 업체들은 출시 전에 이러한 질문 등에 답하기 위한 심층적인 기술 브리핑이 있을 것이라고 약속했습니다. 오늘이 출시일입니다. 퀄컴은 거짓말을 했습니다. 적어도 그들은 우리에게 거짓말을 했습니다. 우리는 같은 대사를 받은 다른 사람들과 이야기할 기회가 없었지만 글쎄, 그들이 약속을 전혀 지켰는지 의심스럽습니다.

그런 다음 X Pro SoC**에 대한 실제 '브리핑'이 있었습니다. 그들을 한심하다고 부르는 것은 그들에게 마땅한 것보다 더 많은 것을 주는 것입니다. 데크는 11개의 슬라이드로 구성되었으며 그 중 3개는 빈/보풀이었으며 공개가 매우 부적절한 5개의 '벤치마크' 슬라이드, 2개의 인포그래픽 요약 슬라이드였습니다. 마지막은 지난 주에 우리가 말씀드린 '심층 기술' 통계가 포함된 아래 슬라이드였습니다.

** 아마도 X Plus를 나타내는 것으로 보입니다.

Snapdragon X Plus의 나머지 '공개'는 여러분이 기대하는 것과 정확히 일치하는 기능 목록이었습니다. 나머지는 3.8TFLOPS의 GPU 성능과 같은 깊은 '디테일'로 채워졌습니다. 그게 다입니다. 사양도 없고 능력도 없고 아무것도 없습니다. 정말 한심했습니다. 하지만 실제로는 AV1 인코딩 및 디코딩과 같은 명령문이 더 많거나 적습니다. 그러한 기술 브리핑에는 프레임 속도나 해상도와 같은 사소한 사항이 필요하지 않은 것 같습니다. 한심하다는 말이 무슨 뜻인지 아시나요? 그 10개의 코어는 어떻게 배열되나요? 42MB의 캐시는 어느 수준인가요? 최소한의 기본 사항에 대해 계속 설명하겠습니다. 아니면 이제 요점을 이해하셨나요?

SemiAccurate는 약속된 브리핑에서 퀄컴에게 벤치마크 치팅 행위에 대해 물어볼 계획이었지만 그들은 우리에게 거짓말을 했고 브리핑한 한심한 부분에서 우리를 제외시켰습니다. 우리는 솔직히 그들이 벤치마크 치팅을 하는 이유를 알고 싶었지만 그들이 나쁜 소식에 대해 평소처럼 반응하고 지난 번처럼 그런 일이 일어나지 않은 척할 것이라고 생각합니다. 그들이 실제로 설명을 한다면 우리는 언제나 그렇듯 이 글을 업데이트할 것입니다.

그렇다면 그들은 무엇을 속이고 있는 걸까요? 짧게 말하자면 그들이 언론에 보여주고 있는 숫자이며 그들이 주장하는 설정으로는 달성할 수 없다는 것입니다.

퀄컴은 OEM에게 다른 숫자 세트를 보여주고 있으며 이는 또한 그들이 주장하는 설정으로는 달성할 수 없습니다. 이 정보는 두 계층 1 OEM 및 기타 소스에서 제공됩니다. (퀄컴에 대한 참고 사항: 아니요, 실제로는 그 사람이 아니었습니다. 실제로 우리는 지난주 오래 전부터 알고 있었습니다.) SemiAccurate는 퀄컴이 과시한 일부 수치가 그들이 주장하는 설정으로는 재현될 수 없다고 100% 확신합니다. 이에 대한 자세한 내용은 잠시 후에 설명하겠습니다. 먼저 약간의 배경 지식을 살펴보겠습니다.

지난 가을 퀄컴이 스냅드래곤 X Elite SoC에 대해 브리핑했을 때 벤치마크와 주장에는 수치를 확인하기 위한 최소한의 공개가 부족했습니다. 우리는 퀄컴에 이 문제를 제기했고 그들은 문제를 해결하기 위해 큰 조치를 취했습니다. 그들은 올바른 이유로 옳은 일을 했습니다. 완벽하지는 않지만 크게 개선되었습니다. 잘하셨어요. 그런 다음 MWC에서는 심하게 퇴보했습니다. 이번에 그들은 Apple, AMD 및 Intel CPU에 비해 엄청난 우월성을 주장하는 5개의 벤치마크 슬라이드를 올렸지만 이러한 주장을 확인하는 데 필요한 최소한의 공개는 없었습니다. 왜 그럴까요?

그 이유는 테스트 대상이 무엇인지 알고 테스트를 다시 생성할 수 있다면 훨씬 더 낮은 숫자를 얻을 수 있기 때문입니다. 지난 가을 하와이에서는 벤치마크가 실행되고 있는 것으로 나타났으며, 우리 소스에 따르면 벤치마크는 상대적으로 깨끗했습니다. 이는 WART(Windows on ARM)의 비참한 상태를 고려하면 최종 단계와는 거리가 멀다는 뜻입니다. 실리콘은 최종 단계이거나 거의 최종 단계에 가까웠고, 소프트웨어는 그다지 많지 않았습니다. 즉 어떤 언론인도 아무것도 실행하거나 테스트하거나 설정을 확인할 수 없다는 것이 블랙박스로 제시되었습니다. 퀄컴은 출시 전에 브리핑, 테스트 등을 받을 수 있는 충분한 시간을 가질 것이라고 다시 한번 말했습니다. 이번에도 그들은 거짓말을 했습니다.

시간에 맞춰 조금 앞으로 나아가십시오. OEM이 초기 샘플을 받고 최종 디자인에 가까운 것을 만든 후 SemiAccurate는 성능이 좋지 않다는 보고를 받았습니다. 열악하다는 것은 퀄컴이 기술 문서와 프레젠테이션에서 말한 수치의 50% 미만을 의미합니다. 도움을 주기 위해 우리는 일부 퀄컴 엔지니어들에게 결과에 대해 설명하고 이 문제를 일으키는 실리콘에 알려진 문제가 있는지 물었습니다. 그들은 실리콘이 깨끗하다는 주장을 반복했는데, 이는 우리가 여전히 사실이라고 믿고 있지만 WART의 상태는 끔찍했습니다. 우리는 또한 이것이 사실이라고 믿습니다. 그들은 범인이 냉각되고 있고 ARM 네이티브인 올바른 벤치마크 빌드를 보유하고 있다는 사실을 OEM에 다시 전달해 줄 것을 요청했습니다. 둘 다 공정한 의견이므로 우리는 이를 다시 전달했습니다. 그런 다음 잠시 동안 침묵하십시오.

나중에 더 많은 스냅드래곤 X Elite 샘플과 더 많은 WART 개정판을 통해 OEM과 다른 Tier 1로부터 유사한 보고서를 받았습니다. 둘 다 퀄컴이 약속한 것과 전혀 근접하지 않은 수치를 보고했습니다. 왜일까요? 이번에는 50%를 넘었지만 성능을 설명하기 위해 '셀러론'이라는 용어를 사용했습니다. Apple의 Rosetta 2 x86 에뮬레이션보다 낫다는 주장은 아마도 출시된 하드웨어 및 소프트웨어에 대해서는 분명히 현실이 아닙니다. 실제로 실리콘 에뮬레이션이 더 나을 수도 있지만 다른 모든 것은 의심할 여지 없이 그렇지 않습니다.

심각한 엔지니어링 능력을 갖춘 두 개의 주요 OEM은 강력한 증거이지만 증거는 아닙니다. 여기서는 원하는 것보다 더 모호하게 처리할 것입니다. 죄송합니다. 얼마전 우리는 약속된 브리핑을 준비하면서 성과나 부진에 대해 파고들었습니다. 퀄컴의 심층 소식통은 벤치마크가 치트라고 말하고 어떻게 조작되었는지 설명했으며 퀄컴도 이를 잘 알고 있다고 말했습니다. 이 동일한 기술은 숫자가 사소하지 않은 테스트 세트에서 얻을 수 있는 것보다 훨씬 좋아 보인다는 것을 의미합니다. 아이러니하게도 퀄컴이 테스트 세부 사항을 적절하게 공개했다면 일부 다른 벤치마크는 제시된 것보다 훨씬 좋아 보일 수도 있었습니다. 일부를 잃기도 하고 일부를 잃기도 하지만 여기서는 승리할 수 없습니다.

우리는 이것이 일화라는 것을 알고 있지만 퀄컴은 누구도 이러한 부분에 대해 독립적인 테스트를 수행하도록 허용하지 않습니다. ARM 기반 Windows는 여전히 고통스러울 정도로 끔찍한 상태이거나 Microsoft 표준에 따르면 완벽하다고 합니다. 빌드에서 5월 20일 공식 발표가 몇 주 남았으며 노트북은 6월에 판매될 예정입니다. 제작 시간, 배송 및 기타 모든 사항을 고려하면 현재 우리가 보유하고 있는 소프트웨어와 하드웨어는 매장에서 보게 될 것과 매우 유사합니다. 이 이야기에서 다루고 있는 명백한 부분 외에는 독립 사이트에서 하드웨어를 테스트하지 못하도록 하는 데에는 변명의 여지가 없습니다. 퀄컴은 메시지를 제어하기를 원하며 수많은 소셜 미디어 영향력자를 준비하고 준비하고 있습니다. 그게 궁금해요. 아니면 아닙니다.

결국 문제는 간단합니다. 요구된 설정으로 달성할 수 없는 약속된 성능을 갖춘 제품이 있습니다. 주장은 독립적으로 검증될 수 없기 때문에 인플루언서들은 우리가 알고 있는 사실이 아닌 것에 근거하여 제품이 얼마나 '좋은지' 앵무새처럼 되물을 것입니다. 초기 홍보 공세와 물건이 판매될 때 사이에 부정 행위 가치는 '진실'이 될 것이며 몇 달이 지나면 질문하는 사람은 거의 없을 것입니다. Cynical은 이 메커니즘을 거의 설명하지 않습니다. 가장 흥미로운 부분은 OEM이 자신이 복제하거나 공개할 수 없다는 것을 알고 있는 번호를 앵무새처럼 되돌릴 것인지 여부입니다. 시간이 말해 줄 것입니다.

더 할 말이 무엇입니까? 퀄컴은 현재 약 6개월 동안 공개 및 테스트에 대한 약속을 해왔습니다. 그들은 그 모든 것을 깨뜨렸고 적어도 SemiAccurate에 이르기까지 반복적으로 거짓말을 했습니다. 이로 인해 하와이 공개 이전부터 우리가 수행해 온 조사(그 중 일부는 이 오래된 기사로 이어짐)를 통해 이러한 벤치마크 주장이 어떻게 부정 행위를 했는지에 집중할 수 있었습니다. 우리는 이 용어를 가볍게 사용하지는 않지만 퀄컴이 숫자를 통해 정확히 그렇게 하고 있다고 확신합니다. 더 나쁜 것은 수치가 오염된 이유를 알고 있으면서도 이를 OEM과 언론에 계속해서 제시한다는 것입니다. 퀄컴 스냅드래곤 X Elite/Plus SoC는 여전히 매우 우수한 실리콘으로 보이지만, 그 위의 모든 것은 정반대입니다.