삼성의 갤럭시 S4가 처음 스마트폰 시장에 진출 할 즈음하여 벤치마크 점수가 유출되었었고, 기존의 폰들보다 상당히 우월한 점수들을 기록했었습니다. 그리고 실제로 출시된 갤럭시 S4의 벤치마크 점수는 타기종에 비해 높은 점수를 기록하기도 했었지요.
하지만, 며칠전 AnandTech에서 갤럭시 S4의 벤치마크 점수에 의문을 제기했습니다.
특정 벤치마크 어플에서 CPU와 GPU의 성능을 부풀리도록(boost) 설정된 코드들이 있고, 결과도 의심스럽다는 것이었습니다. 논리적인고 타당한 근거로 의문을 제시하였고, 삼성은 이에 대해 해명을 내놓았습니다. 하지만, 납득되지 않을 만한 내용들이었고, AnandTech는 다시한번 해명글에 대한 반박글을 내놓으면서 삼성의 벤치마크 점수 조작의혹을 가시화하고 있습니다.
글을 정리하는 지금까지는 삼성의 명확한 해명과 대응이 알려지지 않은 상태여서 진실이 더욱 궁금해지고 있습니다. 어떤 과정들과 내용들로 삼성의 의혹이 진행되고 있는지 이해하기 쉽게 정리를 한번 해보겠습니다.
의혹을 단순화하여 이해하고, 단계별로 상세화해보자.
벤치마크 점수 의혹에 대한 전체적인 흐름을 간략화하여 정리하면 위와 같습니다.
1. AnandTech에서는 실제 코드와 몇몇 증거자료들로 벤치마크 점수 조작 의혹을 제기하였고, 상당히 타당성이 있어보입니다.
2. 삼성은 오히려 명확하지 않고 대략적인 내용으로 해명하고 있으며, 삼성은 의도적으로 측정 환경을 조작하지 않았다고 말하고 있습니다.
3. 삼성이 제시한 해명 내용들을 실제 실험으로 확인하였고, 해명의 내용이 어느 것 맞지 않다고 반박하고 있습니다.
4. 삼성의 공식적인 대응은 아직 발표되지 않았습니다.
쉽게 이해가 되시나요?
삼성은 AnandTech에서 1차적으로 제시된 문제에 대해서 어물쩡 대답하고 넘어가려다가 오히려 일을 키우고 말았습니다. AnandTech는 2번의 실증에 의한 자료 제시와 명확한 대답을 요구하는데도 삼성은 제대로 납득시켜주지 못하고 오히려 오해를 불러일으키고 있는 것이지요. 그래서 앞으로 삼성의 대응이 더욱 중요한 시점이라고 생각할 수 있습니다.
그렇다면, 어떤 의혹들이 제기되었고, 삼성의 해명이 적절하지 못한 이유와 AnandTech의 반박 내용, 그리고 앞으로 삼성의 대응에 대한 중요성을 좀 더 깊게 이야기해보도록 하겠습니다.
1. AnandTech는 어떤 이유로 벤치마크 점수 조작 의혹을 제기했나?
EPIC사의 게임인 Citadel은 상당히 높은 리소스를 요하기 때문에 종종 테스트용으로 활용되기도 합니다. 왼쪽 사진은 Citadel을 실제로 구동했을 때의 갤럭시 S4의 GPU인 PowerVR SGX 544MP3가 480MHz로 구동되고 있는 모습입니다. 하지만, 벤치마크 어플인 AnTuTu에서는 532MHz로 구동되는 것을 확인할 수 있습니다. 최고 리소스를 뽑아쓰는 게임에서는 낮은 속도를 보이지만, 벤치마크 어플에선 최고 속도를 보이는 것이죠.
GLBenchmark 어플에서는 버전에 따라 GPU의의 측정값이 다르게 나타나기도 했습니다.
예전버전인 2.5.1에서는 532MHz가 나오지만, 최신 버전인 2.7.0에서는 480MHz가 나오고 있는 것이죠.
CPU에서도 비슷한 모습으로 엑시노스 5410을 탑재한 갤럭시 S4는 Linpack 어플에서 최고 클럭인 1.6GHz를 보여주고 있으며, 스냅드래곤 600을 탑재한 모델의 경우도 역시나 최고 클럭인 1.9GHz를 보여주고 있는 것이죠.
물론, 벤치마크 어플들이 폰들의 리소스에 부하도 걸어가면서 테스트를 하기 때문에 최고 성능이 발휘될 수 있다고 생각해볼 수도 있습니다. 하지만, AnandTech에서 제시한 코드들에서 또다른 의혹을 제기해볼 수 밖에 없습니다. 유명 벤치마크 어플들 이름들이 모두 거론되어 있으며, 그 아래에는 doBoostXXX 의 의심스러운 코드들이 있기 때문이죠.
여기까지 보면 뭔가 감이 잡히시나요?
특정 어플에서 특정한 값을 만들어내도록 조작되었을 가능성을 의혹으로 제기하고 있는 것입니다.
Citadel의 경우는 오히려 최고 성능인 532MHz 내주다가 쓰로틀링이 걸려 떨어진다면 이해가 될 듯 합니다. 하지만, 480MHz에 고정되어 있는 값도 쉽게 이해가 되지 않습니다. 이 부분은 버전에 따라 최고클럭이 달라진 표를 통해서도 유추할 수 있습니다. 기존 버전에서는 532MHz의 최고 성능이 나오는데, 최신 버전에서는 Citadel이 기록한 480MHz 클럭을 기록한 것입니다. 딱! 480MHz입니다.
여기서 AnandTech가 제기한 코드로 확장해서 종합을 해보면 이런 가설을 유추해볼 수 있게 됩니다.
'갤럭시 S4는 480MHz로 고정되어 있으나, 특정 어플(코드에 기록된) 어플에서는 부스트가 걸려 실제 최고치인 532MHz를 기록하는 것은 아닌가?'
그렇습니다. AandTech는 위의 증거들로 '갤럭시 S4는 실사용에서는 낮은 클럭이 고정되어 있지만, 일부 벤치마크를 위해서는 부스트를 걸어 최고치인 듯 보이게 만든다.' 라는 의혹을 제기하고 있는 것입니다.
2. 삼성의 해명, 이해도 납득도 되지 않는다. 자승자박인가?
AnandTech의 의혹이 제기되고 난 후, 삼성은 위와 같은 해명을 하게 됩니다.
일단, 대충 읽으면 뭔가 말이 맞아보입니다. 특히, 2번 항목에서 Citadel과 같은 풀스크린 모드를 장기간 사용을 해야하는 게임에 대해서 480MHz까지 구동된다는 것을 반박하는 것에는 성공한 것처럼 보입니다. 하지만, 위의 해명하는 말들에서 스스로 코드를 심어놓았다는 근거를 내비치는 실수를 범하고 맙니다.
바로 3번의 문장이 실수의 발단이 됩니다. "일반적으로 Full screen mode로 구동되는 앱과 일부 벤치마킹툴은 제품의 고사양을 요하는 것으로 분류되어 최고의 성능을 발휘할 수 있는 환경에서 동작됩니다." 이게 무슨 말인가요? 벤치마킹툴은 별도로 분류되어 최고의 성능을 발휘할 수 있도록 동작한다니요? 일단 벤치마크 어플을 별도로 구분한다는 것 자체가 조작을 한다는 소리처럼 들립니다.
왜냐구요? 1번 항목과 3번 항목이 상충하기 때문입니다. 별도로 구분되어진 풀스크린 모드의 어플들은 별도로 최고의 성능을 낼 수 있도록 해두었다고 하면서 갤럭시 S4는 일반적인 환경에서 최고 성능인 533MHz까지 구동된다니요? 이해가 되지 않습니다. 그렇다면 삼성이 말하는 "일반 환경"은 어떤 환경인지 명확히 해주어야 이해가 될 듯 합니다. 그리고, 일반적인 환경에서 533MHz까지 구동되는데 왜 굳이 풀스크린 모드의 특정 앱들을 구분해서 최고 성능을 발휘하게 설정해야 하는 것일까요? 그냥 일반 환경에서 벤치마킹을 해도 533MHz가 나와야 되는 것 아닌가요? "일반 환경"이 벤치마킹툴이 되지 않고서는 성립되지 않는 표현들입니다.
그리고 다시 1번과 3번의 말을 상기하며 AnandTech가 제기한 벤치마크 어플 버전별 차이와 연관시켜서 생각해보겠습니다. 일반적인 상황에서 533MHz로 구동된다면 버전에 상관없이 533Mhz가 나와야 합니다. 물론, '벤치마킹툴이 문제가 있다!'라고 말할 수도 있겠지만, 결과로 나온 수치값이 480MHz로 고정되어 있는게 의심을 증폭시킬 뿐입니다. 아시다시피 벤치마크 어플들은 "풀스크린 모드"로 동작하며, 위의 버전 둘다 풀스크린으로 동작하기 때문입니다. 이를 유추해보면 "일부 벤치마킹툴"에 GLBenchmark 2.7.0은 포함되지 않아서 533MHz의 최고 속도를 내지 못하는 것일 뿐입니다.
AnandTech가 제기한 의혹의 크기는 상당한데, 이에 응수하는 해명은 너무나 소박해보입니다. 논리적이고 증거가 보여지는 팩트들을 가지고 이야기를 하는데, 삼성은 자신의 말에서도 어패가 발생하는 말들로 궁색한 변명을 해대고 있는 것으로밖에 느껴지지 않습니다. 최소한 "일반 환경"에 대한 정의의와 함께 "일반 환경"에서 533MHz로 구동되는 증거들을 팩트로 제시했어야 합니다.
3. 삼성 너 정말 이럴래? 말이 되는 소리로 해명을 해!
삼성의 해명글이 발표되자, AnandTech는 이에 대해 반박하는 내용과 함께 증거들을 제시했습니다.
처음 보이는 코드들은 삼성의 말처럼 삼성의 기본어플(S브라우저, 갤러리, 카메라, 비디오 플레이어)등에서 하드웨어 부스트를 사용하는 것을 보여주는 것으로 AnandTech가 제시했습니다. 여기서 다시한번 삼성의 해명글에서 3번 항목을 떠올려봐야 합니다. 벤치마킹툴 이외에도 위의 기본어플들은 최고성능인 533MHz로 구동되어야 하겠지요?
하지만, AnandTech이 안투투를 돌려서 측정한 값을 보면 또다시 이해가 되지 않습니다. 갤럭시 S4에 탑재된 기본어플들을 풀스크린 모드로 동작시키면 533MHz가 나와야 하는데 절반 수준인 266MHz가 나오고 있습니다. 카메라 어플은 532MHz가 나오지만, 지속적이지 않았고 과도하게 필터들을 적용하며 부하를 걸었을 때만 간헐적으로 보여진다고 합니다.
AnandTech는 Citadel만이 독특할 수 있다고 판단했는지 Modern Combat 4라는 게임으로 바꾸어 테스트를 해봅니다. 480MHz가 나오는군요. 이것은 풀스크린 모드 장기간 게임에 해당해서 삼성의 해명이 맞다고 생각해줍시다.
근데, 왜 벤치마크 어플인 안투투에서 최고의 성능인 532MHz가 나오는 것일까요?
삼성은 스스로가 이야기한 기본 어플에 대해서도 해명을 해야할 것입니다. 물론, 발열 제한(쓰로틀링) 때문이라고 생각할수도 있겠지만, 그렇다면 해명글에서 533MHz로 작동하지 않는다고 말을 했어야할 것입니다. 아니면 상황에 따라 변경될 수 있다는 단서라도 붙였어야 하는 것입니다.
마지막으로 AnandTech가 제시한 시간별 클럭 변화 그래프입니다.
532MHz를 기록한 카메라 어플이 간헐적으로 최고성능인 532MHz를 기록하는 반면, 벤치마크 어플들은 최고 속도를 지속적으로 유지하는 것을 볼 수 있습니다.
삼성의 해명글에 대해서도 어패가 있음을 측정결과로 분명히 반박하고 있습니다.
이정도 정황이 되다보니 많은 사람들이 삼성의 벤치마크 점수 조작에 대해서 의혹을 증폭시켜가고 있습니다.
벤치마크는 참고 점수일 뿐이다? 하지만 조작은 거짓이고 기만이다.
벤치마크는 참고 점수일 뿐입니다.
그리고 실제로 구매가 완료되고 실사용되는 시점에서는 크게 좌우되지 않는 참고 자료일지도 모릅니다. 하지만, 이런 벤치마크 점수는 구매시점에 있는 소비자들에게는 나름의 지표로 작용하고 각 기기별 성능을 판단할 수 있는 중요한 자료가 되는 것입니다.
삼성의 벤치마크 조작 의혹이 문제가 되는 것은 출시전부터 유출되었고, 출시 이후에도 높은 점수를 보여줌으로써 소비자들에게 '성능 좋은 폰'으로 포지셔닝을 해왔고 어필해왔기 때문입니다. 각종 보도자료나 글들에서 상위의 벤치마크 점수를 노출시킴으로써 갤럭시 S4의 실제 성능과는 다른 성능을 자랑하고 있었던 것이지요. 이것은 분명히 언론 플레이의 일종이고 소비자를 기만하는 행위라고 밖에 생각할 수 없습니다.
삼성, 이번엔 AnandTech는 물론, 소비자를 납득시킬 수 있는 해명이 필요하다!
만약 이번 갤럭시 S4의 조작 의혹이 사실로 밝혀진다면, 아니 지금도 충분히 갤럭시 S4만이 아니라 다른 삼성 제품들에 대한 불신이 커질 수 밖에 없습니다. 다른 제품들까지 혹시 있을 지 모르는 코드들을 찾아보고 싶어지는 심정입니다.
삼성은 1차 해명처럼 느슨한 대응으로 이번 의혹을 넘기려해서는 절대 안될 것 같습니다.
사실, 처음 해명에서 일부 벤치마크 어플에서는 최고 성능을 발휘하도록 했다는 부분을 다시한번 떠올리며, 위기관리(Crisis Management) 능력을 발휘하여 솔직하게 인정하는 것이 오히려 빠를 수 있을 수 있다는 것을 이야기하고 싶습니다. 명확하지 않고, 이해와 납득이 되지 않는 말들로 더이상 소비자를 기만하지 않기를 바랍니다.
문득, 갤럭시 S4 출시 직후 발열 문제가 이슈화 되었을 때, 긴급 패치가 되었던 것이 480MHz라는 수치와 266MHz라는 수치들이 오버랩되어 스쳐가는군요.