Notebookcheck

PCMark for Android Benchmark

Praxisnaher Ansatz. Mit seiner ersten Version des PCMark for Android möchte Futuremark einiges besser machen als die übrige Benchmark-Konkurrenz. Alltägliche Aufgaben eines Smartphones sollen simuliert werden. Die Wertung soll dabei nicht auf einzelne Komponenten des Gerätes abzielen, sondern das Device in seiner Gesamtleistung beurteilen. Wir haben uns das mal genauer angeschaut.

PCMark for Android

Technik

PCMark for Android
PCMark for Android
Der Work-Test gliedert sich in vier Untertests.
Der Work-Test gliedert sich in vier Untertests.

Der Benchmark PCMark for Android beansprucht für sich, anders zu sein als andere Benchmark-Tools, indem er nicht nur die Leistungsfähigkeit der einzelnen Komponenten ermittelt, sondern die verbaute Technik im Ganzen beurteilt. PCMark soll dabei eine Anwendung sein, welche die Leistung eines Gerätes zudem für bestimmte Szenarien bewertet. Während das Gaming-Segment mit dem 3DMark sehr gut bedient wird, ist im PCMark for Android 1.2 zunächst ein Test enthalten, welcher sich auf die Arbeitsleistung („Work performance“) des Systems fokussiert. Weitere Test-Szenarien sollen in kommenden Versionen folgen. Vermutlich werden auch diese an der PC-Version angelehnt sein, welche einen Work-, Home-, Storage- und Creative-Test beinhaltet.

Um den Benchmark überhaupt ausführen zu können wird ein Smartphone oder Tablet benötigt, welches als Betriebssystem Google Android 4.1 oder eine neuere Variante verwendet. Außerdem werden mindestens 450 MB freier Speicher, 1 GB Arbeitsspeicher, eine Panelauflösung von 800 x 480 Bildpunkten sowie die Unterstützung von OpenGL ES 2.0 empfohlen. Die ursprüngliche Dual-Core-Voraussetzung wurde wieder gestrichen. Futuremark weist darauf hin, dass auch schwächere Systeme möglicherweise den Benchmark ausführen können, sie dafür aber keine Gewähr übernehmen oder irgendwelchen Support leisten. Im Test mit einem Google Nexus S blieb der Benchmark während der Ausführung reproduzierbar mit einem weißen Bildschirm hängen.

Der Work-Test unterteilt sich in vier Teilabschnitte: das Surfen im Web, Video-Wiedergabe, Textverarbeitung und Bildbearbeitung. Im ersten Abschnitt wird schlicht die Zeit gemessen, welche benötigt wird, um Webseiten aufzurufen, nach Inhalten zu suchen und eine Seite neu zu laden, nachdem sie bearbeitet wurde. Während der Wiedergabe eines 1080p-Videos (1.920 x 1.080 Pixel, max. 5.4 Mbps, 30 fps, H.264) werden die Frameraten protokolliert. PCMark nutzt hierfür die Media Player API des Android-Systems. Es kann also auch zu unterschiedlichen Ergebnissen anhand der Betriebssystem-Version kommen. Mit dem in Android enthaltenen Text-Programm wird das Öffnen und Bearbeiten von Texten überprüft. Hierfür stehen zwei komprimierte Datenpakete zur Verfügung, welche zunächst vom Testgerät entpackt werden müssen. Das eine enthält ein 100 KB großes Textdokument und zwei jeweils 1,2 MB große Bilder und das andere beinhaltet ein 90 KB großes Dokument mit je einer 1,6 und 1,9 MB großen Bilddatei. Mehrere APIs werden im Foto-Test benutzt. In diesem wird eine 4 MB große JPEG-Datei (2.048 x 2.048 Pixel) geöffnet, bearbeitet und wieder gespeichert. Die Bearbeitung besteht dabei aus der Anwendung verschiedener Filter, welche auf jeweils andere APIs zurückgreifen.

Das Gesamtergebnis errechnet sich aus einem geometrischen Mittel der einzelnen Teilbereiche. Dabei gilt, je höher der Punktewert ist, desto besser ist das Ergebnis. Die genauen Formeln und detaillierte Abläufe können auf der Webseite von Futuremark eingesehen werden. Unsere Angaben beziehen sich auf die Version 1.2.1781 vom 28. Oktober 2014.

Testabschnitt: Surfen im Web
Testabschnitt: Surfen im Web
Testabschnitt: Video-Wiedergabe
Testabschnitt: Video-Wiedergabe
Testabschnitt: Textverarbeitung
Testabschnitt: Textverarbeitung
Testabschnitt: Bildbearbeitung
Testabschnitt: Bildbearbeitung

Neben dem Work-Test enthält der PCMark for Android auch einen Akku-Benchmark. Für diesen muss der Energiespeicher des Testgerätes mindestens zu 80 Prozent geladen sein, um ihn starten zu können. Danach führt die App den Work-Test solange in einer Schleife aus, bis der Akkustand unter 20 Prozent fällt. Dabei ist zu beachten, dass das Panel des Testgerätes auf eine Leuchtkraft von 200 cd/m² eingestellt ist, die Umgebungstemperatur zwischen 18 und 28 °C und die Luftfeuchtigkeit zwischen 10 und 80 Prozent liegt, um vergleichbare Testergebnisse zu erzielen. Das Ergebnis wird auf einen Wert geschätzt, welchen das Testgerät in diesem dieses Szenario durchhalten würde, wenn 95 Prozent der Akkuleistung zur Verfügung stehen würde. Außerdem werden in einem Diagramm neben dem Ladestand des Akkus auch die CPU-Temperatur und die Benchmark-Scores protokolliert.

Benchmark

Ergebnisse des LG G3
Ergebnisse des LG G3

Futuremark verspricht im Work-Benchmark des PCMark for Android Messabweichungen unter drei Prozent. Der Benchmark soll dreimal ausgeführt werden, um ein einheitliches Ergebnis erhalten zu können. Dabei soll zwischen den einzelnen Testläufen eine Pause von 15 Minuten gemacht werden, um durch ein mögliches Throttling des Gerätes, den Wert nicht zu stark zu beeinflussen. Dies trifft oft auf Highend-Devices zu. Zudem sollen alle Hintergrundanwendungen beendet und Apps geschlossen werden.

Wir haben mit dem LG G3 (Android 5.0 Lollipop) die Konsistenz des PCMark genauer untersucht und das Smartphone den Work-Benchmark unter den empfohlenen Bedingungen zehn Mal absolvieren lassen. Der Mittelwert der erhaltenen Werte ergibt 3.731 Punkte. Die höchste Messung erreichte 3.829 Zähler (plus 2,6 %) und die niedrigste 3.662 Punkte (minus 1,8 Prozent). Damit liegen alle Ergebnisse in dem von Futuremark versprochenen Toleranzbereich von drei Prozent

Auch die Vergleichbarkeit der verschiedenen Ergebnisse im Akkutest haben wir überprüft. Mit dem HTC Desire Eye haben wir zwei Durchläufe mit einem vollgeladenen Akku gestartet. Die ermittelten Werte des PCMark lagen nur vier Minuten auseinander. Auch hier liegen die Abweichungen damit deutlich unterhalt der 3-Prozent-Marke. Anders verhält es sich, wenn der Test bei unterschiedlichen Akkuständen ausgeführt wird. Immerhin behauptet Futuremark, dass der Akku nur zu 80 Prozent geladen sein muss, um den Test absolvieren zu können. Dies haben wir mit dem LG G3 ausprobiert. Mit vollem Akku erreichte das Smartphone eine Laufzeit von 315 Minuten. Mit einem Ladestand von 80 Prozent fiel der Wert auf 290 Minuten und ist damit rund acht Prozent geringer. Der errechnete Schätzwert erfüllt nicht die offerierten Qualitätskriterien von Futuremark. Außerdem wird die Masse der Vergleichswerte in der Datenbank des finnischen Unternehmens von privaten Anwendern kommen. Die wenigsten werden jedoch über ein entsprechendes Spektrometer verfügen, um die genormte Lichtstärke (200 cd/m²) für das jeweilige Gerät einstellen zu können. Somit ist die Vergleichbarkeit der Geräte innerhalb der öffentlichen Datenbank eher als schwammig zu bezeichnen.

LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 100 % Ladung.
LG G3: Akkutest mit 100 % Ladung.

Resultate

Die Ergebnisse des PCMark for Android der verschiedenen Geräte zeigt, dass nicht immer die Devices mit den stärksten SoC die besten Resultate erzielen. Außerdem wird am Beispiel des LG G3 gut sichtbar, dass auch die Betriebssystemversion eine entscheidende Rolle spielen kann. Denn das Smartphone erreichte mit Android 4.4 KitKat einen Wert von 3.308 Punkten, während es mit dem neuen Android 5.0 Lollipop auf durchschnittlich 3.731 Zähler klettert, was einem Leistungsgewinn von rund 13 Prozent entspricht.

Interessant ist auch, dass die Leistung des Nexus 9 mit dem K1-Denver-SoC rund fünf Prozent über dem des Nvidia Shield Tablets mit der 32-Bit-Variante liegt.

Die Resultate des Akkutests sind bei einer einheitlichen Handhabung sicherlich ebenfalls recht interessant, zumal hier anhand des Diagramms gut ein mögliches Throttling unter Alltagsbedingungen sichtbar gemacht werden kann. Einen Vergleich innerhalb der öffentlichen Datenbank halten wir jedoch für zu ungenau.

Gut sichtbar wurde dieses Dilemma, als wir den Akku-Test mit dem Sony Xperia M2 Aqua absolvierten. Der Wert wurde von Futuremark als zu gering eingestuft, obwohl die Einstellungen gemäß den Spezifikationen getätigt wurden.

In summa präsentiert Futuremark jedoch einen weiteren gelungenen Benchmark, der durch seine Genauigkeit im Work-Test besticht. Der Ausdauertest muss jedoch noch verbessert werden, dies betrifft vor allem die Schätzung der Laufzeiten.

Auch im Work-Test wird ein Diagramm erstellt.
Auch im Work-Test wird ein Diagramm erstellt.
Akkutest: LG G3 (Android 5.0)
Akkutest: LG G3 (Android 5.0)
Akkutest: HTC Desire Eye
Akkutest: HTC Desire Eye
Akkutest: Sony Xperia M2 Aqua
Akkutest: Sony Xperia M2 Aqua
PCMark for Android
     Work performance score
GeForce ULP K1 (Tegra K1 Kepler GPU), K1 (Denver), 32 GB eMMC Flash
Google Nexus 9
5841 Points ∼30%
GeForce ULP K1 (Tegra K1 Kepler GPU), K1, 32 GB eMMC Flash
NVIDIA Shield Tablet LTE P1761
5567 (min: 5372) Points ∼28%
HD Graphics (Bay Trail), Z3745, 16 GB eMMC Flash
Asus Transformer Pad TF103C-1B072A
4298 (min: 4084) Points ∼22%
Adreno 330, 800 MSM8974, 16 GB eMMC Flash
Acer Liquid S2
4241 (min: 4108) Points ∼22%
Adreno 420, 805 APQ8084, 32 GB eMMC Flash
Samsung Galaxy Note 4
3914 Points ∼20%
Adreno 330, 801 MSM8974AB, 16 GB eMMC Flash
HTC Desire EYE
3774 Points ∼19%
Adreno 330, 801 MSM8974AC, 16 GB eMMC Flash
LG G3
3731 (min: 3662) Points ∼19%
3308 Points ∼17%
SGX544MP2, Z2580, 16 GB iNAND Flash
Asus Fonepad Note FHD 6 ME560CG (K00G)
3678 (min: 3520) Points ∼19%
Mali-T628 MP6, 5420 Octa, 32 GB eMMC Flash
Samsung Galaxy Note Pro 12.2
3617 Points ∼18%
Mali-450 MP4, MT6592, 16 GB iNAND Flash
Zopo ZP1000
2991 Points ∼15%
GeForce ULP (Tegra 3), 3, 16 GB SSD
Asus Eee Pad Transformer Prime TF201
2937 (min: 2928) Points ∼15%
Adreno 320, S4 Pro APQ8064A, 16 GB SSD
Google Nexus 4
2735 (min: 2729) Points ∼14%
Adreno 305, 400 MSM8926, 8 GB eMMC Flash
Sony Xperia M2 Aqua
2620 Points ∼13%
Mali-450 MP4, Kirin 910, 16 GB eMMC Flash
Huawei MediaPad X1
2019 Points ∼10%
SGX544, MT8125, 16 GB eMMC Flash
Asus Memo Pad HD 7
1873 (min: 1847) Points ∼10%

Übersicht

Einschränkungen

(Hersteller, Modell, Serie, Codename), Suchworte mit   verknüpfen.

alle, keine

Benchmarks / Tests einschränken:

Permalink:

</
      ModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision score
Oukitel WP2Mediatek MT6750TARM Mali-T860 MP2
33199
HP Chromebook x360 14 G1Intel Core i5-8350UIntel UHD Graphics 620
19602
11958
15717
9887
Oppo Find XQualcomm Snapdragon 845Qualcomm Adreno 630
13211
9868
15566
8207
Google PixelbookIntel Core i5-7Y57Intel HD Graphics 615
10309
15296
6046
Asus ROG PhoneQualcomm Snapdragon 845Qualcomm Adreno 630
9707
9430
15273
5353
Huawei Mate 10 ProHiSilicon Kirin 970ARM Mali-G72 MP12
8439
6932
14687
Huawei P20 ProHiSilicon Kirin 970ARM Mali-G72 MP12
8115
6982
14670
Honor 10HiSilicon Kirin 970ARM Mali-G72 MP12
8530
7046
14120
5015
Huawei Mate 20HiSilicon Kirin 980ARM Mali-G76 MP10
13531
9326
Huawei P30 ProHiSilicon Kirin 980ARM Mali-G76 MP10
12996
9135
7784
Honor View 20HiSilicon Kirin 980ARM Mali-G76 MP10
12778
9243
7794
Huawei Mate 20 ProHiSilicon Kirin 980ARM Mali-G76 MP10
12535
9225
7905
Google Pixel 3Qualcomm Snapdragon 845Qualcomm Adreno 630
11744
9063
Honor 8XHiSilicon Kirin 710ARM Mali-G51 MP4
8939
7141
11501
5286
Sony Xperia XZ3Qualcomm Snapdragon 845Qualcomm Adreno 630
11474
Motorola Moto G7 PowerQualcomm Snapdragon 632Qualcomm Adreno 506
7498
6076
11238
Google Pixel 3 XLQualcomm Snapdragon 845Qualcomm Adreno 630
11180
9029
Xiaomi Mi 9Qualcomm Snapdragon 855Qualcomm Adreno 640
10985
9035
5347
OnePlus 6T McLaren EditionQualcomm Snapdragon 845Qualcomm Adreno 630
10984
8689
      ModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision score
Huawei Mate 20 LiteHiSilicon Kirin 710ARM Mali-G51 MP4
8525
10592
5252
OnePlus 6TQualcomm Snapdragon 845Qualcomm Adreno 630
10590
8487
Asus ZenFone 5Z ZS620KLQualcomm Snapdragon 845Qualcomm Adreno 630
10271n2
8397.5n2
8153n2
5323n2
LG V40 ThinQQualcomm Snapdragon 845Qualcomm Adreno 630
10361
8141
5163
5178
HTC U12 PlusQualcomm Snapdragon 845Qualcomm Adreno 630
10264
8601
5483
Elephone A5Mediatek Helio P60ARM Mali-G72 MP3
10191
7434
Xiaomi Mi Mix 3Qualcomm Snapdragon 845Qualcomm Adreno 630
10052
8326
8561
5328
Samsung Galaxy S10eSamsung Exynos 9820ARM Mali-G76 MP12
10008
7966
Razer Phone 2Qualcomm Snapdragon 845Qualcomm Adreno 630
10006
8701
5717
5158
Vivo Nex Dual DisplayQualcomm Snapdragon 845Qualcomm Adreno 630
9988
8211
5157
Nokia 9 PureViewQualcomm Snapdragon 845Qualcomm Adreno 630
9917
8415
Umidigi Z2 ProMediatek Helio P60ARM Mali-G72 MP3
9893
7384
6256
5556
Huawei Mate 20 XHiSilicon Kirin 980ARM Mali-G76 MP10
9867
7772
Sony Xperia XZ2 PremiumQualcomm Snapdragon 845Qualcomm Adreno 630
9858
8178
5297
ZTE Axon 9 ProQualcomm Snapdragon 845Qualcomm Adreno 630
9795
8099
Samsung Galaxy S10 PlusSamsung Exynos 9820ARM Mali-G76 MP12
9793
7812
8407
5075
Samsung Galaxy S10Samsung Exynos 9820ARM Mali-G76 MP12
9750
7595
8830
5013
Honor Magic 2HiSilicon Kirin 980ARM Mali-G76 MP10
9728
7567
4919
Xiaomi Mi 8Qualcomm Snapdragon 845Qualcomm Adreno 630
9689
7983
Xiaomi Pocophone F1Qualcomm Snapdragon 845Qualcomm Adreno 630
9664
8101
5235
5225