Notebookcheck Logo

PCMark for Android Benchmark

Praxisnaher Ansatz. Mit seiner ersten Version des PCMark for Android möchte Futuremark einiges besser machen als die übrige Benchmark-Konkurrenz. Alltägliche Aufgaben eines Smartphones sollen simuliert werden. Die Wertung soll dabei nicht auf einzelne Komponenten des Gerätes abzielen, sondern das Device in seiner Gesamtleistung beurteilen. Wir haben uns das mal genauer angeschaut.
Android Tablet Smartphone Touchscreen
PCMark for Android

Technik

PCMark for Android
PCMark for Android
Der Work-Test gliedert sich in vier Untertests.
Der Work-Test gliedert sich in vier Untertests.

Der Benchmark PCMark for Android beansprucht für sich, anders zu sein als andere Benchmark-Tools, indem er nicht nur die Leistungsfähigkeit der einzelnen Komponenten ermittelt, sondern die verbaute Technik im Ganzen beurteilt. PCMark soll dabei eine Anwendung sein, welche die Leistung eines Gerätes zudem für bestimmte Szenarien bewertet. Während das Gaming-Segment mit dem 3DMark sehr gut bedient wird, ist im PCMark for Android 1.2 zunächst ein Test enthalten, welcher sich auf die Arbeitsleistung („Work performance“) des Systems fokussiert. Weitere Test-Szenarien sollen in kommenden Versionen folgen. Vermutlich werden auch diese an der PC-Version angelehnt sein, welche einen Work-, Home-, Storage- und Creative-Test beinhaltet.

Um den Benchmark überhaupt ausführen zu können wird ein Smartphone oder Tablet benötigt, welches als Betriebssystem Google Android 4.1 oder eine neuere Variante verwendet. Außerdem werden mindestens 450 MB freier Speicher, 1 GB Arbeitsspeicher, eine Panelauflösung von 800 x 480 Bildpunkten sowie die Unterstützung von OpenGL ES 2.0 empfohlen. Die ursprüngliche Dual-Core-Voraussetzung wurde wieder gestrichen. Futuremark weist darauf hin, dass auch schwächere Systeme möglicherweise den Benchmark ausführen können, sie dafür aber keine Gewähr übernehmen oder irgendwelchen Support leisten. Im Test mit einem Google Nexus S blieb der Benchmark während der Ausführung reproduzierbar mit einem weißen Bildschirm hängen.

Der Work-Test unterteilt sich in vier Teilabschnitte: das Surfen im Web, Video-Wiedergabe, Textverarbeitung und Bildbearbeitung. Im ersten Abschnitt wird schlicht die Zeit gemessen, welche benötigt wird, um Webseiten aufzurufen, nach Inhalten zu suchen und eine Seite neu zu laden, nachdem sie bearbeitet wurde. Während der Wiedergabe eines 1080p-Videos (1.920 x 1.080 Pixel, max. 5.4 Mbps, 30 fps, H.264) werden die Frameraten protokolliert. PCMark nutzt hierfür die Media Player API des Android-Systems. Es kann also auch zu unterschiedlichen Ergebnissen anhand der Betriebssystem-Version kommen. Mit dem in Android enthaltenen Text-Programm wird das Öffnen und Bearbeiten von Texten überprüft. Hierfür stehen zwei komprimierte Datenpakete zur Verfügung, welche zunächst vom Testgerät entpackt werden müssen. Das eine enthält ein 100 KB großes Textdokument und zwei jeweils 1,2 MB große Bilder und das andere beinhaltet ein 90 KB großes Dokument mit je einer 1,6 und 1,9 MB großen Bilddatei. Mehrere APIs werden im Foto-Test benutzt. In diesem wird eine 4 MB große JPEG-Datei (2.048 x 2.048 Pixel) geöffnet, bearbeitet und wieder gespeichert. Die Bearbeitung besteht dabei aus der Anwendung verschiedener Filter, welche auf jeweils andere APIs zurückgreifen.

Das Gesamtergebnis errechnet sich aus einem geometrischen Mittel der einzelnen Teilbereiche. Dabei gilt, je höher der Punktewert ist, desto besser ist das Ergebnis. Die genauen Formeln und detaillierte Abläufe können auf der Webseite von Futuremark eingesehen werden. Unsere Angaben beziehen sich auf die Version 1.2.1781 vom 28. Oktober 2014.

Testabschnitt: Surfen im Web
Testabschnitt: Surfen im Web
Testabschnitt: Video-Wiedergabe
Testabschnitt: Video-Wiedergabe
Testabschnitt: Textverarbeitung
Testabschnitt: Textverarbeitung
Testabschnitt: Bildbearbeitung
Testabschnitt: Bildbearbeitung

Neben dem Work-Test enthält der PCMark for Android auch einen Akku-Benchmark. Für diesen muss der Energiespeicher des Testgerätes mindestens zu 80 Prozent geladen sein, um ihn starten zu können. Danach führt die App den Work-Test solange in einer Schleife aus, bis der Akkustand unter 20 Prozent fällt. Dabei ist zu beachten, dass das Panel des Testgerätes auf eine Leuchtkraft von 200 cd/m² eingestellt ist, die Umgebungstemperatur zwischen 18 und 28 °C und die Luftfeuchtigkeit zwischen 10 und 80 Prozent liegt, um vergleichbare Testergebnisse zu erzielen. Das Ergebnis wird auf einen Wert geschätzt, welchen das Testgerät in diesem dieses Szenario durchhalten würde, wenn 95 Prozent der Akkuleistung zur Verfügung stehen würde. Außerdem werden in einem Diagramm neben dem Ladestand des Akkus auch die CPU-Temperatur und die Benchmark-Scores protokolliert.

Benchmark

Ergebnisse des LG G3
Ergebnisse des LG G3

Futuremark verspricht im Work-Benchmark des PCMark for Android Messabweichungen unter drei Prozent. Der Benchmark soll dreimal ausgeführt werden, um ein einheitliches Ergebnis erhalten zu können. Dabei soll zwischen den einzelnen Testläufen eine Pause von 15 Minuten gemacht werden, um durch ein mögliches Throttling des Gerätes, den Wert nicht zu stark zu beeinflussen. Dies trifft oft auf Highend-Devices zu. Zudem sollen alle Hintergrundanwendungen beendet und Apps geschlossen werden.

Wir haben mit dem LG G3 (Android 5.0 Lollipop) die Konsistenz des PCMark genauer untersucht und das Smartphone den Work-Benchmark unter den empfohlenen Bedingungen zehn Mal absolvieren lassen. Der Mittelwert der erhaltenen Werte ergibt 3.731 Punkte. Die höchste Messung erreichte 3.829 Zähler (plus 2,6 %) und die niedrigste 3.662 Punkte (minus 1,8 Prozent). Damit liegen alle Ergebnisse in dem von Futuremark versprochenen Toleranzbereich von drei Prozent

Auch die Vergleichbarkeit der verschiedenen Ergebnisse im Akkutest haben wir überprüft. Mit dem HTC Desire Eye haben wir zwei Durchläufe mit einem vollgeladenen Akku gestartet. Die ermittelten Werte des PCMark lagen nur vier Minuten auseinander. Auch hier liegen die Abweichungen damit deutlich unterhalt der 3-Prozent-Marke. Anders verhält es sich, wenn der Test bei unterschiedlichen Akkuständen ausgeführt wird. Immerhin behauptet Futuremark, dass der Akku nur zu 80 Prozent geladen sein muss, um den Test absolvieren zu können. Dies haben wir mit dem LG G3 ausprobiert. Mit vollem Akku erreichte das Smartphone eine Laufzeit von 315 Minuten. Mit einem Ladestand von 80 Prozent fiel der Wert auf 290 Minuten und ist damit rund acht Prozent geringer. Der errechnete Schätzwert erfüllt nicht die offerierten Qualitätskriterien von Futuremark. Außerdem wird die Masse der Vergleichswerte in der Datenbank des finnischen Unternehmens von privaten Anwendern kommen. Die wenigsten werden jedoch über ein entsprechendes Spektrometer verfügen, um die genormte Lichtstärke (200 cd/m²) für das jeweilige Gerät einstellen zu können. Somit ist die Vergleichbarkeit der Geräte innerhalb der öffentlichen Datenbank eher als schwammig zu bezeichnen.

LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 100 % Ladung.
LG G3: Akkutest mit 100 % Ladung.

Resultate

Die Ergebnisse des PCMark for Android der verschiedenen Geräte zeigt, dass nicht immer die Devices mit den stärksten SoC die besten Resultate erzielen. Außerdem wird am Beispiel des LG G3 gut sichtbar, dass auch die Betriebssystemversion eine entscheidende Rolle spielen kann. Denn das Smartphone erreichte mit Android 4.4 KitKat einen Wert von 3.308 Punkten, während es mit dem neuen Android 5.0 Lollipop auf durchschnittlich 3.731 Zähler klettert, was einem Leistungsgewinn von rund 13 Prozent entspricht.

Interessant ist auch, dass die Leistung des Nexus 9 mit dem K1-Denver-SoC rund fünf Prozent über dem des Nvidia Shield Tablets mit der 32-Bit-Variante liegt.

Die Resultate des Akkutests sind bei einer einheitlichen Handhabung sicherlich ebenfalls recht interessant, zumal hier anhand des Diagramms gut ein mögliches Throttling unter Alltagsbedingungen sichtbar gemacht werden kann. Einen Vergleich innerhalb der öffentlichen Datenbank halten wir jedoch für zu ungenau.

Gut sichtbar wurde dieses Dilemma, als wir den Akku-Test mit dem Sony Xperia M2 Aqua absolvierten. Der Wert wurde von Futuremark als zu gering eingestuft, obwohl die Einstellungen gemäß den Spezifikationen getätigt wurden.

In summa präsentiert Futuremark jedoch einen weiteren gelungenen Benchmark, der durch seine Genauigkeit im Work-Test besticht. Der Ausdauertest muss jedoch noch verbessert werden, dies betrifft vor allem die Schätzung der Laufzeiten.

Auch im Work-Test wird ein Diagramm erstellt.
Auch im Work-Test wird ein Diagramm erstellt.
Akkutest: LG G3 (Android 5.0)
Akkutest: LG G3 (Android 5.0)
Akkutest: HTC Desire Eye
Akkutest: HTC Desire Eye
Akkutest: Sony Xperia M2 Aqua
Akkutest: Sony Xperia M2 Aqua
PCMark for Android
     Work performance score
GeForce ULP K1 (Tegra K1 Kepler GPU), K1 (Denver), 32 GB eMMC Flash
Google Nexus 9
5841 (0min) Points ∼29%
GeForce ULP K1 (Tegra K1 Kepler GPU), K1, 32 GB eMMC Flash
NVIDIA Shield Tablet LTE P1761
5567 (5372min) Points ∼28%
HD Graphics (Bay Trail), Z3745, 16 GB eMMC Flash
Asus Transformer Pad TF103C-1B072A
4298 (4084min) Points ∼22%
Adreno 330, 800 MSM8974, 16 GB eMMC Flash
Acer Liquid S2
4241 (4108min) Points ∼21%
Adreno 420, 805 APQ8084, 32 GB eMMC Flash
Samsung Galaxy Note 4
3914 (0min) Points ∼20%
Adreno 330, 801 MSM8974AB, 16 GB eMMC Flash
HTC Desire EYE
3774 (0min) Points ∼19%
Adreno 330, 801 MSM8974AC, 16 GB eMMC Flash
LG G3
3731 (3662min) Points ∼19%
3308 (0min) Points ∼17%
SGX544MP2, Z2580, 16 GB iNAND Flash
Asus Fonepad Note FHD 6 ME560CG (K00G)
3678 (3520min) Points ∼18%
Mali-T628 MP6, 5420 Octa, 32 GB eMMC Flash
Samsung Galaxy Note Pro 12.2
3617 (0min) Points ∼18%
Mali-450 MP4, MT6592, 16 GB iNAND Flash
Zopo ZP1000
2991 (0min) Points ∼15%
GeForce ULP (Tegra 3), 3, 16 GB SSD
Asus Eee Pad Transformer Prime TF201
2937 (2928min) Points ∼15%
Adreno 320, S4 Pro APQ8064A, 16 GB SSD
Google Nexus 4
2735 (2729min) Points ∼14%
Adreno 305, 400 MSM8926, 8 GB eMMC Flash
Sony Xperia M2 Aqua
2620 (0min) Points ∼13%
Mali-450 MP4, Kirin 910, 16 GB eMMC Flash
Huawei MediaPad X1
2019 (0min) Points ∼10%
SGX544, MT8125, 16 GB eMMC Flash
Asus Memo Pad HD 7
1873 (1847min) Points ∼9%

Übersicht

Einschränkungen

(Hersteller, Modell, Serie, Codename), Suchworte mit   verknüpfen.

alle, keine

Benchmarks / Tests einschränken:

Permalink:

PosModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision scorePCMark for Android Work 3.0PCMark for Android Work 3.0 battery lifePCMark for Android Storage 2.0
Leagoo Alfa 1ARM Mali-400 MP
2488
Nubia Red Magic 3S
10718
4732
Acer Enduro T1 ET108-11A A9001
10485
7601
Asus Chromebook Flip CM1AMD 3015CeAMD Radeon RX Vega 3
9775
24872
Google Pixel 6Google TensorARM Mali-G78 MP20
10409
17485
Google Pixel 6 ProGoogle TensorARM Mali-G78 MP20
11605
Google Pixel 6aGoogle TensorARM Mali-G78 MP20
9717
27732
Google Pixel 7 ProGoogle Tensor G2ARM Mali-G710 MP7
11397
23482
Google Pixel 7Google Tensor G2ARM Mali-G710 MP7
10530
23085
Huawei P8 liteHiSilicon Kirin 620ARM Mali-450 MP4
3717
Huawei P9 LiteHiSilicon Kirin 650ARM Mali-T830 MP2
5339
Honor 5CHiSilicon Kirin 650ARM Mali-T830 MP2
5120
Huawei P8 lite 2017HiSilicon Kirin 655ARM Mali-T830 MP2
4419
Honor 6XHiSilicon Kirin 655ARM Mali-T830 MP2
4383
Huawei P10 LiteHiSilicon Kirin 658ARM Mali-T830 MP2
5794
4464
Huawei Nova 2HiSilicon Kirin 659ARM Mali-T830 MP2
6252
4822
Huawei Mate 10 LiteHiSilicon Kirin 659ARM Mali-T830 MP2
6024
4847
7349
2637
Huawei Honor 7XHiSilicon Kirin 659ARM Mali-T830 MP2
6213
4859
6565
2633
Honor 9 LiteHiSilicon Kirin 659ARM Mali-T830 MP2
5887
4911
8244
2413
PosModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision scorePCMark for Android Work 3.0PCMark for Android Work 3.0 battery lifePCMark for Android Storage 2.0
Huawei P smartHiSilicon Kirin 659ARM Mali-T830 MP2
5817
4874
5970
2819
Huawei P20 LiteHiSilicon Kirin 659ARM Mali-T830 MP2
5704
4793
Huawei MediaPad T5 10HiSilicon Kirin 659ARM Mali-T830 MP2
5798
4615
Huawei MediaPad M5 liteHiSilicon Kirin 659ARM Mali-T830 MP2
4719
Huawei Mate 20 LiteHiSilicon Kirin 710ARM Mali-G51 MP4
8525
10592
5252
Honor 8XHiSilicon Kirin 710ARM Mali-G51 MP4
8939
7141
11501
5286
Huawei P Smart 2019HiSilicon Kirin 710ARM Mali-G51 MP4
7078
5951
Huawei P Smart PlusHiSilicon Kirin 710ARM Mali-G51 MP4
9017
7027
Honor 10 LiteHiSilicon Kirin 710ARM Mali-G51 MP4
7160
5803
Huawei P30 LiteHiSilicon Kirin 710ARM Mali-G51 MP4
8125
6483
3783
Huawei P Smart Plus 2019HiSilicon Kirin 710ARM Mali-G51 MP4
7004
5855
Huawei P Smart Z 2019HiSilicon Kirin 710ARM Mali-G51 MP4
9424
6929
5006
Honor 20 LiteHiSilicon Kirin 710ARM Mali-G51 MP4
7388
5829
Honor 9XHiSilicon Kirin 710ARM Mali-G51 MP4
9509
7018
5187
Huawei P30 Lite New EditionHiSilicon Kirin 710ARM Mali-G51 MP4
7593
6042
Huawei P smart ProHiSilicon Kirin 710ARM Mali-G51 MP4
9854
6993
5156
Honor 9X LiteHiSilicon Kirin 710ARM Mali-G51 MP4
9322
6887
Huawei P Smart 2021HiSilicon Kirin 710AARM Mali-G51 MP4
8211
7789
6401
3345
Honor 10X LiteHiSilicon Kirin 710AARM Mali-G51 MP4
7991
6287
Huawei MatePad T10SHiSilicon Kirin 710AARM Mali-G51 MP4
6622
7061
PosModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision scorePCMark for Android Work 3.0PCMark for Android Work 3.0 battery lifePCMark for Android Storage 2.0
Huawei P40 Lite
Test Huawei P40 Lite Smartphone: Auch ohne Google-Dienste gut
Kameratest Huawei P40 Pro vs. P40 vs. P40 Lite: Huawei Smartphones im Vergleich		HiSilicon Kirin 810ARM Mali-G52 MP6
12070
9164
Honor 9X ProHiSilicon Kirin 810ARM Mali-G52 MP6
9824
7541
4294
Huawei MatePad 10.4HiSilicon Kirin 810ARM Mali-G52 MP6
9189
7695
Huawei P40 Lite 5GHiSilicon Kirin 820ARM Mali-G57 MP6
13099
9527
22692
8006
Huawei MediaPad X1HiSilicon Kirin 910ARM Mali-450 MP4
2019
Honor 6HiSilicon Kirin 920ARM Mali-T628 MP4
2832
Honor 6 PlusHiSilicon Kirin 925ARM Mali-T628 MP4
2859
Huawei P8
Erster Eindruck: Huawei P8 im Test
Test Huawei P8 Smartphone		HiSilicon Kirin 930ARM Mali-T628 MP4
4479
Huawei MediaPad M2HiSilicon Kirin 930ARM Mali-T628 MP4
4358
Huawei MediaPad M2 10 inchHiSilicon Kirin 930ARM Mali-T628 MP4
4458
Honor 7HiSilicon Kirin 935ARM Mali-T628 MP4
4625
Huawei Mate SHiSilicon Kirin 935ARM Mali-T628 MP4
4872
3902
Huawei Mate 8HiSilicon Kirin 950ARM Mali-T880 MP4
7344
5220
Honor 8HiSilicon Kirin 950ARM Mali-T880 MP4
6735
Huawei MediaPad M3 8.4 inchHiSilicon Kirin 950ARM Mali-T880 MP4
5204
Huawei P9HiSilicon Kirin 955ARM Mali-T880 MP4
7058
5226
Huawei P9 PlusHiSilicon Kirin 955ARM Mali-T880 MP4
7159
Huawei Mate 9HiSilicon Kirin 960ARM Mali-G71 MP8
7403
6299
677
Huawei P10HiSilicon Kirin 960ARM Mali-G71 MP8
7341
6206