Notebookcheck

PCMark for Android Benchmark

Praxisnaher Ansatz. Mit seiner ersten Version des PCMark for Android möchte Futuremark einiges besser machen als die übrige Benchmark-Konkurrenz. Alltägliche Aufgaben eines Smartphones sollen simuliert werden. Die Wertung soll dabei nicht auf einzelne Komponenten des Gerätes abzielen, sondern das Device in seiner Gesamtleistung beurteilen. Wir haben uns das mal genauer angeschaut.
Daniel Schmidt,
Jobs
Wir erweitern unser Test-Team und suchen Notebook-Enthusiasten für unsere Redaktion. Details
PCMark for Android

Technik

PCMark for Android
PCMark for Android
Der Work-Test gliedert sich in vier Untertests.
Der Work-Test gliedert sich in vier Untertests.

Der Benchmark PCMark for Android beansprucht für sich, anders zu sein als andere Benchmark-Tools, indem er nicht nur die Leistungsfähigkeit der einzelnen Komponenten ermittelt, sondern die verbaute Technik im Ganzen beurteilt. PCMark soll dabei eine Anwendung sein, welche die Leistung eines Gerätes zudem für bestimmte Szenarien bewertet. Während das Gaming-Segment mit dem 3DMark sehr gut bedient wird, ist im PCMark for Android 1.2 zunächst ein Test enthalten, welcher sich auf die Arbeitsleistung („Work performance“) des Systems fokussiert. Weitere Test-Szenarien sollen in kommenden Versionen folgen. Vermutlich werden auch diese an der PC-Version angelehnt sein, welche einen Work-, Home-, Storage- und Creative-Test beinhaltet.

Um den Benchmark überhaupt ausführen zu können wird ein Smartphone oder Tablet benötigt, welches als Betriebssystem Google Android 4.1 oder eine neuere Variante verwendet. Außerdem werden mindestens 450 MB freier Speicher, 1 GB Arbeitsspeicher, eine Panelauflösung von 800 x 480 Bildpunkten sowie die Unterstützung von OpenGL ES 2.0 empfohlen. Die ursprüngliche Dual-Core-Voraussetzung wurde wieder gestrichen. Futuremark weist darauf hin, dass auch schwächere Systeme möglicherweise den Benchmark ausführen können, sie dafür aber keine Gewähr übernehmen oder irgendwelchen Support leisten. Im Test mit einem Google Nexus S blieb der Benchmark während der Ausführung reproduzierbar mit einem weißen Bildschirm hängen.

Der Work-Test unterteilt sich in vier Teilabschnitte: das Surfen im Web, Video-Wiedergabe, Textverarbeitung und Bildbearbeitung. Im ersten Abschnitt wird schlicht die Zeit gemessen, welche benötigt wird, um Webseiten aufzurufen, nach Inhalten zu suchen und eine Seite neu zu laden, nachdem sie bearbeitet wurde. Während der Wiedergabe eines 1080p-Videos (1.920 x 1.080 Pixel, max. 5.4 Mbps, 30 fps, H.264) werden die Frameraten protokolliert. PCMark nutzt hierfür die Media Player API des Android-Systems. Es kann also auch zu unterschiedlichen Ergebnissen anhand der Betriebssystem-Version kommen. Mit dem in Android enthaltenen Text-Programm wird das Öffnen und Bearbeiten von Texten überprüft. Hierfür stehen zwei komprimierte Datenpakete zur Verfügung, welche zunächst vom Testgerät entpackt werden müssen. Das eine enthält ein 100 KB großes Textdokument und zwei jeweils 1,2 MB große Bilder und das andere beinhaltet ein 90 KB großes Dokument mit je einer 1,6 und 1,9 MB großen Bilddatei. Mehrere APIs werden im Foto-Test benutzt. In diesem wird eine 4 MB große JPEG-Datei (2.048 x 2.048 Pixel) geöffnet, bearbeitet und wieder gespeichert. Die Bearbeitung besteht dabei aus der Anwendung verschiedener Filter, welche auf jeweils andere APIs zurückgreifen.

Das Gesamtergebnis errechnet sich aus einem geometrischen Mittel der einzelnen Teilbereiche. Dabei gilt, je höher der Punktewert ist, desto besser ist das Ergebnis. Die genauen Formeln und detaillierte Abläufe können auf der Webseite von Futuremark eingesehen werden. Unsere Angaben beziehen sich auf die Version 1.2.1781 vom 28. Oktober 2014.

Testabschnitt: Surfen im Web
Testabschnitt: Surfen im Web
Testabschnitt: Video-Wiedergabe
Testabschnitt: Video-Wiedergabe
Testabschnitt: Textverarbeitung
Testabschnitt: Textverarbeitung
Testabschnitt: Bildbearbeitung
Testabschnitt: Bildbearbeitung

Neben dem Work-Test enthält der PCMark for Android auch einen Akku-Benchmark. Für diesen muss der Energiespeicher des Testgerätes mindestens zu 80 Prozent geladen sein, um ihn starten zu können. Danach führt die App den Work-Test solange in einer Schleife aus, bis der Akkustand unter 20 Prozent fällt. Dabei ist zu beachten, dass das Panel des Testgerätes auf eine Leuchtkraft von 200 cd/m² eingestellt ist, die Umgebungstemperatur zwischen 18 und 28 °C und die Luftfeuchtigkeit zwischen 10 und 80 Prozent liegt, um vergleichbare Testergebnisse zu erzielen. Das Ergebnis wird auf einen Wert geschätzt, welchen das Testgerät in diesem dieses Szenario durchhalten würde, wenn 95 Prozent der Akkuleistung zur Verfügung stehen würde. Außerdem werden in einem Diagramm neben dem Ladestand des Akkus auch die CPU-Temperatur und die Benchmark-Scores protokolliert.

Benchmark

Ergebnisse des LG G3
Ergebnisse des LG G3

Futuremark verspricht im Work-Benchmark des PCMark for Android Messabweichungen unter drei Prozent. Der Benchmark soll dreimal ausgeführt werden, um ein einheitliches Ergebnis erhalten zu können. Dabei soll zwischen den einzelnen Testläufen eine Pause von 15 Minuten gemacht werden, um durch ein mögliches Throttling des Gerätes, den Wert nicht zu stark zu beeinflussen. Dies trifft oft auf Highend-Devices zu. Zudem sollen alle Hintergrundanwendungen beendet und Apps geschlossen werden.

Wir haben mit dem LG G3 (Android 5.0 Lollipop) die Konsistenz des PCMark genauer untersucht und das Smartphone den Work-Benchmark unter den empfohlenen Bedingungen zehn Mal absolvieren lassen. Der Mittelwert der erhaltenen Werte ergibt 3.731 Punkte. Die höchste Messung erreichte 3.829 Zähler (plus 2,6 %) und die niedrigste 3.662 Punkte (minus 1,8 Prozent). Damit liegen alle Ergebnisse in dem von Futuremark versprochenen Toleranzbereich von drei Prozent

Auch die Vergleichbarkeit der verschiedenen Ergebnisse im Akkutest haben wir überprüft. Mit dem HTC Desire Eye haben wir zwei Durchläufe mit einem vollgeladenen Akku gestartet. Die ermittelten Werte des PCMark lagen nur vier Minuten auseinander. Auch hier liegen die Abweichungen damit deutlich unterhalt der 3-Prozent-Marke. Anders verhält es sich, wenn der Test bei unterschiedlichen Akkuständen ausgeführt wird. Immerhin behauptet Futuremark, dass der Akku nur zu 80 Prozent geladen sein muss, um den Test absolvieren zu können. Dies haben wir mit dem LG G3 ausprobiert. Mit vollem Akku erreichte das Smartphone eine Laufzeit von 315 Minuten. Mit einem Ladestand von 80 Prozent fiel der Wert auf 290 Minuten und ist damit rund acht Prozent geringer. Der errechnete Schätzwert erfüllt nicht die offerierten Qualitätskriterien von Futuremark. Außerdem wird die Masse der Vergleichswerte in der Datenbank des finnischen Unternehmens von privaten Anwendern kommen. Die wenigsten werden jedoch über ein entsprechendes Spektrometer verfügen, um die genormte Lichtstärke (200 cd/m²) für das jeweilige Gerät einstellen zu können. Somit ist die Vergleichbarkeit der Geräte innerhalb der öffentlichen Datenbank eher als schwammig zu bezeichnen.

LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 80 % Ladung.
LG G3: Akkutest mit 100 % Ladung.
LG G3: Akkutest mit 100 % Ladung.

Resultate

Die Ergebnisse des PCMark for Android der verschiedenen Geräte zeigt, dass nicht immer die Devices mit den stärksten SoC die besten Resultate erzielen. Außerdem wird am Beispiel des LG G3 gut sichtbar, dass auch die Betriebssystemversion eine entscheidende Rolle spielen kann. Denn das Smartphone erreichte mit Android 4.4 KitKat einen Wert von 3.308 Punkten, während es mit dem neuen Android 5.0 Lollipop auf durchschnittlich 3.731 Zähler klettert, was einem Leistungsgewinn von rund 13 Prozent entspricht.

Interessant ist auch, dass die Leistung des Nexus 9 mit dem K1-Denver-SoC rund fünf Prozent über dem des Nvidia Shield Tablets mit der 32-Bit-Variante liegt.

Die Resultate des Akkutests sind bei einer einheitlichen Handhabung sicherlich ebenfalls recht interessant, zumal hier anhand des Diagramms gut ein mögliches Throttling unter Alltagsbedingungen sichtbar gemacht werden kann. Einen Vergleich innerhalb der öffentlichen Datenbank halten wir jedoch für zu ungenau.

Gut sichtbar wurde dieses Dilemma, als wir den Akku-Test mit dem Sony Xperia M2 Aqua absolvierten. Der Wert wurde von Futuremark als zu gering eingestuft, obwohl die Einstellungen gemäß den Spezifikationen getätigt wurden.

In summa präsentiert Futuremark jedoch einen weiteren gelungenen Benchmark, der durch seine Genauigkeit im Work-Test besticht. Der Ausdauertest muss jedoch noch verbessert werden, dies betrifft vor allem die Schätzung der Laufzeiten.

Auch im Work-Test wird ein Diagramm erstellt.
Auch im Work-Test wird ein Diagramm erstellt.
Akkutest: LG G3 (Android 5.0)
Akkutest: LG G3 (Android 5.0)
Akkutest: HTC Desire Eye
Akkutest: HTC Desire Eye
Akkutest: Sony Xperia M2 Aqua
Akkutest: Sony Xperia M2 Aqua
PCMark for Android
     Work performance score
GeForce ULP K1 (Tegra K1 Kepler GPU), K1 (Denver), 32 GB eMMC Flash
Google Nexus 9
5841 (0min) Points ∼29%
GeForce ULP K1 (Tegra K1 Kepler GPU), K1, 32 GB eMMC Flash
NVIDIA Shield Tablet LTE P1761
5567 (5372min) Points ∼28%
HD Graphics (Bay Trail), Z3745, 16 GB eMMC Flash
Asus Transformer Pad TF103C-1B072A
4298 (4084min) Points ∼22%
Adreno 330, 800 MSM8974, 16 GB eMMC Flash
Acer Liquid S2
4241 (4108min) Points ∼21%
Adreno 420, 805 APQ8084, 32 GB eMMC Flash
Samsung Galaxy Note 4
3914 (0min) Points ∼20%
Adreno 330, 801 MSM8974AB, 16 GB eMMC Flash
HTC Desire EYE
3774 (0min) Points ∼19%
Adreno 330, 801 MSM8974AC, 16 GB eMMC Flash
LG G3
3731 (3662min) Points ∼19%
3308 (0min) Points ∼17%
SGX544MP2, Z2580, 16 GB iNAND Flash
Asus Fonepad Note FHD 6 ME560CG (K00G)
3678 (3520min) Points ∼18%
Mali-T628 MP6, 5420 Octa, 32 GB eMMC Flash
Samsung Galaxy Note Pro 12.2
3617 (0min) Points ∼18%
Mali-450 MP4, MT6592, 16 GB iNAND Flash
Zopo ZP1000
2991 (0min) Points ∼15%
GeForce ULP (Tegra 3), 3, 16 GB SSD
Asus Eee Pad Transformer Prime TF201
2937 (2928min) Points ∼15%
Adreno 320, S4 Pro APQ8064A, 16 GB SSD
Google Nexus 4
2735 (2729min) Points ∼14%
Adreno 305, 400 MSM8926, 8 GB eMMC Flash
Sony Xperia M2 Aqua
2620 (0min) Points ∼13%
Mali-450 MP4, Kirin 910, 16 GB eMMC Flash
Huawei MediaPad X1
2019 (0min) Points ∼10%
SGX544, MT8125, 16 GB eMMC Flash
Asus Memo Pad HD 7
1873 (1847min) Points ∼9%

Übersicht

Einschränkungen

(Hersteller, Modell, Serie, Codename), Suchworte mit   verknüpfen.

alle, keine

Benchmarks / Tests einschränken:

Permalink:

PosModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision score
Oukitel WP2Mediatek MT6750TARM Mali-T860 MP2
33199
Huawei P40 Pro
Test Huawei P40 Pro - Smartphone mit starker Kamera
Kameratest Huawei P40 Pro vs. P40 vs. P40 Lite: Huawei Smartphones im Vergleich
Kameravergleich Huawei P40 Pro vs P30 Pro: Der Google Verzicht lohnt sich nicht! [UPDATE]
Kameratest: Samsung Galaxy S20 Ultra vs. Huawei P40 Pro vs. OnePlus 8 Pro vs. Xiaomi Mi 10 Pro – Low-Light-Debakel bei Samsung
HiSilicon Kirin 990 5GARM Mali-G76 MP16
14352
11341
29206
9437
Huawei Mate 30 ProHiSilicon Kirin 990ARM Mali-G76 MP16
13947
10322
29072
9182
Asus ROG Phone 3 Strix EditionQualcomm Snapdragon 865Qualcomm Adreno 650
19989
15299
28841
9958
realme X50 ProQualcomm Snapdragon 865Qualcomm Adreno 650
19711
13202
27182
11637
Xiaomi Redmi 10X 5GMediaTek Dimensity 820ARM Mali-G57 MP5
16302
11263
25698
10459
Asus Chromebook Flip C434TA-AI0264Intel Core m3-8100YIntel UHD Graphics 615
13598
9760
25599
Xiaomi Mi 10 Pro
Test Xiaomi Mi 10 Pro Smartphone: Xiaomi ist in der Smartphone-Elite angekommen
Kameravergleich Xiaomi Mi 10 Pro vs. Mi 9: Klarer kann ein Ergebnis nicht ausfallen?
Kameratest: Samsung Galaxy S20 Ultra vs. Huawei P40 Pro vs. OnePlus 8 Pro vs. Xiaomi Mi 10 Pro – Low-Light-Debakel bei Samsung
Test Xiaomi Mi 10 Pro: GCam Port vs Stock-Kamera – Unterschiede teilweise gravierend
Qualcomm Snapdragon 865Qualcomm Adreno 650
13142
10952
24546
Oppo Find X2Qualcomm Snapdragon 865Qualcomm Adreno 650
13980
11523
24097
9010
Oppo Find X2 ProQualcomm Snapdragon 865Qualcomm Adreno 650
13360
11387
23976
Xiaomi Poco F2 ProQualcomm Snapdragon 865Qualcomm Adreno 650
12129
10347
23336
Xiaomi Black Shark 3 ProQualcomm Snapdragon 865Qualcomm Adreno 650
11839
10945
23158
Lenovo Chromebook S340-14T 81V30002GEIntel Celeron N4000Intel UHD Graphics 600
10205
7604
22786
Samsung Galaxy Note10+Samsung Exynos 9825ARM Mali-G76 MP12
11813
9027
22707
Huawei P40 Lite 5GHiSilicon Kirin 820ARM Mali-G57 MP6
13099
9527
22692
8006
Nubia RedMagic 5GQualcomm Snapdragon 865Qualcomm Adreno 650
13954
12879
21645
Samsung Galaxy Tab S7 PlusQualcomm Snapdragon 865+ (Plus)Qualcomm Adreno 650
13629
12466
20703
7915
Asus Zenfone 7 Pro ZS671KSQualcomm Snapdragon 865+ (Plus)Qualcomm Adreno 650
19824
13999
HP Chromebook x360 14 G1Intel Core i5-8350UIntel UHD Graphics 620
19602
11958
15717
9887
PosModellProcessorGraphics CardPCMark for Android Work performance scorePCMark for Android Work 2.0 performance scorePCMark for Android Work 2.0 battery lifePCMark for Android Storage scorePCMark for Android Computer Vision score
Samsung Galaxy Tab S7Qualcomm Snapdragon 865+ (Plus)Qualcomm Adreno 650
14982
12603
19601
7692
Xiaomi Mi 10 Lite 5GQualcomm Snapdragon 765GQualcomm Adreno 620
8730
7786
18932
Samsung Galaxy S10 LiteQualcomm Snapdragon 855Qualcomm Adreno 640
11718
10093
18491
Samsung Galaxy Z FlipQualcomm Snapdragon 855+ / 855 PlusQualcomm Adreno 640
12665
10261
18305
Samsung Galaxy Note20 UltraSamsung Exynos 990ARM Mali-G77 MP11
14551
11784
17707
Motorola Moto G 5G PlusQualcomm Snapdragon 765Qualcomm Adreno 620
9914
8756
17658