1. Nimm jetzt an unserem Uhans - 3. ADVENT - Gewinnspiel teil - Alle Informationen findest Du hier!

Benchmark verschiedener ROMs für das Defy

Dieses Thema im Forum "Custom-ROMs für Motorola Defy" wurde erstellt von Defier, 05.08.2012.

  1. Defier, 05.08.2012 #1
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Motivation

    Immer wieder ist hier im Forum über die verschiedenen Custom-ROMs für das Defy zu lesen, dieses oder jenes ROM würde weicher, geschmeidiger, schneller, langsamer, ruckeliger, flüssiger, stockender oder sonstwie anders als bei einem anderen ROM laufen. Um das Verhalten etwas objektivierbarer zu machen habe ich versucht die tatsächliche Geschwindigkeit zu messen, und zwar unter reproduzierbaren Bedingungen. Wer hierzu mit eigenen Ergebnissen in anderen Konfigurationen o.ä. beteiligen möchte - sehr gerne.

    Ich möchte allerdings darauf hinweisen, dass ein sorgfältiges Durchführen dieser Benchmarks nicht wenig Arbeit ist. Ich habe für die ersten Versuche hier mit 5 ROMs insgesamt gut 4 Stunden aufgewendet.

    Testumgebung

    Hardware: Motorola Defy MB525 mit grüner Linse (keine Modifikationen der Taktfrquenz o.ä. bis auf das, was das ROM macht; Ausnahme: Die auf CM-Niveau übertaktete Stock-ROM)
    Benchmark: PassMark PerformanceTest Mobile, Version 1.0.3000

    Vorgehensweise

    1. Akku auf über 80% laden, Gerät vom Kabel trennen und ins Recovery booten
    2. Fullwipe
    2. das zu testende ROM flashen (sonst nichts, keine gapps o.ä.)
    4. das zu testende ROM booten
    5. Alle Verbindungen abschalten (Flugmodus, WLAN aus, Bluetooth aus, GPS aus)
    6. Installation der Benchmark-Anwendung über einen Dateimanager von der SD-Karte (OI File Manager)
    7. Reboot
    8. 60 Sekunden warten
    9. Benchmark starten, warten (nichts anfassen während der Benchmark läuft)
    10. Resultate notieren

    Zusammenfassung der Ergebnisse

    Code:
    Kernel | ROM                    | System | CPU | Disk | Memory | 2D    | 3D
    
    Froyo    StockROM-34.177.3        735      1119  1403   1068     845     260
    Froyo    StockROM-34.177.3@1Ghz   806      1407  1348   1194     1043    261
    
    Froyo    CM7.1-stable             802      1392  1494   1233     967     262
    Froyo    CM7.2-stable             802      1389  1537   1222     924     260
    
    Froyo    CM7-NIGHTLY-120727m      808      1365  1499   1239     931     267
    Froyo    CM7-NIGHTLY-120809m      803      1400  1369   1238     942     265
    Froyo    CM7-NIGHTLY-120907m      810      1394  1467   1240     934     266
    Froyo    CM7-NIGHTLY-121025m      811      1387  1487   1235     918     268
    Froyo    CM7-NIGHTLY-121107m      811      1392  1363   1237     919     273
    Froyo    CM7-NIGHTLY-130413m      809      1386  1369   1246     915     270
    
    Froyo    CM7-NIGHTLY-130301o      804      1393  1387   1239     940     265
    
    Froyo    CM9-NIGHTLY-120714e      816      1395  1403   1185     853     279
    Froyo?   CM9-NIGHTLY-121116e      822      1410  1464   1193     871     282
    
    Froyo    CM10-NIGHTLY-120804q     621      1327  1368   1157     790     170
    Froyo    CM10-NIGHTLY-120808q     633      1322  1386   1150     815     175
    Froyo    CM10-NIGHTLY-120810q     630      1323  1419   1168     803     173
    Froyo    CM10-NIGHTLY-120817q     754      1290  1453   1149     810     252
    Froyo    CM10-NIGHTLY-120822q     754      1315  1412   1145     795     255
    Froyo    CM10-NIGHTLY-120825q     752      1327  1345   1159     803     249
    Froyo    CM10-NIGHTLY-120903q     622      1332  1440   1159     792     170
    Froyo    CM10-NIGHTLY-120905q     612      1306  1305   1147     788     168
    Froyo    CM10-NIGHTLY-120912q     621      1331  1317   1170     839     169
    Custom   CM10-NIGHTLY-121018q4    797      1298  1555   1153     839     278
    Custom   CM10-NIGHTLY-121102q     806      1314  1533   1159     864     282
    Custom   CM10-NIGHTLY-121102q1    804      1310  1441   1165     860     281
    Custom   CM10-NIGHTLY-121109q     805      1318  1525   1159     843     282
    Custom   CM10-NIGHTLY-121118q     784      1302  1253   1176     831     280
    Custom   CM10-NIGHTLY-130110q     637       633  1477   1180     835     281
    
    Froyo    CM10-NIGHTLY-120806e     753      1323  1465   1167     789     247
    Froyo    CM10-NIGHTLY-120812e     754      1318  1418   1163     780     250
    Froyo    CM10-NIGHTLY-120904e     620      1323  1378   1153     783     171
    
    Custom   CM10.1-NIGHTLY-130526q   641       655  1766   1174     841     271
    
    Froyo    JellyBeanCannon 2.0      668      1332  8328   1181     823     173
    Froyo    JellyBeanCannon 3.0      748      1277  1410   1130     795     252
    Froyo    JellyBeanCannon 5.0      614      1308  1342   1150     800     168
    Custom   JellyBeanCannon 6.2.1    806      1303  1488   1158     850     283
    
    Froyo    MIUI-Pikachu-2.4.20b     869      1380  9133   1236     966     264
    
    Froyo    CM7-WhiteRabbit-1.6      858      1402  8803   1222     965     258
    Froyo    CM7-WhiteRabbit-1.8      834      1393  1473   1232     938     283
    
    Froyo    AOKP-JB-20120901         627      1317  1376   1168     800     174
    Custom   Moto IceGun 2.0.2        803      1302  1605   1160     846     281
    
    


    Probleme und Hinweise
    • Bei den Nightly Builds stehen die Suffixes jeweils für die Maintainer: Maniac103 (m), Quarx2k (q), Epsylon (e) und Nightly-Official(o)
    • Eine Zahl hinter dem Suffix steht für die Nummer des Updates, sofern ein aktualisierter Build getestet wurde.
    • Während der Benchmarks konnte kein merklicher Anstieg der Gehäusetemperatur festgestellt werden, zwischen den Durchläufen gab es für das Gerät auch immer eine Verschnaufpause von mindestens 30 Sekunden.
    • Es gibt kleinere Schwankungen zwischen den einzelnen Durchläufen mit einem ROM. Ich habe jeden Benchmark daher 5 Mal pro ROM ausgeführt und für jeden der Werte den Median genommen. Zwischen den Durchläufen wurde kein Reboot durchgeführt. (Auf Wunsch kann ich auch die genauen Messwerte hier bereitstellen, leider ist der Upload von Dateien im OpenDocument-Format nicht gestattet.)



    Beobachtungen und Kommentare (Stand: 05.08.2012)
    • Wie erwartet gab es keine nennenswerten Schwankungen bei der gemessenen Rechenleistung der CPU.
    • Die Werte für die Disk-Performance würde ich mit Skepsis genießen - sie scheinen sich zwsichen den Durchläufen stets zu verbessern. Ich vermute da wird ein Caching-Mechanismus aktiv und verfälscht so die Werte, daher ist auch der Median wenig aussagekräftig. Das war allerdings der einzige Sub-Benchmark, bei dem ein solcher Lerneffekt aufgetreten ist.
    • Die neueren ROMs der CM7-Serie sind in nahezu jeder Disziplin mit Abstand schneller als CM9 und CM10, allen voran in der 2D-Performance. Einzig bei der 3D-Performance kann CM9 einen minimalen Vorteil verbuchen.
    • CM7.2 scheint sich bei der 2D-Performance gegenüber CM7.1 verschlechtert zu haben, auch die aktuelle Nightly konnte diesen Rückstand noch nicht aufholen.
    • CM10 kann derzeit nicht an die Performance von CM9 oder gar CM7 herankommen, speziell nicht im 3D-Bereich. Die subjektiv "weichere" Performance von JB ist eher auf "Project Butter" zurückzufahren und weniger auf Verbesserungen in der ROM. Wir können aber trotzdem optimistisch sein, dass CM10 bald das Niveau von CM9 erreichen wird.
     
    Zuletzt bearbeitet: 30.05.2013
    bitboy0, Troya, ttarzan und 11 andere haben sich bedankt.
  2. Android94, 05.08.2012 #2
    Android94

    Android94 Android-Lexikon

    Beiträge:
    1,325
    Erhaltene Danke:
    458
    Registriert seit:
    22.12.2011
    Genialer Thread :D
    Ich verstehe nicht, warum CM10 in der 3D Performance so wenig Punkte hat? Bei mir laufen jegliche Spiele besser als unter CM9.
    So einen starken Placebo Effekt kann ich mir kaum vorstellen :D
     
    Zuletzt bearbeitet: 05.08.2012
  3. Defier, 05.08.2012 #3
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Dafür sehe ich ein paar mögliche Erklärungen:
    - der hier verwendete 3D-Benchmark ist nicht repräsentativ für die 3D-Performance der Spiele, die du spielst.
    - es ist ein Problem, das nur mit der von mir gemessenen Nightly vom 4.8 auftritt und die Werte in früheren Nightlies wären besser (welches CM10 verwendest du denn?)
    - du hattest CM9 und CM10 mit unterschiedlichen Einstellungen (Taktung, Spannung usw.) der CPU bzw. GPU verwendet.
    - auf deinem CM9 laufen im Hintergrund mehr / andere Dienste, die in deinem aktuellen CM10 nicht (mehr) laufen.
    - du verwendest einen anderen Kernel.
     
  4. Dominik+++, 05.08.2012 #4
    Dominik+++

    Dominik+++ Android-Lexikon

    Beiträge:
    1,044
    Erhaltene Danke:
    735
    Registriert seit:
    17.06.2012
    Habe paar andere werte bekommen :)
    system 770
    cpu tests 1603
    memory tests 1217
    2d graphics tests 1010
    3d graphics tests 260
     
  5. Defier, 05.08.2012 #5
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Interessant!

    Hast du auch 5 Durchläufe gemacht und dann für jeden Wert jeweils den Median genommen und sonst auch nichts verändert am Testaufbau? Oder hast du es in deiner "Alltagsinstallation" durchgeführt inklusive der Übertaktung auf 1,25GHz wie in deiner Signatur vermerkt? (Von den Werten her würde ich eher auf letzteres schließen.)
     
  6. Dominik+++, 05.08.2012 #6
    Dominik+++

    Dominik+++ Android-Lexikon

    Beiträge:
    1,044
    Erhaltene Danke:
    735
    Registriert seit:
    17.06.2012
    ja...hab es auf 1,25 Ghz werde morgen alles mit den standart einstellungen testen.
    MFG
     
  7. Defier, 09.08.2012 #7
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Update: Habe die letzten beiden Nightlies vom 6.8. (Epsylon) und 8.8. (Quarx2k) hinzugenommen. Quarx2k konnte leicht zulegen. Die ROM von Epsylon hat eine fast durchweg bessere Performance als die ROMs von Quarx2k, speziell bei der 3D-Leistung - nur im 2D-Bereich ist sie minimal langsamer als die von Quarx2k.

    Insgesamt ist noch keine der CM10-ROMs auf dem Niveau von CM7 - sie erreichen noch nicht einmal die Performance der mit 800Mhz laufenden Stock-ROM. Aber in ein oder zwei Monaten sieht die Welt bestimmt ganz anders aus.;)
     
  8. Kerm1t, 12.08.2012 #8
    Kerm1t

    Kerm1t Erfahrener Benutzer

    Beiträge:
    154
    Erhaltene Danke:
    7
    Registriert seit:
    21.03.2011
    Danke für den Benchmarkvergleich! Werde jetzt also bei CM7 bleiben. Ich als Laie habe eh nicht gemerkt, was an Android 4.X besser sein soll als an 2.3. Solang alle Apps, die ich nutze, auch unter 2.3 laufen, sehe ich nun absolut keinen Grund mehr überhaupt upzudaten, wenn es nicht mal Performance-Gründe dafür gibt.

    Bitte bleib weiter am Ball Defier!
     
  9. Defier, 12.08.2012 #9
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Rein von der Performance im Benchmark her hast du sicherlich Recht - da hat Android 4.x noch nicht viel mehr zu bieten. Durch "Project Butter" wird die subjektiv wahrnehmbare Geschwindigkeit aber höher, das schlägt sich aber offenbar noch nicht in dem Benchmark wider - wie denn auch, er misst ja nur die Geschwindigkeit einer einzelnen, unter Android ausgeführten Anwendung.

    Interessant finde ich auch, dass Android 4.x um einiges mehr an Arbeitsspeicher konsumiert:

    http://www.android-hilfe.de/custom-...roid-4-1-1-nightly-builds-92.html#post3857988

    Dieses Verhalten wird sich durch neuere Builds vermutlich kaum ändern da das eben schon vom AOSP von Google kommt. Wer also hauptsächlich ein "Single-Tasker" ist und eine große Anwendung (beispielsweise eine Navi-Software) ausführt, der ist mit Android 2.3.x sicherlich nicht falsch beraten: Der Software steht mehr Arbeitsspeicher zur Verfügung und auch die 2D/3D Performance ist derzeit besser.

    Android 4 bietet schon viele neue Features, die einen Umstieg rechtfertigen könnten, etwa die verbesserte Spracheingabe, GoogleNow (wer's braucht..) oder die Systemverschlüsselung - im Port für das Defy funktioniert letztere allerdings noch nicht. Auch viele der Standardapps wie der Kalender, das Telefonbuch usw. wurden an der einen oder anderen Stelle etwas verbessert.

    Wie man am letzten Stand von CM9 und an der 3D-Performance im Build von Epsylon sieht ist beim CM10-Port für das Defy durchaus noch viel Potenzial für Performance-Verbesserungen. Bei der Sache mit dem Speicherverbrauch bin ich jedoch eher skeptisch. Es gibt ja auch einen Grund warum ältere Geräte mit 192MB oder 256MB RAM grundsätzlich als Android4-inkompatibel eingestuft werden.
     
    Zuletzt bearbeitet: 12.08.2012
  10. bitboy0, 19.08.2012 #10
    bitboy0

    bitboy0 Android-Guru

    Beiträge:
    3,286
    Erhaltene Danke:
    602
    Registriert seit:
    20.12.2010
    Phone:
    Sony Xperia Z3 Compact
    schon mit 512 MB RAM ist das Defy die ganze Zeit am Limit ... muss ständig irgendwas aus dem Speicher schmeißen um arbeiten zu können und das weggeworfene dann auch gleich wieder neu laden und was anderes wegwerfen ...

    Anwendungen wie Chrome oder Firefox laufen zwar, aber nur wenn man drauf achtet nicht zu viel anderes als Service zu haben ...

    Ich hab deswegen jetzt Opera-Mini laufen ... ist halt viel schlanker.

    Wir werden sicher nicht die gleichen "Nutzererlebnisse" erwarten können wie die Besitzer einer aktuellen HW mit Quadcore und 1GB RAM ... aber viel mehr als Moto uns gönnen wollte!

    Auch ohne den Test hier hat man bei den letzten 3 Versionen ständig eine Verbesserung bemerkt ... läuft runder, man wartet nicht mehr immer SO lange ...

    gruß
     
  11. Android94, 23.08.2012 #11
    Android94

    Android94 Android-Lexikon

    Beiträge:
    1,325
    Erhaltene Danke:
    458
    Registriert seit:
    22.12.2011
    Zuletzt bearbeitet: 23.08.2012
  12. Defier, 24.08.2012 #12
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Das wären durchaus gute Werte (2D ist allerdings schlechter geworden im Vergleich zur letzten) - ich werde es versuchen selbst nachzuvollziehen, aber heute nimmer. :)
     
    Android94 bedankt sich.
  13. buergi, 24.08.2012 #13
    buergi

    buergi Junior Mitglied

    Beiträge:
    37
    Erhaltene Danke:
    3
    Registriert seit:
    07.12.2010
    Benchmarks hin oder her, ich hab jetzt CM9 und CM10 zusammen fast 3 Monate im Alltagseinsatz gehabt und war nach Rückkehr zu CM7 entsetzt wie flüssig letzteres im Vergleich läuft.

    Zuerst war ich, ohne ins Detail gehen zu wollen, von den vielen kleinen Verbesserungen total begeistert. Andere lieb gewonnene Features vom CM7 hab ich allerdings auch sehr vermisst.

    Was mich jedoch letztendlich wieder zu CM7 zurückgetrieben hat ist die teilweise wirklich unterirdische Performance von CM9/10. Es ruckelt vom Lockscreen über den Launcher bis hin zu den Apps einfach alles, nicht immer aber sehr oft. Je nach dem wie beschäftigt der Droide gerade war konnte selbst das Einschalten in Extremfällen einige Sekunden dauern, z.B. während einem TitaniumBackup. Außerdem merkt man den erhöhten Speicherbedarf, bzw. die neue Speicherverwaltung enorm. Der Launcher wurde des öfteren aus dem Speicher geworfen und selbst mit Hacks wie dem Supercharger konnte ich es nicht ganz verhindern.

    Kurzum mein Droide mit nächtlicher gebauter Software hat mich des öfteren im Stich gelassen als ich mal schnell was nachschauen wollte oder mal schnell ein Foto machen wollte. Es war einfach zu träge.

    Man versucht es zu verdrängen solang man CM9/10 benutzt, geblendet von einigen netten Gimmicks. Aber sobald man wieder zu CM7 wechselt ist man wirklich entsetzt um wie viel flüssiger es läuft.
    Die neuen Android-Versionen sind einfach nicht für so schwachbrüstige Hardware gemacht, sondern für Mid- bis Highend Geräte.
     
    markulatura bedankt sich.
  14. steveletack, 24.08.2012 #14
    steveletack

    steveletack Fortgeschrittenes Mitglied

    Beiträge:
    255
    Erhaltene Danke:
    51
    Registriert seit:
    14.07.2012
    Kann ich genau so bestätigen
    CM10 macht spaß wenn es läuft
    Nur tut es dass leider nicht immer
    Oft hängt das komplette system und einige Apps bringen FC's darüber mag man ja hinwegsehen mit der tollen UI und den schöneren apps(z.B. Youtube)
    Doch wer mit seinem Handy etwas mehr als nur rumspielen will kommt mit CM7 besser klar
     
  15. Defier, 24.08.2012 #15
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Update: JellyBean Cannon 3.0 und die Quarx2k vom 22.8 sind jetzt auch drin.

    Hast du auch 5 Messungen gemacht und den Median genommen? Meine Ergebnisse weichen ganz leicht ab, ist aber vielleicht auch nur die Messtoleranz.
     
  16. Defier, 26.08.2012 #16
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Update: Die Nightly von Quarx2k vom 25.8 ist jetzt auch dabei.
     
  17. steveletack, 26.08.2012 #17
    steveletack

    steveletack Fortgeschrittenes Mitglied

    Beiträge:
    255
    Erhaltene Danke:
    51
    Registriert seit:
    14.07.2012
    Miui wäre auch noch interessant Pikachu z.B
     
  18. Defier, 26.08.2012 #18
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Ist jetzt auch mit drinne :) In dem Benchmark hat es eine sehr gute Performance und liegt auf dem Level von CM7.1
     
    steveletack bedankt sich.
  19. Macrotron, 26.08.2012 #19
    Macrotron

    Macrotron Erfahrener Benutzer

    Beiträge:
    172
    Erhaltene Danke:
    17
    Registriert seit:
    18.05.2011
    Welche Benchmark-App wird den genutzt?
     
  20. Defier, 26.08.2012 #20
    Defier

    Defier Threadstarter Android-Lexikon

    Beiträge:
    1,281
    Erhaltene Danke:
    230
    Registriert seit:
    08.06.2011
    Steht im ersten Posting
     

Diese Seite empfehlen