Dauer eines inkrementellen Backups: 11 Stunden!

[Andre86]

Grüße an alle Hobby-Admins

Seit etwa einem Jahr betreibe ich erfolgreich einen Homeserver, der primär ein Mediacenter backupt und sekundär ein Schlepptop. Das Mediacenter besitzt Festplatten und Partitionen mit insgesamt 3 TB, wovon 2,8 TB belegt sind.

Mein Problem: Ein Update des Backups dauert laut WHS über 11 Stunden, obwohl sich keine größeren Daten ändern!

Das erste Backup des Mediacenters dauerte 2-3 Tage, was bei einer 100 MBit Leitung akzeptabel sein sollte. Ich habe mehrmals die Backups gelöscht und diesen Wert beobachtet. Ich habe hier im Forum von einem anderen Fall gelesen, bei dem die NIC anscheinend beschädigt war oder es Treiberprobleme gab, wodurch die Netzwerkauslastung nicht 4% überschritt, was bei mir aber nicht der Fall ist: Sie geht gegen 100%, wenn er mal anfängt zu kopieren.

Was könnte die Ursache sein, dass er für 3TB Datencheck 11 Stunden braucht? Ich konnte leider noch nicht beobachten, wie viel Prozent der Zeit er wirklich Daten kopiert, aber einen halben Tag sind meiner Meinung nach für einen Check völlig inakzeptabel.

Danke für euer Bemühen und schöne Grüße aus Graz,
André

[sTunTe]

Grüße an alle Hobby-Admins

Auch wenn Du mich mit Deinem Gruß ausgeschlossen hast... trotzdem ein "Hallo" von mir..

Das Mediacenter besitzt Festplatten und Partitionen mit insgesamt 3 TB, wovon 2,8 TB belegt sind.

Ich rate mal: Ca. 2TB Medien.

Das erste Backup des Mediacenters dauerte 2-3 Tage, was bei einer 100 MBit Leitung akzeptabel sein sollte.

Das halte ich nicht für akzeptabel.
Allerdings muss ich auch zugeben, das ich keinen Clienten besitze, der eine solche Menge an Daten speichern muss und ich somit keinen Referenzwert habe...

Wenn ich aber mal eben meinen Taschenrechner zücke, die benötigte Zeit vernachlässige, die der Client zum generieren des Backups benötigt, und einfach mal von 24 Stunden ausgehe, ergibt sich...
24 Stunden = 86.400 Sekunden
-> 3.000 MB / 86.400 Sekunden = 0,0347 MB/s
Und das ist selbst bei einem 100MBit-Netzwerk zu langsam.

Was könnte die Ursache sein, dass er für 3TB Datencheck 11 Stunden braucht? Ich konnte leider noch nicht beobachten, wie viel Prozent der Zeit er wirklich Daten kopiert, aber einen halben Tag sind meiner Meinung nach für einen Check völlig inakzeptabel.

Hier wird Dir wohl nur ein Blick in das Backuplog des Clienten weiterhelfen.
C:\ProgramData\Microsoft\Windows Home Server\logs

Btw: Ich würde die Medien auf den WHS deponieren.
Somit verringert sich schonmal die zu sichernde Datenmenge.

Gruß
sTunTe

[larry]

24 Stunden = 86.400 Sekunden
-> 3.000 MB / 86.400 Sekunden = 0,0347 MB/s

Ich korrigiere hier mal:
-> 3.000 GB / 86.400 Sekunden = 0,0347 GB/s = 34,72 MB Sekunde
Für ein 100 MBit Netzwerk wäre das für eine Übertragungsgeschwindigkeit sehr schnell .

Für den Abgleich könnte dies aber schon akzeptabel sein.

Da mir hier ebenfalls praktische Erfahrung mit einer so unüblich großen Datenmenge fehlen, kann ich nicht mehr dazu sagen.

Gruß
Larry

[sTunTe]

Ach.. verflixt...
Immer diese Anfängerfehler...

Da muss ich Larry (leider) Recht geben...
Also vergiss meine obige Rechnung ganz schnell wieder.
Somit kann das mit den 3 Tagen also durchaus hinkommen.

Gruß
sTunTe

[Andre86]

Viele Grüße auch an die Mathematiker unter uns

Gerade weil ich die Daten an einem zweiten Ort speichern möchte, sichere ich sie nicht nur auf dem Homeserver. Er dient uns rein als Backupserver.

Aber noch mal: Ich kann 11 Stunden überhaupt nicht nachvollziehen. Time Machine erkennt die Änderungen auf meinem Apple Schlepptop (10.6) innerhalb paar Minuten und macht sich dann gleich daran sie zu kopieren. Zwar sind das nur 250 GB HDD und zusätzlich USB2 statt, 100MBit Nic. Auch meine Versuche mit dem Unix-üblichen rsync laufen wesentlich schneller.

Gibt es nicht irgendwelche Windows-typischen versteckten Parameter oder festgelegte Speichergrenzen? Oder sollen 2GB zu wenig Ram sein? Updates sind aktiviert und aktuell, es laufen auch sonst keine Programme auf dem WHS.

Viele Grüße

[biu]

Ich würde auch die Medien auf den WHS verschieben, dazu sollte er ja unteranderem eigentlich da sein.
Ansonsten würde ich dem MediaCenter mal eine Gbit-Karte spendieren.
Kostet keine 15 Euro und beschleunigt das ganze ungemein.
Ps. als 34 MB/s kann kein 100mbit Netzwerk schaffen

lg

[Andre86]

Also noch mal zur Mathe ...

Da oben im Beitrag werden 3 TB auf einen Tag verteilt. Ich sprach aber von 2-3 Tagen. Dividiert man die 34 MB/s durch 3, kommt man auf ungefähr 11 MB/s = 88 MBit/s.

Und zum Speicherverhalten:
Die Daten sollen dupliziert sein an einem zweiten Ort, ich kann es leider nur wiederholen. Es ist ein Backup-Server, kein HTPC, keine Email-Speicherbox, kein Multimedia-irgendwas.
Es befinden sich hauptsächlich digitalisierte Hi8-Videos auf dem Mediacenter, die wir auch bei Bedarf zu DVDs schneiden. Ich möchte nicht Filme schneiden, wenn sich die Clips durch eine 100 MBit-Pipe quälen müssen.
3 TB entsprechen heute überhaupt nicht einer astronomischen Datenmenge. Wie viel externe Festplatten liegen denn bei euch herum? Bzw. wofür habt ihr sechs Festplatten im WHS?

Wie schon erwähnt, mein Problem: Wieso brauchen 3 TB Datenüberprüfung, bei der scheinbar kaum etwas kopiert werden muss 11 Stunden? Ich glaube auch, dass da kein GBit-Netzwerk etwas ändert, denn in dem Moment, in dem er die Daten überprüft, habe ich ca 0,4% Nertzwerktraffic.

[jens]

Also noch mal zur Mathe ...
Wie schon erwähnt, mein Problem: Wieso brauchen 3 TB Datenüberprüfung, bei der scheinbar kaum etwas kopiert werden muss 11 Stunden? Ich glaube auch, dass da kein GBit-Netzwerk etwas ändert, denn in dem Moment, in dem er die Daten überprüft, habe ich ca 0,4% Nertzwerktraffic.

Zur Überprüfung der Daten muss er ja die Sektoren auslesen und die Prüfsumme berechnen.
Das hängt also auch sehr mit der Zeit zusammen, die Dein PC braucht, um alle Sektoren der Platten auszulusen..

Ist hier evtl. der PC/Das Festplatten-Interface zu langsam?
Welche Rate erreicht er beim lokalen Auslesen der Daten?

Gruß, Jens

[sTunTe]

Gerade weil ich die Daten an einem zweiten Ort speichern möchte, sichere ich sie nicht nur auf dem Homeserver

Da würde ich die "Sicherungsstrategie" nochmal überdenken.

Er dient uns rein als Backupserver.

Womit Du den Vorteil eines zentralen Speicherorts zunichte machst.

Ich kann 11 Stunden überhaupt nicht nachvollziehen.

Ich schon.
Im Gegensatz zu anderen Backupprogrammen macht das WHSbackup weder eine Voll-, noch eine Inkrementelle Sicherung.
Stattdessen wird auf Clusterebene gesichert.
viewtopic.php?f=50&t=572
Und bei 3 TB kann ich mir durchaus vorstellen, dass das Vergleichen der einzelnen Cluster sehr viel Zeit beansprucht.

Es befinden sich hauptsächlich digitalisierte Hi8-Videos auf dem Mediacenter, die wir auch bei Bedarf zu DVDs schneiden. Ich möchte nicht Filme schneiden, wenn sich die Clips durch eine 100 MBit-Pipe quälen müssen.

Und Du willst uns jetzt erzählen, dass Du 8 Stunden am Tag, 7 Tage die Woche irgendwelche DVDs zusammen schneidest?!?
Was spricht Deiner Meinung nach denn dagegen, das Rohmaterial auf dem WHS zu speichern und bei Bedarf das zu bearbeitende Material auf den Clienten zu kopieren?
Somit hättest Du den Vorteil, dass a) Dein Client nicht Tage zum sichern bräuchte und b) das Material auch auf anderen Maschinen zugänglich wäre.

Wie viel externe Festplatten liegen denn bei euch herum?

Eine einzige.
Zum Backup "lebenswichtiger" Daten.
Sicher verwart an einem Ort, an dem
a) kein Computer steht
b) kein Einbrecher hinkommt
c) kein Hochwasser die Platte erreichen kann, selbst wenn beide Pole komplett schmelzen
d) ein Feuer relativ unwahrscheinlich ist
Lediglich vor Meteoriten/Kometen-Einschläge ist sie nicht geschützt...
Ich denke, diese Gefahr kann ich vernachlässigen.

Bzw. wofür habt ihr sechs Festplatten im WHS?

Nicht 6, sondern 13.
Damit ich meine Daten nicht per USB-Stick/Festplatte von einem zum anderen Clienten schleppen muss.
Oder einfacher ausgedrückt: Damit ich einen zentralen Speicherort habe, wofür Server u.A. nunmal gedacht sind.
Und wenn ich mal einen Film gucken, ein Word-Dokument bearbeiten oder irgendeine andere Datei erstellen/ansehen/editieren möchte, kann ich mir die Maschine und somit den Ort aussuchen... im Büro an meinem Rechenknecht, im Wohnzimmer an meinem HTPC, ortsunabhängig mit dem Laptop...
Ach, was kann das Leben doch angenehm sein...


Gruß
sTunTe

[larry]

Hallo Andre,

ich kann deine denkweise schon nachvollziehen.
Wie schon gesagt. Das Backup dürfte für diese Datenmenge nicht ausgelegt sein. Daher kann ich nicht sagen, an welcher stelle hier der Flaschenhals (abgesehen vom Lan) ist.
Mein Client mit ca. 60-70 Gb zu sichernden Daten wird in unter 10 Minuten gesichert.

Du kannst aber auch einfach auf die Backupfunktionen des WHS verzichten und stattdessen mit einem Synctool die Daten auf den WHS schieben.
Bei mir dauert das mit Allways Sync bei ca. 4 TB an Daten ca. 5 Minuten, wenn sich fast nichts geändert hat (WHS zu WHS mit GBit Lan).
Dann hättest du das gleiche Ergebnis. Zusätzlich hast du noch den Vorteil, dass bei Ausfall einer Platte am WHS nicht die komplette Sicherung hinüber ist.

Gruß
Larry

[Nobby1805]

Kannst du mir erst einmal erläutern was du mit "3 TB Datenüberprüfung" meinst Meinst du damit den täglichen Backup ?

Schalte doch hierbei mal die Anzeige ein "Sicherungsstatus anzeigen" und schau bei welcher Phase er am längsten benötigt ... oder schau in den Logfile des Backup. Wie viele Partitionen werden gesichert ? Bei einer Partition läuft von 0% bis 25% die Phase "Suche nach Änderungen", dann bis 35 % die Phase "Reorganisation der Daten auf dem Server" und dann bis 100% "Geänderte Daten werden übertragen" ... Wenn die Backup-Database auf dem Server groß ist, und das scheint sie bei dir zu sein, dauert die 2. Phase extrem lange (egal ob etwas geändert ist oder nicht). ... Aus meiner Sicht eine Schwäche der aktuellen WHS-Version .. hier fehlt anscheinend eine Optimierung, bei x Partitionen macht er x-mal dasselbe

[Andre86]

@Larry:
Windows Home Server ist nicht meine erste Lösung, die ich ausprobiere. Alles fing an mit Microsofts ActiveSync , über irgend eine andere Open Source Software, hin zum WHS und seine Features (Systemwiederherstellung, alles läuft im Hintergrund, Volume-Management, etc. ...)

@Nobby
Ja, mit 3 TB meine ich das tägliche Überprüfen des Systems.
ABER: Dein Tipp die Logfiles zu überprüfen ist wirklich hilfreich. Aus dem geht hervor, dass er für die zwei größten Festplatten am meisten Zeit braucht beim "determine Changes"-Schritt. Hier ein Auszug meines Logfiles (Zeitdifferenz von Zeile 3 und 4 beachten):

Code: Alles auswählen

[1]100608.065132.8437: Status: File records: 51158 sent, 6877 changed, 14 metadata, 51157 received (bytes sent=999424 received=1014907)
[1]100608.065132.8750: Status: Prepare fixups: total restore size 1500291039232
[1]100608.065136.1406: Status: Determine changed: scan 188707579 size 772946243584
[1]100608.091114.3906: Status: Determine changed: scanned 188707579 of 360681337 total with 4 fixups (bytes sent=4114249743 received=0)
[1]100608.092711.0468: Status: Server phase Reorganize1 complete
[1]100608.092711.0468: Status: Send changed: 2727 requested of 188707579 total

Daran wird wohl die Überprüfung auf Clusterebene schuld sein. Ich gehe mal davon aus, dass man das Verhalten nicht ändern kann, sodass er Dateien nur auf veränderte Größe und Datum überprüft?

[Nobby1805]

Das ist aber wirklich extrem

Die Platte ist OK und benötigt keine Retries ? Hast du mal mit SMART geschaut ? Was läuft denn gleichzeitig auf der Platte? Sind evt. Unmenge von kleinen Files auf der Platte ?

Wie genau MS bei der Sicherung arbeitet ist nicht bekannt, ich vermute aber ähnlich wie andere Backup-Software: Größe, Datum, Archivbit und dazu dann noch speziell die Cluster-Logik

[Andre86]

Mensch!

Jetzt ist mir auch noch der Client remote abgestürzt und ich kann frühestens in ein paar Tagen da weitermachen Hätte zu gerne die Platten überprüft, denn vorgestern ist ein Backup anscheinend abgebrochen, dann gefolgt von einem erfolgreichen (??!) - obwohl gerade niemand den Computer benutzt.

Ich habe zwischenzeitlich überlegt auf eine Kombination aus WHS für das System und eine andere Backup-Lösung der Medienfiles auf einen WHS-Shared Folder. Aber das löst ja nicht wirklich das Problem, ich verkompliziere damit das im Grunde funktionierende System nur.

Ich melde mich wieder