Wie physikalischen Speicherort einer Datei ermitteln?

[fons11]

Hallo,

gibt es eine Möglichkeit den physikalischen Speicherort (auf welcher Platte die Datei liegt) eine bestimmten Datei aus einem Share zu ermitteln?
Hintergrund ist folgender. Bei sehr alten Dateien (es handelt sich um ca. 4 GB große ISO-Dateien) habe ich über das Gigabit-LAN beim kopieren auf den lokalen Rechner eine Netzwerkauslastung von 70 - 80%. Bei neuen Dateien, oder wenn ich eine Kopie der alten Datei auf dem Server erzeuge beträgt die Auslastung "nur" um die 40% (ich weiß, ist immer noch ein guter Wert). Ich möchte herausfinden ob dieser Unterschied an den verbauten Festplatten oder an einer evtl. vorhandenen Fragmentierung liegt. Bei den entsprechenden Shares ist die Duplizierung übrigens ausgeschaltet.

Vielleicht weiß ja jemand wie ich den "echten" Speicherort einer Datei herausfinde!?

Gruß,
fons

[larry]

Da gibt es ein AddIn:
http://www.home-server-blog.de/add-ins/ ... tion-info/

Alternativ in den versteckten DE-Ordnern selbst suchen.

Gruß
Larry

[sTunTe]

Hallo.

Es muss nicht unbedingt an der Platte liegen.
Festplatten haben keine linearen Übertragungsraten.
Aktuelle Modelle kommen beim Lesen auf Geschwindigkeiten von ca. 60 bis 130 MB/s, je nachdem wo sich die Köpfe gerade befinden.
Man könnte auch sagen, je weiter am Anfang der Platte sich eine Datei befindet, je schneller ist die Übertragungsrate.

Gruß
sTunTe

[fons11]

@ larry
Vielen Dank für den Link. Genau so ein Programm hab ich gesucht und es hat sich gezeigt, dass die Dateien bunt über die Platten verteilt sind. Es liegt also zum Glück nicht an der Geschwindigkeit der neuen Platten. Ganz im Gegenteil. Laut HD Tune sind sie um Welten schneller. Was allerdings etwas auszumachen scheint ist das Format der Datei die ich kopieren will. ISO Dateien flutschen mit etwa 80 MB/s durch während MKV Dateien bei etwa 40 - 45 MB/s liegen. Ich werd noch etwas probieren ob evtl. das Alter der Datei (wegen Fragmentierung der neueren) oder defragmentierung zusätzlich einen Einfluss hat.

@sTunTe
Damit hast du natürlich recht. Mir war nur aufgefallen, dass die Geschwindigkeitsunterschiede relativ groß sind und vor allem neue Dateien langsamer sind. Allerdings muss ich zugeben, von den alten ISO Dateien hab ich nicht mehr viele, da ich sie Stück für Stück in MKVs umgewandelt habe.

[Roland M.]

Hallo!

ISO Dateien flutschen mit etwa 80 MB/s durch während MKV Dateien bei etwa 40 - 45 MB/s liegen.

Antivirensoftware aktiv?


Roland

[fons11]

Hallo!

ISO Dateien flutschen mit etwa 80 MB/s durch während MKV Dateien bei etwa 40 - 45 MB/s liegen.

Antivirensoftware aktiv?


Roland

Ist aktiv. Allerdings habe ich beim Virenscanner auf dem Server die entsprechenden Verzeichnisse und Dateiendungen in die Ausschlussliste eingetragen.
Beim Client hab ich es jetzt für die entsprechenden Dateiendungen auch übernommen. Mal sehen ob sich dadurch etwas ändert.

[fons11]

Hallo,
nachdem ich festgestellt habe, dass vor allem ältete Dateien mit höherer Geschwindigkeit über das Netzwerk übertragen werden und es offensichtlich nicht an den neuen Festplatten lag habe ich mal etwas mit Defragmentierung experimentiert. Das Ergebnis für die Dateien die ich getestet habe ist recht eindeutig. Ich habe zunächst eine bestimmte Datei (*.ts Datei mit ca. 5 GB) im "fragemtierten" Zustand vom HomeServer auf meinen Client übertragen, anschließend die Datei mit PerfectDisk 12 für WHS defragmentiert und noch mal übertragen. In den angehängten Dateien seht ihr die Ergebnisse. Um sicher zu sein, dass es kein "Ausrutscher" ist habe ich das ganze natürlich mit mehreren Dateien probiert. Das Ergebnis war immer das gleiche.
Für mich ein doch recht eindeutiges Ergebnis. Allerdings hatte ich mit PerfectDisk 12 einige Stabilitätsprobleme und mir ist auch klar, dass die Defragmentierung bei kleinen Dateien wahrscheinlich fast keinen Unterschied macht. Trotzdem interessant finde ich!

[Nobby1805]

Ein schönes Beispiel gegen die immer wieder zu hörende Meinung "Defragmentierung bringt nichts" ... für gelegentliche Defragmentierung reicht beim WHS v1 der Windows Defragger völlig aus

[fons11]

Ein schönes Beispiel gegen die immer wieder zu hörende Meinung "Defragmentierung bringt nichts" ... für gelegentliche Defragmentierung reicht beim WHS v1 der Windows Defragger völlig aus

Zumindest bei großen Dateien bringt es deffinitiv etwas.
Jetzt stört mich nur noch, dass meine Clients sich beim Zugriff auf Verzeichnisse manchmal einige "Denksekunden" einräumen. Meistens klappt alles gut nur manchmal dauert es einige Sekunden bevor das Verzeichnis im Explorer geöffnet wird. Bisher bin ich noch nicht dahinter gekommen woran das liegt. Weder war der Server mit anderen Aufgaben beschäftigt, noch sind es Verzeichnisse mit besonders vielen Dateien?! Hat da vielleicht noch jemand eine Idee dazu?

[larry]

Wenn es sich bei dem Client um Win7 handelt könntest du bei der Netzwerkkarte mal testweise IP V6 deaktivieren.
Ansonsten lässt sich ohne genaue Systemangaben nur schwer etwas sagen.

Gruß
Larry

[fons11]

Es sind Windows 7 Clients ich werd es mal mit deaktiviertem IP V6 probleren.
Danke für den Tipp!!
Ich nehme an es reicht unter den Einstellungen des Adapters den Haken bei "Internetprotokol Version 6" raus zu nehmen?!

[sTunTe]

Nabend mal.

Ich will jetzt hier keinen "Glaubenskrieg" anzetteln...
Wenn ich mir aber die beiden Screenshots der Netzwerkauslastung ansehe, wage es zu bezeifeln, dass dieser "Leistungseinbruch" von rund 100% nur anhand der Fragmentierung der Datei verursacht werden soll.
Bei mittleren Zugriffszeiten heutiger Platten von ca. 10 - 15 ms müsste die Datei schon einen solchen Grad der Frangmentierung erreichen, der jedweder Logik des Dateimanagements von NTFS widerspricht.
Anders ausgedrückt: Sowas könnte man allerhöchstens im Labor simulieren. In der Praxis habe ich das noch nicht erlebt.

Ich vermute, dass die Datei durch die Defragmentierung auf einen schnelleren Bereich der Platte verschoben wurde.
Das bestätigen mir auch die Prozentangaben des Taskmanagers:
Rein mathematisch entspricht 1 GBit/s exakt 128 MB/s (den Overhead lassen ich jetzt mal aussen vor).
Im ersten Screenshot kommt man im Mittel auf ca. 35%.
35% von 128 MB/s entsprich einer Transferrate von 44,8 MB/s.
Geht man im zweiten Screenshot von ca. 75% aus, so ergibt sich
75% von 128MB/s = 96 MB/s

Beide Werte entsprechen den Transferraten heutiger Platten, wobei 44,8 MB/s noch nicht der langsamste Bereich bei z.B. einer Samsung HD204UI wäre.
Geschätz etwa der Bereich, bei ca. 90% "Befüllung".
96 MB/s erreicht man mit dieser Platte ebenfalls problemlos.
Hier dürfte der geschätzte Bereich bei ca. 20% "Befüllung" liegen.

Ohne grafische Darstellung der Fragmentierung lassen sich aber eh nur Vermutungen anstellen...

Gruß
sTunTe

[fons11]

Na einen Glaubenskrieg wollte ich nun wirklich nicht anzetteln Mir war nur aufgefallen, dass bei Dateien die schon lange auf dem Server liegen die Datentransferrate deutlich höher ist als bei relativ neuen Dateien (ich spreche hier nur von relativ großen Videodateien zwischen 2 und 8 GB).
Nun habe ich testweise einige der Dateien die langsam übertragen wurden defragmentiert und seit dem ist ihre Übertragungsrate deutlich besser geworden. Ich lasse gerade das gesamte Laufwerk defragmentieren aber das dauert mit PerfectDisk seeeeehr lange (momentan bin ich bei 60% der ersten von zwei Platten und es läuft schon seit einigen Stunden). Sobald ich damit fertig bin probiere ich das Ganze mit zufällig ausgewählten Dateien aus. Dann sehe ich ja ob sich die Transferrate durchgängig verbessert hat. Übrigens meine verbauten Festplatten sind beide zu etwa 40% belegt.

Ich berichte gerne was dabei raus gekommen ist.

Gruß,
fons

[sTunTe]

Mir war nur aufgefallen, dass bei Dateien die schon lange auf dem Server liegen die Datentransferrate deutlich höher ist als bei relativ neuen Dateien

Das würde meine obige Theorie noch zusätzlich bestätigen, da die älteren Dateien mit ziemlicher Wahrscheinlichkeit am Anfang der Platte, also dort wo hohe Übertragungsraten erreicht werden, liegen, während die jüngeren Dateien weiter am Ende der Platte zu finden sind.
Nun kann es vorkommen, dass z.B. durch Löschen einer älteren Datei Platz am Anfang einer Platte frei wird.
Beim Defragmentieren wird nun versucht eine Datei wieder an einem Stück auf die Platte zu schreiben, wobei durchaus der entstandene "Freiraum" genutzt werden kann.
Das führt dann Schlussendlich zu höheren Übertragungsraten... allerdings nicht, bzw. kaum durch den Umstand, dass diese Datei nun keine Fragmentierung mehr aufweist, sondern lediglich durch die Lage auf der Platte.

Gruß
sTunTe

[fons11]

So, jetzt sind alle Festplatten des Homeservers defragmentiert und ich habe testweise mal 16 willkürlich ausgewählte Videodateien auf den Client kopiert. Bei der Übertragungsrate gab es zwar ein paar Schwankungen aber unterm Strich lagen sogar die langsamsten über 65% Netzwerkauslastung. Die Spitzen lagen bei 90-95% und ca. 110 MB/s. Ich denke das sind richtig gute Werte die zeigen, dass sich durch die Defragmentierung etwas geändert hat. Ob es nun an der Defragmentierung selbst liegt oder an der Tatsache, dass die Dateien besser platziert wurden kann ich nicht sagen (wie gesagt meine Festplatten sind nur etwa zu 40% gefüllt). Allerdings habe ich als Defragmentierungsmethode bei PerfectDisk "defrag only" gewählt, was eigentlich nur versucht defragmentierte Dateien zusammenzufügen und sich NICHT um die optimale Platzierung auf der Festplatte kümmert. Dafür gibt es extra die Methode "SMARTPlacement".
Damit ist für mich klar, dass ein Defragmentierungsprogramm die Performance zumindest bei nicht zu stark gefüllten Festplatten doch spürbar verbessern kann, selbst wenn es nur daran liegt, dass es die Dateien in schnellere Bereiche der Festplatte verschiebt.

Hier nochmal die zugehörige Netzwerkauslastung für die 16 kopierten Dateien: