help - Schlechte Streamraten mit großen TrueCryptContainern

[Napali]

Servus Boardgemeinde,

leider habe ich ein Problem seit der Umstellung auf WHS2011 und das möchte ich euch nun vorlegen. In der Hoffnung das vielleicht einer von euch die Masterlösung auf Tasche hat und bereit ist diese zu erläutern.

Aufbau:
Server: Acer H340 (vorher WHS v1, jetzt WHS2011), 4x 2 TB WD20EARS Platten ( 3x mit 1,75 TB großen (kaskadiert verschlüsselten) TrueCrypt Containern.
Zugriffssystem: Corei7 usw.
Verbindung: Cat6 Kabel [Zugriffsystem[GBit] -> Server[GBit]]

Zugriffsart/-weg:
Die TrueCrypt Container liegen in freigegebenen Ordnern auf die über passwortgeschützte Benutzerkonten zugegriffen wird. Um diese dann auf dem Zugriffssystem zu mounten.

Problem:
Beim Lesen bzw. Downloaden von größeren Dateien (w.z.B. Urlaubsfilmen & Backup Images) aus diesen Containern vom Server, sinkt die Downloadrate auf 1,3 MB/s bis 1,6 MB/s. Die Container sind kaskadiert verschlüsselt und unter WHS v1 stellte dies auch keine Probleme da [Downloadraten zwischen 30 MB/s - 50 MB/s].

Getestet:
Zum Test habe ich auf allen Platten 5 GB bzw. 50 GB Container mit normaler AES Verschlüsselung erstellt und die Schreibraten der Container lagen bei ca. 80 - 120 MB/s , dass kopieren einer 3,19 GB großen *.iso Datei wurde auch mit 60 -80 MB/s vollzogen und anschließend konnte diese wieder mit 90 - 120 MB/s gedownloadet werden. Nun habe ich einen 5 GB & einen 50 GB Container mit einer 3-fach Kaskadierung erstellt und siehe da die Schreibraten waren immer noch bei 70 - 90 MB/s, was beim Lesen dann allerdings nicht mehr so war. Hier sank die Downloadrate auf 1,3 bis 1,6 MB/s und das RemoteFenster hing sich für ca. +/- 1-2 Minuten auf, nach Abbruch des Downloads.

Da ich auch schon einige andere Threads hier gelesen habe, möchte ich Dich bitten nicht an der Sinnhaftigkeit der Verschlüsselung zu drehen, sowie an der vorrübergehenden Lösung der [direct-cable-connection]. Außerdem möchte ich die Möglichkeit eines anderen Tools hiermit ausschließen, sowie die Lagerung von Daten in einfach verschlüsselten Containern, danke.

MFG Naps

[Nobby1805]

Ich würde zuerst einmal testen ob es am Netzwerk oder lokal auf dem WHS liegt ... also den Lesezugriff direkt auf dem WHS testen

Dann mit der Leistungsmessung die CPU-Last, die Speichernutzung (RAM) und die IO-Rate aufzeichnen ...

[Napali]

Servus Nobby,

jo gesehen, gelesen und gemacht. Also natürlich geht die CPU in die Knie, wenn man direkt auf dem Server entschlüsselt und das entschlüsselte Folder freigibt. Man erreicht dann zwar noch
Transferraten von 9 MB/s - 10 MB/s, allerdings natürlich auch einen CPUload von 100%, was für Mutli User Geschichten bzw. Serversachen schon mal ungenügend ist. Das war für mich auch der
Grund unter WHS v1 auf dem Zugriffssystem erst zu entschlüsseln. Man hatte annehmbare Transferraten von 30 MB/s - 50 MB/s und einen CPUload von ca. 20 - 40%.

Nun aber mal zu den Tests:

Container auf dem Server gemountet und in ein auf dem Server liegendes Folder kopiert
CPUload: 100%
Transferrate: 12 MB/S - 13 MB/s
Ramload: 990 MB (vorher 985 MB)
Driveload: 18 - 27 MB/S (9% - 16%)
Netzwerkload: +/- 100 - 350 KBit/s für die Remotedesktopverbindung


Container auf dem Server gemountet und eine Datei aus dem dann dort freigegebenen Folder auf das Zugriffssystem kopiert
CPUload: 100%
Transferrate: 9 MB/S - 10 MB/s
Ramload: 992 MB (vorher 985 MB)
Driveload: 10 - 11 MB/S (9% - 14%)
Netzwerkload: 70 MBit/s (15%)


Container auf dem Server freigegeben, auf dem Zugriffsystem gemountet und Dateitransfer gestartet
CPUload: 7% (selten einen ~75% Peak)
Transferrate: 1 MB/S - 1,6 MB/s
Ramload: 978 MB (vorher 976 MB)
Driveload: 3 - 4 MB/S (1% - 2%)
Netzwerkload: keine konstante Rate, aber regelmäßige Peaks mit 32 MBit/s

(Screenshot vom letzten Test)

IO-Rate -> Damit meintest du die Ein/Ausgabe-Operationen oder ? Die habe ich als Driveload gekennzeichnet.

MFG Naps

[Sylar]

Getestet:
Zum Test habe ich auf allen Platten 5 GB bzw. 50 GB Container mit normaler AES Verschlüsselung erstellt und die Schreibraten der Container lagen bei ca. 80 - 120 MB/s , dass kopieren einer 3,19 GB großen *.iso Datei wurde auch mit 60 -80 MB/s vollzogen und anschließend konnte diese wieder mit 90 - 120 MB/s gedownloadet werden. Nun habe ich einen 5 GB & einen 50 GB Container mit einer 3-fach Kaskadierung erstellt und siehe da die Schreibraten waren immer noch bei 70 - 90 MB/s, was beim Lesen dann allerdings nicht mehr so war. Hier sank die Downloadrate auf 1,3 bis 1,6 MB/s und das RemoteFenster hing sich für ca. +/- 1-2 Minuten auf, nach Abbruch des Downloads.

Wie hast du diese Traumwerte geschafft?
Ich schaffe da mit AES grad mal 20-30MB/s. (über PC gemountet)
Normal kopiere ich vom WHS auf PC mit 90MB/s

Hast du ein dynamischen Container erstellt?

[Nobby1805]

Also natürlich geht die CPU in die Knie, wenn man direkt auf dem Server entschlüsselt und das entschlüsselte Folder freigibt.

OOOps ... da habe ich klassisch daneben gelesen .. ich dachte genau das machst du und da liegt dein Problem

Ich vermute jetzt, dass die Zugriffsmethode auf den Container nicht optimal für einen Netzwerkzugriff ist ... und bestimmte Operationen die lokal durch den File-System Cache beschleunigt werden eben im Netzwerkmodus das ganze ausbremsen ...

wie gesagt ... reine Spekulation ... man müsste mal mit Procmon oder/und dem Netmon schauen wie auf die Datei zugegriffen wird

[Napali]

Null Problemo,

habe den Prozess-/Networktraffic geloggt und geupped. Die Links gibts per PM (sind schließlich nicht anonymisiert).

Wenn sonst noch jemand eine Idee hat -> einfach anschreiben und dann gibts die Logs auch für Andere.

MFG Naps

PS: Denkt bitte dran unter WHS v1 hat es funktioniert, vielleicht kennt sich einer von euch so gut mit der Netzwerkstruktur von 2008R2 aus, dass er weiss, wenn es zum Beispiel an einem neuen Dienst liegt.

[Nobby1805]

Soweit ich das sehe ist dort (fast) kein Traffic direkt mit dem Container zu finden .. wie heißt der eigentlich ?

[Napali]

@Sylar

Screenshot

Also ich habe es gerade noch mal mit einer ISO ausprobiert und einen 6 GB kleinen statischen Container mit Single Encryption gewählt. Den Container beschreiben konnte ich mit 120 MB/s - 90 MB/S siehe Screenshot (und nein das war kein Peak) zurück kopiert habe ich die Datei dann mit leider wieder bis zum Abbruch mit 1,3 MB/s - 1,6 MB/s warum das jetzt auch bei der Single Encryption so ist keine Ahnung (
Werde am Wochenende noch mal weiter testen, warum das jetzt auch die einfache Verschlüsselung erwischt hat.

MFG Naps

[asterixxer]

Denkt dran, dass MS zwischen 2003 und 2008 Server am SMB Protokoll geschraubt hat. Evtl. spielt das hier auch ne Rolle...

[Sylar]

Also ich habe heute auch mal eine 6GB Container erstellt und ein 2GB ISO hin und her kopiert. Nur diesmal auf den stärken HP Microserver N40L. Der Container wurde auf dem Client gemountet.

TCV AES 6GB gemountet auf Client (Q6600,4GB RAM)
UP: ----660s -- 90mb/s auf 3mb/s
DOWN: 180s -- 4,33mb/s auf 7mb/s.

Ich hab keine Ahnung wo der Flaschenhals ist..

[Napali]

@Sylar

Vielen vielen Dank für deinen Test, ich hatte schon echt Panik, dass das irgendwie an meinem Testaufbau liegt. Aber die Situation ist echt merkwürdig. Werde das bei Gelegenheit mal dem TrueCrypt Support zu kommen lassen, vielleicht können die ja was in der nächsten Version dagegen machen. Bis dahin werde ich wohl noch mal auf WHSv1 umsteigen müssen (

Vielen Dank euch Jungs !

MFG & bis denne Naps

[Sylar]

Also ich habe heute mal es etwas anders probiert und den Container auf den Server gemountet und ein Share erstellt.

Testfile: 2GB
Server mount-> CLient
54MB/s 42s

Client -> Server mount
64MB/s 41

Das sind mal brauchbare Ergebnisse. Gut ich komme nicht an deine 100MB/s ran (warum auch immer), aber das ist schon viel besser, als 3MB/s. Eventuell hast ja keine dynamische Container erstellt oder?

Der Nachteil ist halt, dass es man sich ja 2 mal in den Server einloggen muss. (einmal zum mounten der Platte+Share, ein weiteres mal um über den Explorer zugreifen zu können...). Vielleicht gibt es ja Add-Ins für die Konsole..

edit:
Hab mal die Platte ausgebaut und direkt am PC angeschlossen. Container gemountet, aber da kopiere ich auch nur mit rund 50MB/s...