Hardware für max. SMB-Durchsatz

[ahcsas]

Hi,

ich möchte mir in absehbarer Zeit ein WHS System aufbauen.

Am wichtigsten ist mir ein hoher SMB-Durchsatz. Aus Energieeffizienzgründen wollte ich eigentlich ein Board mit Atom 330 verbauen, allerdings erreiche ich damit wahrscheinlich nicht die max. Transferraten der geplanten HDDs (2x Samsung HD103SI 1TB). Außerdem sollte auch noch ein bischen Luft für Add-Ons da sein.

Ich hab daher alternativ eine Lösung mit dem S775 Board Intel DQ45EK ins Auge gefasst. Hier stellt sich nun die Frage nach der CPU die einerseits die Festplattenperformance nicht limitiert, aber andererseits nicht unnötig Energie vergeudet.

Macht es eigentlich Sinn, das System auf eine 2,5" SATA-Platte zu installieren? Nachdem was ich hier so gelesen habe, wird die Systemplatte ja nicht verwendet, wenn 2 weitere Storage Platten vorhanden sind.

Es wäre fein, wenn ein paar Mitglieder ihre Durchsatzwerte unter Angabe der Hardware posten könnten.

Schon mal vielen Dank im Voraus
Sascha

[Pfuscher]

Da Du grossen Wert auf den Durchsatz legst, nehme ich an das Du mehr als 10 gleichzeitig zugreifende Clients während 50% der Betriebszeit hast? Und ich nehme an das Du eine 4-Port FullDuplex GBit Karten einbaust und per Trunking/Link Aggregation (802.3ad) an Deinen GBit Switch hängst?
Du solltest auch mit Jumboframes hantieren, selbst die "besseren" Realtek Karten und SOHO Switche machen das mitlerweile. Jedenfalls bei mir.
Um dann schnell genug Daten an die Clients zu bekommen, empfehle ich 6-12 SAS oder besser USCSI320 HDDs mit 10k oder 15k Umdrehungen und einen 64bit PCI-X Controller im RAID5 oder RAID6.

Die CPU ist mittlerweile nicht mehr relevant für den SMB Durchsatz, zumindest nicht in kleinen Umgebungen.

[sTunTe]

Da Du grossen Wert auf den Durchsatz legst, nehme ich an das Du mehr als 10 gleichzeitig zugreifende Clients während 50% der Betriebszeit hast? Und ich nehme an das Du eine 4-Port FullDuplex GBit Karten einbaust und per Trunking/Link Aggregation (802.3ad) an Deinen GBit Switch hängst?
Du solltest auch mit Jumboframes hantieren, selbst die "besseren" Realtek Karten und SOHO Switche machen das mitlerweile. Jedenfalls bei mir.
Um dann schnell genug Daten an die Clients zu bekommen, empfehle ich 6-12 SAS oder besser USCSI320 HDDs mit 10k oder 15k Umdrehungen und einen 64bit PCI-X Controller im RAID5 oder RAID6.

Die CPU ist mittlerweile nicht mehr relevant für den SMB Durchsatz, zumindest nicht in kleinen Umgebungen.

[ahcsas]

Hi,

danke für die Antwort, aber wenn ich einen Server für die Firma zusammenstellen müsste, würde ich nicht im Homeserver Forum posten.

Mal zur Erklärung meines Anliegens: Ich fahre momentan ein QNAP TS-109 Pro II (bereits mit 9K Jumbo Frames) und erreiche nur ca. 25-30 Mbyte/s (lesen) bzw. 20 MByte/s (schreiben). Bin also weit von den möglichen Transferraten der internen HDD entfernt. Die neueren Modelle haben mehr als doppelt so schnelle CPUs (1,2GHz, allerdings ARM Architektur), erreichen aber dennoch "nur" 35 MByte/s (schreiben) beim lesen immerhin 75 MByte/s (wenn man den Werbeaussagen glauben darf). Insbesondere der niedrige Durchsatz beim schreiben ist es, der mich stört. Es greifen in der Tat mehrere Clients gleichzeitig auf den Server zu, allerdings max. 3

Nichts desto trotz habe ich mir vor ein paar Tagen einfach mal das Intel D945GCLF2 mit 2 GB RAM, 2 Samsung HD103SI 1 TB bestellt. Das ganze wird im Chenbro ES30068 Platz finden. Ich bin gespannt wie sich das Gespann von der Performance her schlägt.


Noch immer ist die Frage offen ob es Sinn macht, das System auf eine eigene (2,5") 80GB HDD zu installieren. Meinungen? Hat das jemand so oder ähnlich am laufen?


Danke & Gruß
Sascha

[Pfuscher]

Das System auf eine eigene HDD schieben halte ich persönlich schon für sinnvoll. Wenn das Mainboard simples Mirror erlaubt, kannste ja eine 2te HDD dazuschieben und via RAID1 das Systemlaufwerk betreiben. Spart ne Menge Neuinstallationsärger bei einem Hardwaredefekt.

Zu dem Datendurchsatz. Also was liegt zwischen Netzwerkkarte und Festplatte? Der Chipsatz und die Anbindung der Geräte. Ich bin mir nicht sicher, aber aber beim PCI-Bus war es so, das dieser mit 33MHz und mit 133 MByte/s maximaler Datenübertragungsrate. Theoretisch. Hört sich ja schonmal nicht sooo schlecht an. Der Lesedurchsatz wird auch nur bei "kurzen" Zugriffen erreicht. Nämlich solange bis der Cache alle ist oder viele sequenzielle Zugriffe über einen langen Zeitraum erfolgen.

Aber: Wie sind die PCI Ports am Chipsatz angeschlossen, kann dieser das auch wieder an die PCI Netzwerkkarte weiterleiten?

Als Beispiel:
Wir hatten in meiner alten Firma Workstations für Softwareentwickler mit nageneuem Intel 845/945? Chipsatz. Die Rechner hatten 2 HDDs, Ich glaub sogar die ersten SATAs,eine System und eine für die Programiererdaten, Kompilierer etc. Die Entwickler beklagten sich, das die Systeme arg langsam waren wenn von System nach Daten oder vice versa kopiert/verschoben etc wurden oder die Entwicklungsumgebung. Um einen möglichen Flaschenhals im System zu umgehen wurden bei einigen U320 SCSI Kontroller eingebaut und entsprechende U320-SCSI HDDs verbaut. Es was besser, aber nicht so richtig wie erwartet.

Per dummen Zufall hatte ich mit einem Entwickler, der für Storagesysteme was baute, auf seinem Rechner via iSCSI Initiator ein iSCSI Target auf einem NAS eingebunden.

Wer das nicht kennt: iSCSI ist quasi SCSI via Netzwerk. Target = Server, Initiator = Client. Auf einem NAS/SAS mit iSCSI Target Software, kann man komplette physische HDDs/Partitionen, oder "virtuelle HDDs", das sind Dateien wie bei VMWare oder ISOs als Target freigeben. Mit den Initiatoren können diese "Netzwerkfestplatten" wie lokale HDDs eingebunden werden. Windows erkennt hierbei nicht, das dies keine lokale sondern eine "Server"-HDD ist. Der Vorteil hierfür ist ua. PCs/Servern mit keinem oder wenig HDD Speicher, entsprechenden "lokalen" GByte/TByte Platz zur Verfügung zu stellen. Kommt of bei Clustern zum Einsatz. Ein weiterer Punkt ist, man hat den SMB Protokoll Overhead nicht, der bei Netzwerkshares schonmal 30% betragen kann. Ein solcher NAS/iSCSI Server ist dann wie schon von mir beschrieben mit mehreren parallel Netzwerkports und entsprechenden HDDs ausgestattet.

Zurück zum Thema: Als dieser Kollege dann mal seine Entwicklerprojekte nicht auf die Datenplatte sondern auf das iSCSI Laufwerk komplierte, verkürzte sich die Zeit um fast 66%. Bei einer Kompilierzeit von 1h schonmal nicht schlecht. Und das übers Netzwerk (Full Duplex GBit).

Hier zeigte sich, das die lokale Komunikation über den Chipsatz als extremer Flaschenhals erwiess. Nur komischerweise der GBit on Board Netzwerkanschluss, der nicht in der North/Southbridge realisiert war, sondern irgend ein Intel Pro 1000T Chip der mit an den Chipsatz drangedengelt war, erwies sich als Renner.

Dies mal als Beispiel um aufzuzeigen, nur weil man schnelle HDDs und GBit Netzwerk hat, es durchaus an den Komponenten dazwischen liegen kann.

Die CPU hat heutzutage nur noch wenig damit zu tun. Beim Pentium4D/Xeon mit 3GHz beträgt die CPU-Belastung durchs Netzwerk weniger als 1%. Passive Netzwerkkarte vorrausgesetzt. Bei aktiven oder semiaktiven (Server-)Netzwerkkarten ist es fast ganz zu vernachlässigen. Beim Pentium3 mit 450MHz lag die Auslastung der CPU bei einer semiaktiven 100Mbit Dualportnetzwerkkarte bei weniger als 10% CPU Last. Meine Erfahrungen jedenfalls hierzu.

[sTunTe]

Hallo Sascha.

Ich kann es ja verstehen, dass Du möglichst viel Leistung aus einem System herausholen willst.
Du wirst aber den theoretischen Maximalwert niemals erreichen.
Ich zitiere mich mal selber aus einem Thread mit ähnlichem Inhalt:

....
Vor allem ist hier aber die Unwissenheit vieler User das Problem.
Ich habe häufig den Eindruck das die Leute der Meinung sind, dass beim Kopieren übers Netz die Daten ja "nur" von der einen Festplatte über das LAN zur anderen Festplatte geschrieben werden.
Das die Daten aber erstmal von der einen Platte, über den Bus, weiter zur Bridge, durch den Prozessor/RAM, wieder zur Bridge, rüber zur Netzwerkkarte, von dort über das LAN zum Switch, weiter zur nächsten Netzwerkkarte, über die Bridge, zum Prozessor/RAM, wieder zur Bridge, über den Bus und erst dann zu der anderen Platte müssen,
scheinen viele nicht zu begreifen.

Und nur eine einzelne "billige Baugruppe" reicht aus, um die Lese-/Schreibwerte in den Keller wandern zu lassen.
Und jetzt kann sich jeder selbst ausmalen, warum es wohl Mainboards für < 50 € und eben welche für > 1500 € gibt...

Bei meinem System sieht es momentan so aus, dass ich mit etwa 50Mb/s schreiben und ca. 45 Mb/s lesen kann.
Intern arbeiten die Platten mit 80 bis 100 Mb/s, je nachdem über welchen Controller.
Somit kopiere ich eine DVD in unter 2 Minuten auf den Server.
Für meinen Bedarf mehr als ausreichend...

Gruß
sTunTe

[ALeh]

Ich habe diesbezüglich sehr viele Bastelein und Tests hinter mir. Da ich meinen WHS ausschließlich als "Storage-Server" mißbrauche, war mir ein maximaler Datendurchsatz das wichtigste Kriterium für die Zusammenstellung der Hardware.
Zuerst hatte ich das NAS-Topmodell von Synology im Einsatz (DS209+) Dort ist hardwareseitig bei einem Durchsatz von ca. 50MB/s lesend und 35-40MB/s schreibend das Ende der Fahnenstange erreicht. Selbst hier machen sich, wie schon von sTuneTe angemerkt, Billigkomponenten bemerkbar. Hauptgrund sind meist die aufgelöteten passiven "Wald-und-Wiesen-NICs" auf den meisten Mainboards. Vernünftige Switches, CAT6 und eine aktive NIC sind die Grundvorraussetzung für vernünftigen Datendurchsatz.
Ich kommem mit meinem aktuellen WHS auf ca. 75-80MB/s lesend, sowie 55-70MB/s schreibend, wohlgemerkt ohne aktivierte Jumbo-Frames! Diese Transferrate hat mich allerdings einiges an Zeit, Geld und Nerven gekostet.
Um mal einige Beispiele aufzuführen: Lasse ich die Anbindung an den WHS über den OnBoard-NIC meines Asus P5Q-VM laufen, sinkt die Transferrate um ca. 20% ab, die Schreibleistung sogar noch mehr. Verwende ich einen 30-Euro-Krabbeltisch-Switch, sinkt die Transferrate ebenfalls ab. Noch schlimmer wird es bei den (meist grauenhaft billigen) internen Switches von Routern. Einzig der Wechsel zwischen CAT5/CAT6 macht sich kaum bemerkbar (ist aber auch messbar) Bei Windows XP ist sowieso in einem gewissen Bereich Schluß, da das für hohen Datendurchsatz enorm wichtige "TaskOffloading" deaktiviert ist --> http://www.heise.de/netze/TCP-IP-Tuning ... el/97619/3 Übrigens ist der gesamte Artikel sehr informativ.

Um nochmals auf die Frage von ahcsas zurückzukommen... auf die oben genannten Transferraten komme ich nur mit folgender Hardware:

• WHS siehe Signatur
  Clients sind ebenfalls mit Intel Deskpro 1000PT PCIe ausgestattet
  Switch Netgear GS108T (managed)
  CAT6
  TCP/IP-Optimierungen an den Clients (Windows XP)

[ahcsas]

Hi,

habe heute die restliche Hardware erhalten. Also fix zusammengebastelt, WHS Eval. Version inkl. aller Updates installiert und dann mal ein paar größere Files übers Netz geschoben. Zuerst war ich von den miesen Raten enttäuscht (12 MB/s). Aber dann erinnerte ich mich daran, dass da mal was mit im Hintegrund laufenden A/V Anwendungen war. Also DVBViewer beendet und siehe da:

Über den D-Link DGS-1005 GBit Switch erreiche ich zur Workstation (Vista x64) mit Intel 82566DC-2 onboard NIC Transferraten von ca. 56-62 MB/s. Zwischen lesen und schreiben scheint es keinen so großen Unterschied zu geben.

Da ist evtl. noch etwas optimierungs Potenzial vorhanden (Wochenende wäre somit gerettet... ). Vielleicht probiere ich auch mal eine Intel GBit-NIC im WHS aus. Allerdings wäre die ja nur via PCI angebunden, was evtl. auch bremst. Aber mal kucken. Vorerst bin ich jedenfalls zufrieden.

[ALeh]

Moin moin...

Vielleicht probiere ich auch mal eine Intel GBit-NIC im WHS aus. Allerdings wäre die ja nur via PCI angebunden, was evtl. auch bremst

52-62MB/s ist doch ein sehr ordentlicher Wert. Steigerungspotential sehe ich da nur noch durch die Verwendung von aktiven NICs und evtl. den Tausch des Switches. Der DGS-1005 hat keinen guten Ruf. Das Netzteil ist zu schwach ausgelegt. Das äußert sich in Verbindungsproblemen (hohe Lags) in Zusammenhang mit der ominösen Stromsparfunktion, mitunter sogar durch "abschmieren" des Switches (alle LEDs blinken) Allerdings betrifft das nur die "frühen" Revisionen. Angeblich hat DLink auf das Problem reagiert und legt nun ein stärkeres Netzteil bei.

und dann mal ein paar größere Files übers Netz geschoben

Viel interessanter sind viele kleine Files... wenn ich große Files hin- und herschubse komm ich auf fast 95MB/s. Dieser Linearwert hat aber so gut wie nichts mit der Praxis zu tun. Mach doch mal ein Test mit dem Intel NAS Performance Toolkit --> http://software.intel.com/en-us/article ... e-toolkit/

[ahcsas]

Hi,

danke für den Hinweis auf das NASPT - kannte ich bis dato noch nicht. Habe soeben mal einen Lauf durchgeführt, allerdings sind die Ergebnisse teilweise unbrauchbar, da z.B. der Wert bei "File copy to NAS" über dem theoretischen Limit von 120 MB/s liegt. Wenn man den Graphen mal öffnet, sieht man auch warum: am Anfang gibts einen Peak von fast 700 MB/s. Ob das an Vista liegt weiß ich noch nicht. Muss am WE mal einen halbwegs schnellen XP Rechner aufsetzen und dann noch mal messen.

Die Ergebnisse habe ich hier hochgeladen:
http://rapidshare.com/files/240860541/4 ... 5.zip.html

Und hier noch ein Überblick für diejenigen, die das Tool nicht installiert haben:



Testrechner: http://www.sysprofile.de/id6143 (NASPT auf eSATA HDD installiert)
WHS: siehe Signatur

So, und jetzt will ich aber auch mal eure Werte sehen