Server-Empfehlung für große Nutzdatenmenge

[cbk]

Hallo,

da ich damit beschäftigt bin einen ganzen Haufen alter VHS-Bänder zu digitalisieren und mein Papa gleichzeitig mit einem Diascanner gleich magazinweise die alten Dias digitalisiert, fallen bei uns enorme Datenmengen an (ca. 150 GB / Woche).
Zur Zeit speichern wir alles auf Festplatten. Der derzeitige Server (selber zusammengestrickt - kein WHS) verfügt über 8* 500GB und 4* 1TB Festplatten. Zusammen also 8 TB. Es ist jedoch absehbar, daß der Speicherplatz nicht ausreichen wird. (Es sind nur noch 300GB frei und ca. die Hälfte der Arbeit ist erst getan.)

Da wir nach einem größeren Wasserschaden vor 3 Jahren im ganzen 2-Familien-Haus Netzwerkkabel verlegt haben, käme mir eine Server-Lösung sehr gelegen.

Also: Wie kriege ich 20 TB in einen Server (bei Duplizierung wären das dann 40 TB)?
Zur Zeit habe ich einen FSC Primergy TX150 s4 im Einsatz.
Das ganze sollte auch noch halbwegs bezahlbar bleiben. Also Storage Arrays mit SCSI-Festplatten fallen aus.


Gruß
Chris Benjamin

[locke703]

Hi,
in welchem Format werden die Videos bzw. Dias gespeichert.

denke das eventuell bei den Dateigrößen einfacher eine Problemlösung zu finden ist.

als Beispiel: ein VHS-Video auf eine DL-DVD aufzublasen bringt wenig da zu wenige Bildinformationen vorhanden sind um dadurch mehr Qualität zu erreichen - besser wäre eine VCD oder SVCD (grob pro Stunde 0,5GB)

gleiches bei den Dias - eine 120Mb große .BMP-Datei ist "nice to have" und der Scanner gibt das ev. auch in der höchsten Auflösung her, eine Diashow auf nem FullHD Fernseher (1920x1080 Pixel) benötigt allerdings nur JPGs mit 1-2Mb

sind nur so meine Gedanken zum Megapixel und Gigaauflösungs Hype.

sicherlich können hier Andere zu Speicherlösungen im Terra-Bereich, die auch beruflich damit zu tun haben, mehr sagen.

Gruß Armin

[cbk]

Moin Locke,

Das Videomaterial liegt komplett im MPEG2-Format vor. Dabei fallen ca. 2GB / Stunde an. Klar könnte ich die Daten noch weiter komprimieren, aber dabei ergeben sich dann drei weitere Probleme:

1. Zur Zeit digitalisiere ich meine Bänder mit einem S-VHS-Videorekorder an dem ein FSC Activy hängt. Dieser erzeugt dank Hardware-Kompression recht brauchbare MPEG2-Dateien, die ich dann übers Netzwerk auf den Server kopieren will (bzw. derweil auf externen Festplatten lagere). Es ist also einfach praktisch.
2. Klar sind die VHS-Aufnahmen nicht so prall, aber die Bänder sind z.T. schon an die 30 Jahre alt und wenn ich jetzt nicht digitalisiere, brauche ich bald nichtmal mehr dran zu denken. Die zerfallen einfach. Alerdings sind die die Aufnahmen, wie du schon sagtest, für heutige Verhältnisse recht verrauscht. Da Rauschen nicht gut komprimiet werden kann, kommt bei hohen Komprimierungsraten nur Müll raus.
3. Wieviel Rechenleistung bräuchte ich, um die Videodaten quasi in Echtzeit in ein anderes Format umzukomprimieren? Derweil fallen jeden Tag 12-16 Stunden Video an, die entsprechend schnell komprimiert werden müßten, um Platz für die Daten vom Folgetag zu schaffen.

--> Ja, ich habe das Wettrennen gegen den Verfall der Magnetbänder aufgenommen und ich will dieses Wettrennen gewinnen.

Bei den Dias sieht es ähnlich aus: Ich will die nicht scannen, um damit einen elektronischen Bilderrahmen mit VGA-Auflösung zu füttern sondern ich will sie sichern und evtl. in 20 oder 30 Jahren auch wieder in voller Auflösung betrachten können. Also derzeit speichern wir die Bilder alle als TIFFs. JPEG fällt dank Verlustkompression aus. Rechnet man die Körnung des Films auf digitale Verhältnisse um, verfügt ein Dia über ca. 10-12 Megapixel, wenn es mit einer normalen Kamera fotografiert wurde. Mit einer Profi-Kamera bringen es selbst 30 Jahre alte Dias auf gut 20 MegaPixel. Die 30.ooo Bilder machen den Kohl auch nicht wirklich fett. Sind nur 3 TB. Die Videos sind es, die den Datenberg anwachsen lassen.
Leider kann ich gerade mit den Videos nicht nochmal 3 Jahre warten bis wir dann anstatt 1TB Festplatten 4TB Festplatten am Start haben.


Gruß

[lars]

Hallo und herzlich Willkommen cbk,

ja dein Projekt ist ja wirklich ambitioniert! Und ja, ich würde dir gerne meine Daten ( Videos, Dias, Fotos ) schicken, wo Du ja gerade eh dabei bist .
Eahm, eine Frage vorweg, hast Du in deinem Projekt schon an die Datensicherheit gedacht. Entweder ich habe das überlesen oder Du hast es nicht geschrieben. Ich hoffe doch sehr, dass Du wenigstens ein Raid laufen hast. Bei dieser Datenmenge würde ja schon beinahe ein Bandlaufwerk sinnvoll erscheinen.

Zur Frage: Nunja, da gibt es wohl nur eine kurze und knappe Antwort. 40 Platten á 1 TB ergeben die 40 TB die Du haben möchtest. Dann ist alles ausser das Systemlaufwerk dupliziert. Wobei ich mich jetzt nicht hingesetzt habe auszurechnen, ob das Systemlaufwerk des WHS allein für die Dateiverwaltung nicht schon zu klein ist. An 40 Festplatten scheitert der WHS ( und das von ihm benutzte Dateiverwaltungssystem ) eher nicht. In der Betaphase gabe es mal ein Screenshot mit ähnlich vielen Festplatten.

Ich kann deine Qualitätsansprüch durchaus verstehen, habe meine Bilder selber auch in Tif vorliegen, doch würde ich mal testweise überprüfen, ob Du nicht mit einer -zb. divx- Kompression deutlich an Platz sparen kannst, dabei aber noch eine gute Qualität erreichst. 40 Festplatten á 1TB kosten ja auch nicht gerade wenig.
Die Rechenzeit ist natürlich nicht zu vernachlässigen, da hast Du wohl Recht. Hier eine Größenordnung zu nennen wäre meinerseits wohl fahrlässig, denn ich weiß schließlich nicht wie dein FSC Primergy TX150 derzeit ausgestattet ist.

[balticsea]

Ich würde Dir PowerEdge Server mit entsprechenden Raid-Systemen empfehlen. Ist aber nicht ganz billig.
Wir benutzen so ein System als Cluster aufgebaut.

[cbk]

ja dein Projekt ist ja wirklich ambitioniert! Und ja, ich würde dir gerne meine Daten ( Videos, Dias, Fotos ) schicken, wo Du ja gerade eh dabei bist .
Eahm, eine Frage vorweg, hast Du in deinem Projekt schon an die Datensicherheit gedacht. Entweder ich habe das überlesen oder Du hast es nicht geschrieben. Ich hoffe doch sehr, dass Du wenigstens ein Raid laufen hast. Bei dieser Datenmenge würde ja schon beinahe ein Bandlaufwerk sinnvoll erscheinen.

@Lars: Ich habe von den Daten ein Backup auf externen Festplatten, die ich möglichst weit entfernt vom Server lagere. Nachdem, was ich während meiner Studenten-Zeit erlebt habe, habe ich Abstand von Raid-Lösungen genommen. Zwar beugen Raids dem Festplattenausfall vor, dafür bringen sie aber andere Probleme mit sich und bieten auch keinen wirklichen Schutz.

Was meiner Meinung nach gegen Raids spricht:

• Bei einem Virusbefall ist die Sicherungskopie auch automatisch verseucht / unbrauchbar.
• Bei versehentlichem Löschen ist die Datei auf der Sicherungskopie auch gleich mit weg.
• Sollte bei einem Raid 5, 6 oder 10 der Controller kaputt gehen, komme ich an die Daten nicht mehr heran, wenn ich es nicht schaffe einen identischen Controller (Hersteller, Typ) zu beschaffen, da alle Hersteller die Daten unterschiedlich auf den Laufwerken verteilen (Blockgrößen etc.).
• Bei Überspannungs-Schäden ist gleich alles im Eimer.
• Im Fall von Feuer oder Überschwemmung sind die Daten auch auf der Sicherung nicht mehr lesbar.

Wenn ich vor 3 Jahren meine Daten nicht alle Daheim und in der Studi-Bude (jeweils gegenseitig) ausgelagert hätte, hätte ich heute dank eines Wasserschadens nichts mehr.


Gruß

[Sumo]

RESPEKT!!!!

Da habt Ihr ja richtig was vor. Ich habe auch vor ein paar Jahren meine Video digitalisiert, es waren aber nicht mal ansatzweise Eure Mengen und meines war schon viel Arbeit.

Jetzt mal zur Technik.

Grundsätzlich gilt: RAID ersetzt kein Backup!!! Auch ein RAID50, also ein gespiegeltes RAID5 ist fehlbar.
Bandsicherung ist bei den Datenmengen nicht mehr praktikabel und bezahlbar. Ein LTO3 Laufwerk kostet schon EUR 1500 und die passenden 800GB Tapes noch mal EUR 100,- das Stück.

Euren Ansatz mit einem dicken Server (wie der auch immer ausgeprägt ist) und ext. HDDs zur Sicherung halte ich für sinnvoll (mache ich auch - aber nicht in der Größe). Zusätzlich spricht dafür dass die Hardware irgendwann nochmal einer sinnvollen zweitverwertung zugeführt werden kann, wer will schon alte Bänder haben.

Den Primergy TX150S4 halte ich für nicht so geeignet, er ist halt nur für 4HDDs ausgelegt (habe selber 20 Stück davon in der Firma - dezentral) Mehr Sinn macht ein NAS System, z.B. von N-Tec GmbH http://www.ntecgmbh.de Modell:rapidNAS MS524-G3
In das Teil könnt Ihr 24HDDs reinbauen oder gleich mitbestellen (war für uns günstiger als beim Händler um die Ecke) und in alle Richtungen konfigurieren. Das Teil läuft mit Windows Storage Server 2003R2 (auch ein Abkömmling des Servers 2003) oder mit Linux. Ob ein WHS auf der Kiste läuft kann ich nicht sagen, drinnen steckt aber ein Asus Barebone mit Standard Komponenten.

Zur Sicherung würde ich 500GB USB HDDs nehmen, die sind derzeit amgünstigsten EUR/GB.

Gruß Sumo

[Martin]

Hallo cbk,

da hast Du Dir ganz schön was vorgenommen.

Frage: müssen die Daten a) im kurzfristigen Zugriff sein (also online) oder b) geht es mehr um die digitale Übertragung und Archivierung?

Wenn a) dann dürften 20-40TB schon für die richtige Hardware heftig ins Geld gehen. Ob da der WHS da noch die richtige Basis dafür ist?
Ich bin mir nicht sicher ob der Speicherausgleich damit noch klar kommt.

Wenn b) könntest Du die Daten ja auch auslagern.
Damit wäre auch die Frage nach dem Backup zu lösen. Da kommen mir zum einen dicke USB-Laufwerke in den Sinn,
die dann jeweils paarweise die gleichen Daten tragen und an unterschiedlichen Orten offline gelagert werden.
Oder Du greifst zu einem hochkapazitiven Bandlaufwerk, wie LTO oder DLT und sicherst das auf Band:
http://www.transtec.de/D/D/products/Sto ... s/lto.html

Gruß
Martin

[cbk]

Den Primergy TX150S4 halte ich für nicht so geeignet, er ist halt nur für 4HDDs ausgelegt (habe selber 20 Stück davon in der Firma - dezentral) Mehr Sinn macht ein NAS System, z.B. von N-Tec GmbH http://www.ntecgmbh.de Modell:rapidNAS MS524-G3

Malzeit,
das der tx150 nicht viele Festplatten frißt, da hast du Recht. Inzw. bin ich dazu übergegangen alte extene SCSI-Gehäuse (gab ja mal diese Laufwerksgehäuse mit vier bis sieben 5,25" Einschüben) umzubauen.
In den Server habe ich eine "DawiControl DC 4300" Sata Controller eingebaut (in dem langen 64bit PCI-Slot). Dessen vier Sata-Anschlüsse habe ich alle mit Hilfe von eSata Blenden hinten herausgeführt. In den externen Scsi-Gehäusen sitzt dann jeweils ein Port Multiplier, der es erlaubt fünf Sata-Festplatten an einen Sata-Anschluß anzubinden. Als Port-Multiplier verwende ich den DawiControl DC-6510 PM. Sollte ich das System komplett damit ausbauen, hätte ich 20* 1 TB Laufwerke an einem langen 64bit PCI-Slot. Der Server hat noch einen weiteren langen Slot, so daß ich dort notfalls einen weiteren Sata-Controller für das Duplizieren anbinden könnte.

Derweil füttere ich bei Bedarf gerade das zweite externe Sata-Gehäuse Stück für Stück mt Festplatten. (Immer wenn der Speicherplatz eng wird, kommt eine weitere Festplatte rein. Ich hoffe immernoch, daß während der Bestückung größere Festplatten am Markt verfügbar werden, so daß ich die Anzahl der Laufwerke weiter minimieren kann.

Was meint ihr? Ist so ein WHS für die Aufgabe unterdiemensioniert oder packt der das? Zur Zeit werkelt noch ein Windows XP auf dem Rechner (bitte nicht hauen ) und zumindest die 8 TB laufen damit ganz gut.


Gruß
Chris Benjamin

PS: 750 VHS-Bänder sind geschafft. Den Rest packe ich auch noch...

[lars]

Hehe, in meiner Überschwenglichkeit und Freude über solch ein interessantes Projekt habe ich tatsächlich Mist geschrieben! Das gestehe ich gerne ein. Mir würde es nicht einfallen mittels Raid ein tatsächliches Backup zu fahren. Ist ja tatsächlich völliger Blödsinn. Ich meinte auch eher zur Verfügbarkeitserhöhung... *schäme*

[Sumo]

Da hast Du dir ja ganz schön was zurechgebaut

Mir ist nicht bekannt ob einer unserer WHS Freaks solche Datenmengen verarbeitet.

Gruß Sumo

[cbk]

Da hast Du dir ja ganz schön was zurechgebaut

Mir ist nicht bekannt ob einer unserer WHS Freaks solche Datenmengen verarbeitet.

Gruß Sumo

Moin,
ich rechne halt damit, daß Hitachi und Co. in 3 Jahren soweit sind 4 TB Festplatten am Markt zu haben und dann erübrigt sich mein Speicherproblem mit dem alten Datenbestand. Dann kann man das mal eben mit 5 Festplatten abfackeln. Warum sollte ich also jetzt groß in eine Infrastruktur investieren, um mehrere Dutzend Platten anzubinden, wenn ich das so schnell wieder ausmustern kann?
Die Platten müssen ja allein schon deswegen größer werden, um das ganze HDTV-Material fassen zu können. 20 Filme und eine 1 TB Festplatte ist voll. Ich rechne damit, daß dann anstatt 4GB / Film ca. 40-50GB anfallen werden. Wozu sonst haben heute schon Blue-Ray Scheiben entsprechenden Speicherplatz?

Gruß
Chris Benjamin

PS: Warum baut keiner mehr 5,25" Festplatten? Da bekäme man 11 Scheiben drin unter und in Verbindung mit den größeren Scheiben könnte man mit heutiger Technologie schon 10TB in ein Laufwerk stopfen.

[ChrisC2D]

Also im SoHo Bereich (du möchtest ja keine Unsumme ausgeben, sagtest du) gibts nur meiner Meinung nach die Möglichkeit einen 16 Port SATA Raid 6 Kontroller dir zuzulegen. Die liegen für SATA im Bereich 600 €. Dazu ein 19 Zoll ServerRack mit 16x 3,5 Zoll und ist gleich mit dazupassender Kühlung.
Dadran schließt du dann 16 x die WD 1TB Festplatte WD10EACS an. Die ist ausreichend schnell und Energiesparender als die Konkurenz eh.
Alles andere mehr liegt eher im Profi Bereich und ist Preis/Leistung uninteressant.
Natürlich sichert es dich nicht gegen Virusbefall ab. Aber tiff.s und Mpeg.s werden eher seltener von Viren befallen . Und bei Kontrollern in dieser Preisklasse gibts eh meist 5 Jahre Garantie und Adaptec und Konsorten geben selbst 10 Jahre nach Kauf bei Kontrollerproblemen noch irgendwelchen Support.
Den WHS kenne ich leider nur vom lesen im Forum. Aber soweit ich es hier verstanden und gelesen habe ist der eher gedacht für Datenmengen bis 1TB und das auch nur nur beim kleinem bis mittlerem Datenaufkommen/verkehr.
Und die VHS Bänder und Dias die du eh nicht mehr bearbeiten möchtest würde ich natürlich zu xivd bzw jpg packen. Das spart ne Menge und die Qualität ist die gleiche bei passender Einstellung.

P.S. Doktorarbeiten und andere sehr wichige Daten haben auf einem Raid 5/6 eh nichts verloren sowas brennt man regelmäßig weg.

[msg86]

ich rechne halt damit, daß Hitachi und Co. in 3 Jahren soweit sind 4 TB Festplatten am Markt zu haben und dann erübrigt sich mein Speicherproblem mit dem alten Datenbestand. Dann kann man das mal eben mit 5 Festplatten abfackeln.

Du solltest, wenn es für dich wichtige Daten sind, schon wegen der Datensicherheit alle Fünf Jahre deine HDD´s tauschen. Die halten auch nicht ewig. mir sind seit 1999 5 Festplatten angeraucht!

zu der Hardwarelösung: mach doch alles in einen Schrank, die Daten auf USB-HDD bzw kleinere Fileserver die dann Direkt in deinen Hautserver eingebunden sind. So hättest alles Zentral bei bedarf On-/Offline und bei Problemen ist nicht gleich alles Weg. Abgesehen davon wäre die Lösung modular, und du könntest bei bedarf extrem einfach und günstig mehr Speicherplatz einbinden.
Ich hab hier mal meine Idee auf ein Bild gemacht...



Gruß
Michael

[stefanprass]

Hallo zusammen,

auch von mir ein "Chapeau" für die Mühe, die Du Dir machst.

Du solltest noch bedenken, das wenn Du Dir den WHS installierst, er Deine Festplatten formatiert. Das wäre am Ende Deines Projektes wohl der 'Worst Case'.

Gruß

Stefan