Server für GROSSE DATENMENGEN
Verfasst: 24. Apr 2014, 10:35
Hallo
Wie einige von Euch sicher mitbekommen haben, hatte ich bisher mit meinem WHS2011 sehr sehr wenig glück, auch wenn Larry und besonders Nobby mit viel Mühe versucht haben, mir unter die Arme zu greifen und die Probleme im Griff zu bekommen. Trotz aller Bemühungen hatte ich jetzt schon wieder einen DB Crash sodass alle Sicherungen verloren gingen. Selbst Nobby konnte allerdings nicht nachvollziehen, warum die DB fehlerhaft war da sie laut den gesammelten Angaben keine Fehler aufwies. Der Server verliert einfach laufend die Sicherungseinstellungen und dann geht es damit bergab.
Hier nochmals die Threads, falls jemand nachlesen möchte
viewtopic.php?f=72&t=20211
viewtopic.php?f=72&t=21738
Vermutlich ist die Kombination, die ich einsetze, nicht so geeignet: Großer Backupbedarf durch Clients (6-8 TB), WHS2011 und DriveBender wollen einfach nicht sauber zusammen arbeiten. Der WHS v1 lief dagegen über Jahre hinweg immer ohne Probleme bei diesen großen Datenmengen (hatte am Ende 12 TB an Clientsicherungen verwaltet). Leider kann ich den WHS v1 ja wegen kompletten Umstieg auf Win 8 Maschinen gar nicht mehr nutzen.
Ich habe mir, wie auch andere hier mir empfahlen, ebenfalls bereits versucht professionelle Hilfe zu holen. Es gibt hier in der Gegend zwar einige Dienstleister im Bereich Netzwerktechnik die sich auch mit Windows Server gut auskennen, allerdings überfordert alle schlichtweg die Datenmengen, die ich hier Handhabe. Sie alle haben meistens mit maximal 5 TB Gesamtkapazität zu tun, während bei mir die Anforderungen erst ab 16 TB überhaupt starten. Jetzt dachte ich mir, vielleicht hat hier im Forum doch der ein oder andere Tipps für mich, in was für Richtung es denn gehen könnte, ohne gleich in die 100t EURs zu gehen für Servermaschinen speziell für Mediadatenbanken... (das Geld habe ich auch gar nicht).
Folgender Hintergrund
Ich betreibe eine Werbefilm-Agentur im Allgäu (mitten in der Pampa) und haben derzeit 5 bis später max 10 Clients, die laufend gesichert werden müssen. Das Problem ist, dass die Clients voll mit Videodaten sind, im Durchschnitt sind das dann ca. 50 - 100 GB Videodaten je Projekt (ca. 1 / Woche), die neu dazukommen. Allerdings wenns 4K Material oder RAW Video ist, geht das auch mal schnell hoch auf die 1,5-2 TB je Projekt. Derzeit z.B. verwalte ich gerade 1,4 TB an aktuellen noch offenen Projekten (der rest landet in den Archiven, wobei hier auch noch eine richtige Strategie fehlt).
Die meisten Daten befinden sich derzeit auf unserer Workstation, die anderen Clients greifen derzeit da per 1 GB Ethernet zu und müssen daher vorerst noch nicht gesichert werden, allerdings werden auf absehbarer Zeit immer mehr Projekte kommen die dann auf jeder Station (Client) direkt bearbeitet werden. Von einer Zentralisierung der Daten wurde, aufgrund der Instabilität des Servers und damit der Datenverlustgefahr, vorerst verzichtet. Zumahl eine entsprechende Backupstrategie von den Daten am Server erst entwickelt werden müsste (ich bräuchte also einen Backupserver für den Server + eine zweite Sicherung). Daher sind die Daten immer noch dezentral an der Workstation (Spiegelung stündlich auf int. Festplatten, Spiegelung täglich auf ext. Medien, Spiegelung täglich auf WHS v1, Archivierung via Crasplan und Zoolz (wobei der Upload in die Cloud total lahm ist), Archivierung gewünscht auf den WHS 2011)
Was wünsche ich mir
- Zentral verwalteter Backup von bis zu 10 Clients (was der WHS 2011 ja eigentlich prima lösen würde wenn er liefe)
- Archivierung von großen Datenmengen bis zu 1 Jahr zurück (weil ich immer wieder für ein altes Kunden Projekt zugreifen muss)
- stabile Sicherung von ca. 6-8 TB von der Workstation 1 sowie 6-8 TB von der Workstation 2
- den Server als Shares nutzen und dessen Daten alternativ z.B. auf den WHS v1 sichern für die Redundanz (via iScsi oder wie auch immer)
- den Speicher einfach und unkompliziert blockweise um 12-16 TB erweitern zu können (z.B. über ext. Raid Gehäuse via USB 3.0, Speed würde mir ausreichen)
- den Server auch als Remote Rendering-Maschine zu nutzen, wenn z.B. ein großes Projekt ansteht. Da lässt man den Server das Projekt vom Shares laden und dann 2 Tage durchrendern, ohne dass die Workstations belegt sind
Welche Lösung kommt für mich überhaupt in Frage?
Würde mich wirklich sehr über jeglichen Tipp freuen wie ich diese Sache in den Griff bekommen könnte. Gerne nehme ich auch Tipps entgegen wie ich die Daten zentraler verwalten kann (ohne Risiko von Datenverlust aber, weil der WHS hat mir derart oft das zeug vernichtet) und eine entsprechende Sicherung für den Server aufbaue.
Ggf. falls es Netzwerkprofis unter Euch gibt, auch die Frage wie ich denn meine Infrastruktur aufbauen soll und ob 10Gbit Cat7 Duplex-Leitungen für die Zukunft reichen oder ob ich eigentlich an Fibre Channel für SANs schon denken muss. Ich bin leider da überhaupt nicht versiert und wenn ich von SAN und Fibre spreche, haben die Netzwerkspezis hier vor Ort leider zu wenig erfahrung.
Wie gesagt, bei mir ist es leider eine sehr spezielle Situation, die ich aber gerne im Griff bekäme weil ich derzeit hier ohne wirklich redundante Backuplösung und Archivierung gerade arbeite, während dies beim WHS v1 noch alles super liefe...
Danke im voraus
Igor
Wie einige von Euch sicher mitbekommen haben, hatte ich bisher mit meinem WHS2011 sehr sehr wenig glück, auch wenn Larry und besonders Nobby mit viel Mühe versucht haben, mir unter die Arme zu greifen und die Probleme im Griff zu bekommen. Trotz aller Bemühungen hatte ich jetzt schon wieder einen DB Crash sodass alle Sicherungen verloren gingen. Selbst Nobby konnte allerdings nicht nachvollziehen, warum die DB fehlerhaft war da sie laut den gesammelten Angaben keine Fehler aufwies. Der Server verliert einfach laufend die Sicherungseinstellungen und dann geht es damit bergab.
Hier nochmals die Threads, falls jemand nachlesen möchte
viewtopic.php?f=72&t=20211
viewtopic.php?f=72&t=21738
Vermutlich ist die Kombination, die ich einsetze, nicht so geeignet: Großer Backupbedarf durch Clients (6-8 TB), WHS2011 und DriveBender wollen einfach nicht sauber zusammen arbeiten. Der WHS v1 lief dagegen über Jahre hinweg immer ohne Probleme bei diesen großen Datenmengen (hatte am Ende 12 TB an Clientsicherungen verwaltet). Leider kann ich den WHS v1 ja wegen kompletten Umstieg auf Win 8 Maschinen gar nicht mehr nutzen.
Ich habe mir, wie auch andere hier mir empfahlen, ebenfalls bereits versucht professionelle Hilfe zu holen. Es gibt hier in der Gegend zwar einige Dienstleister im Bereich Netzwerktechnik die sich auch mit Windows Server gut auskennen, allerdings überfordert alle schlichtweg die Datenmengen, die ich hier Handhabe. Sie alle haben meistens mit maximal 5 TB Gesamtkapazität zu tun, während bei mir die Anforderungen erst ab 16 TB überhaupt starten. Jetzt dachte ich mir, vielleicht hat hier im Forum doch der ein oder andere Tipps für mich, in was für Richtung es denn gehen könnte, ohne gleich in die 100t EURs zu gehen für Servermaschinen speziell für Mediadatenbanken... (das Geld habe ich auch gar nicht).
Folgender Hintergrund
Ich betreibe eine Werbefilm-Agentur im Allgäu (mitten in der Pampa) und haben derzeit 5 bis später max 10 Clients, die laufend gesichert werden müssen. Das Problem ist, dass die Clients voll mit Videodaten sind, im Durchschnitt sind das dann ca. 50 - 100 GB Videodaten je Projekt (ca. 1 / Woche), die neu dazukommen. Allerdings wenns 4K Material oder RAW Video ist, geht das auch mal schnell hoch auf die 1,5-2 TB je Projekt. Derzeit z.B. verwalte ich gerade 1,4 TB an aktuellen noch offenen Projekten (der rest landet in den Archiven, wobei hier auch noch eine richtige Strategie fehlt).
Die meisten Daten befinden sich derzeit auf unserer Workstation, die anderen Clients greifen derzeit da per 1 GB Ethernet zu und müssen daher vorerst noch nicht gesichert werden, allerdings werden auf absehbarer Zeit immer mehr Projekte kommen die dann auf jeder Station (Client) direkt bearbeitet werden. Von einer Zentralisierung der Daten wurde, aufgrund der Instabilität des Servers und damit der Datenverlustgefahr, vorerst verzichtet. Zumahl eine entsprechende Backupstrategie von den Daten am Server erst entwickelt werden müsste (ich bräuchte also einen Backupserver für den Server + eine zweite Sicherung). Daher sind die Daten immer noch dezentral an der Workstation (Spiegelung stündlich auf int. Festplatten, Spiegelung täglich auf ext. Medien, Spiegelung täglich auf WHS v1, Archivierung via Crasplan und Zoolz (wobei der Upload in die Cloud total lahm ist), Archivierung gewünscht auf den WHS 2011)
Was wünsche ich mir
- Zentral verwalteter Backup von bis zu 10 Clients (was der WHS 2011 ja eigentlich prima lösen würde wenn er liefe)
- Archivierung von großen Datenmengen bis zu 1 Jahr zurück (weil ich immer wieder für ein altes Kunden Projekt zugreifen muss)
- stabile Sicherung von ca. 6-8 TB von der Workstation 1 sowie 6-8 TB von der Workstation 2
- den Server als Shares nutzen und dessen Daten alternativ z.B. auf den WHS v1 sichern für die Redundanz (via iScsi oder wie auch immer)
- den Speicher einfach und unkompliziert blockweise um 12-16 TB erweitern zu können (z.B. über ext. Raid Gehäuse via USB 3.0, Speed würde mir ausreichen)
- den Server auch als Remote Rendering-Maschine zu nutzen, wenn z.B. ein großes Projekt ansteht. Da lässt man den Server das Projekt vom Shares laden und dann 2 Tage durchrendern, ohne dass die Workstations belegt sind
Welche Lösung kommt für mich überhaupt in Frage?
Würde mich wirklich sehr über jeglichen Tipp freuen wie ich diese Sache in den Griff bekommen könnte. Gerne nehme ich auch Tipps entgegen wie ich die Daten zentraler verwalten kann (ohne Risiko von Datenverlust aber, weil der WHS hat mir derart oft das zeug vernichtet) und eine entsprechende Sicherung für den Server aufbaue.
Ggf. falls es Netzwerkprofis unter Euch gibt, auch die Frage wie ich denn meine Infrastruktur aufbauen soll und ob 10Gbit Cat7 Duplex-Leitungen für die Zukunft reichen oder ob ich eigentlich an Fibre Channel für SANs schon denken muss. Ich bin leider da überhaupt nicht versiert und wenn ich von SAN und Fibre spreche, haben die Netzwerkspezis hier vor Ort leider zu wenig erfahrung.
Wie gesagt, bei mir ist es leider eine sehr spezielle Situation, die ich aber gerne im Griff bekäme weil ich derzeit hier ohne wirklich redundante Backuplösung und Archivierung gerade arbeite, während dies beim WHS v1 noch alles super liefe...
Danke im voraus
Igor