Indexer vermüllt Systempartition

[sk_akbe]

Moin:

Heute kam ich per Konsole plötzlich nicht mehr auf den WHS. Die Freigaben waren aber noch verfügbar und zum Glück funktionierte die Anmeldung über den RDP noch. Dabei stellte ich dann fest, daß Partition c: voll war (Anzeige tatsächlich 0MB frei!)! Fehlermeldung von Sophos, daß er nicht updaten konnte, gabs natürlich auch (logisch, bei voller Systempartition ).
Ich hatte zuerst die log-Files in Verdacht. Damit ich überhaupt irgendwas tun konnte, habe ich erstmal viele Logfiles gelöscht, aber das brachte nur ca. 25MB. Aber immerhin konnte ich dann TreeSize installieren und auf die Suche nach dem Platzfresser gehen.
Die Überraschung: Unter C:\Dokumente und Einstellungen\All Users\Anwendungsdaten\Microsoft\Search\Data\Applications\Windows gab es satte 13,5 GB (!) an Dateien.

Nun frage ich mich: wieso müllt der SearchIndex die Festplatte plötzlich so komplett zu? So viele neue Dateien sind da gar nicht hinzu gekommen.
Und wozu braucht ein Server überhaupt diesen Indexer. Man sucht ja nicht direkt auf dem Server Dateien, sondern nur vom Client aus über die Freigaben.

Die entscheidende Frage ist aber: Wie kann man den Indexer im Zaum halten? Kann man da eine Begrenzung eingeben? Oder muß man ihn deaktivieren?

[larry]

In den Indizierungsoptionen kann man den Index auch auf einen anderen Pfad legen. Man kann sich auch unter D einen Ordner außerhalb der Shares anlegen (z.B. d:\index).
Sinn macht der Index schon, da dieser auch bei einer Suche vom Client angesprochen wird und auch die Bibliotheken von Win7 damit arbeiten.

Gruß
Larry

[sk_akbe]

In den Indizierungsoptionen kann man den Index auch auf einen anderen Pfad legen. Man kann sich auch unter D einen Ordner außerhalb der Shares anlegen (z.B. d:\index).

Aber ich dachte, daß man gerade das nicht machen sollte (war hier irgendwo mal zu lesen, weil der Demigrator ins stolpern käme, wenn was außerhalb seines Bereichs gespeichert wird)?

Sinn macht der Index schon, da dieser auch bei einer Suche vom Client angesprochen wird

Wie wird er denn angesprochen (also über welche Ports), d.h. was genau muß dafür freigegeben sein z.B. in der Firewall? Schließlich sollte ein fremder Rechner ja nicht so ohne weiteres Daten erhalten dürfen, wenn der User nicht authorisiert ist.

und auch die Bibliotheken von Win7 damit arbeiten.

Win7 haben wir erst seit kurzem ein System, da bin ich also noch nicht so vertraut damit.

Ansonsten finde ich dieses neue Windows-Search sowieso ziemlich schlecht, da es Dateien (über den Dateinamen) weitaus schlechter findet (wenn überhaupt!) als bei den älteren Windows-Versionen.
Und nach Datei-Inhalt wird bei uns sowieso fast gar nicht gesucht. Der Indexer steht auch noch in der Grundeinstellung, d.h. er indiziert nur Eigenschaften, nicht aber Inhalte. Und dann trotzdem über 13 GB? Das ist heftig! Wie hat MS sich das wohl gedacht bei einer 20GB Systempartition? Schließlich ist es doch der Normalfall (dafür ist er ja schließlich gemacht worden), daß ein WHS mit etlichen 100 000 Dateien bestückt wird? Wie groß sind denn eure Indexe durchschnittlich?

Ich hatte ja gehofft, daß man dem Indexer sagen kann, daß er max. x GB Festplattenplatz verbrauchen darf und alles was darüber ist wird dann eben nicht indiziert (würde man sowieso nicht merken bei der schlechten Trefferquote ).

[Mike Lowrey]

Aber ich dachte, daß man gerade das nicht machen sollte (war hier irgendwo mal zu lesen, weil der Demigrator ins stolpern käme, wenn was außerhalb seines Bereichs gespeichert wird)?

Du solltest nur nicht in den Shares machen, auf D:\xyz kannst du quasi alles machen.

Wie wird er denn angesprochen (also über welche Ports), d.h. was genau muß dafür freigegeben sein z.B. in der Firewall? Schließlich sollte ein fremder Rechner ja nicht so ohne weiteres Daten erhalten dürfen, wenn der User nicht authorisiert ist.

Das wird über die Dateifreigaben geregelt und funktioniert natürlich erst nach der Authentifizierung. Beim Beginn der Suche ruft deine lokale Windows Search den Server Index ab und sucht dann auf dessen Basis.

Ansonsten finde ich dieses neue Windows-Search sowieso ziemlich schlecht, da es Dateien (über den Dateinamen) weitaus schlechter findet (wenn überhaupt!) als bei den älteren Windows-Versionen.

Wenn der Index steht sucht die bei weitem besser, nur auf dem Server scheint sie etwas daneben zu liegen.

PS: Meine Datenbank ist 2 GB groß.

[sk_akbe]

Du solltest nur nicht in den Shares machen, auf D:\xyz kannst du quasi alles machen.

Der Hinweis betraf nicht die Shares, sondern tatsächlich D:\xyz. Ich weiß nur nicht mehr in welchem Unterforum das war und welche Suchbegriffe relevant waren.

Das wird über die Dateifreigaben geregelt und funktioniert natürlich erst nach der Authentifizierung.

Und wirklich auch nur die Dateien, die in für den authentifizierten User freigegebenen Verzeichnissen liegen? [/quote]

Beim Beginn der Suche ruft deine lokale Windows Search den Server Index ab.

Über welchen Port?

Wenn der Index steht sucht die bei weitem besser, nur auf dem Server scheint sie etwas daneben zu liegen.

Nö. Hier findet Windows Search die Dateien auch auf den lokalen PCs unter Vista nicht, trotz fertigem Index, selbst wenn ich ein Verzeichnis angebe und nur wenige Dateien in diesem Verzeichnis sind. Und er findet die Datei selbst dann nicht, wenn ich den Dateinamen kopiere (um Schreibfehler auszuschließen).

PS: Meine Datenbank ist 2 GB groß.

Bei ca. wievielen Dateien?

Edit: Hatte gestern das komplette Lauferk D: herausgenommen aus der Indizierung. Dann heute nachgesehen (WHS läuft permanent durch): An der Größe des Index hat sich nix geändert. Und heute war Lauferk D: plötzlich wieder angehakt. Wie verkleinert man denn nun die Indexdatenbank? Einfach die Dateien unter C:\Dokumente und Einstellungen\All Users\Anwendungsdaten\Microsoft\Search\Data\Applications\Windows löschen?

[Mike Lowrey]

Der Hinweis betraf nicht die Shares, sondern tatsächlich D:\xyz.

Das kann nicht stimmen, weil der Demigrator dort gar nichts macht.

nd wirklich auch nur die Dateien, die in für den authentifizierten User freigegebenen Verzeichnissen liegen?

Ja. Die gleiche Technik wird auch im Windows Search Server verwendet, da gäbe es sonst schnell Beschwerden

Über welchen Port?

TCP/UDP 445

Hier findet Windows Search die Dateien auch auf den lokalen PCs unter Vista nicht, trotz fertigem Index,

Seit PP 3 wird die Windows Search 4 verwendet unter Vista noch die 3er - neben dem sind einige Ordner überhaupt nicht im Index drin.


Keine Ahnung wie viel Dateien vorhanden sind, in Datenmengen etwas über 4,5 TB und wie gesagt mit Inhalt indiziert - am besten verlegst du mal den Index Ort und erstellst dann den Index komplett neu.

[sk_akbe]

Das kann nicht stimmen, weil der Demigrator dort gar nichts macht.

Aber wenn der Demigrator glaubt, daß auf der D:-Partition der Systemplatte noch 100 GB freier Speicher ist, obwohl es tatsächlich nur noch 10 MB sind (weil er nicht mitbekommt, daß da in D:\xyz noch viele große Dateien liegen), dann würde es doch bestimmt zu Problemen kommen?

Ok, wenn das also kein Problem ist und der Demigrator mitbekommt, daß da noch was außerhalb seines Bereiches Festplattenplatz verbraucht, dann könnte man dort auch z.B. eine Datenbank abelgen?

Die gleiche Technik wird auch im Windows Search Server verwendet, da gäbe es sonst schnell Beschwerden

Sicherheitsbeschwerden gibt es doch laufend bei Windows in allen Versionen. Wo ist da der Unterschied?

Seit PP 3 wird die Windows Search 4 verwendet unter Vista noch die 3er - neben dem sind einige Ordner überhaupt nicht im Index drin.

Na, also die Ordner, die unter den Indizierungsoptionen gelistet sind, sollten doch auch drin sein im Index und somit gefunden werden, egal bei welcher Version?

am besten verlegst du mal den Index Ort und erstellst dann den Index komplett neu.

Den Index neu zu erstellen hatte ich schon probiert, leider erfolglos: nicht genug Speicherplatz vorhanden!
Der Indexer hat ja leider die aus den Indexoptionen entfernten Ordner offenbar nicht aus dem Index gelöscht, d.h. die Indexdateien belegen immer noch 13GB. Hatte den Indexdienst auch schon beendet und neu gestartet mit den neuen Optionen (also ohne D: zu indizieren). Danach hat der Indexdienst eine weile gerödelt (ca. 45% CPU-Last) und ich hatte gehofft, daß er jetzt die Dateien, die nun nicht mehr indiziert werden sollen, aus dem Index entfernt und die Datenbank dadurch kleiner wird. Hat aber leider nix gebracht.

Werde jetzt mal versuchen, den Index auf D: zu legen. Aber eigentlich möchte ich das gar nicht, mir wäre lieber, wenn er auf C: bleiben könnte (mit entsprechend weniger indizierten Dateien).

Edit: So, habe den Index nun auf D:\indexer gelegt und den Indexdienst beendet. Dabei kam die Fehlermeldung (wie schon bei den vorherigen vergeblichen Versuchen der Änderung der Indexgröße), daß der Dienst nicht beendet werden könne, aber kein Fehler zurückgegeben wurde. Nun, beendet und automatisch neugestartet wurde der Dienst trotzdem (naja, noch ist er nicht gestartet, sondern noch kräftig am rödeln und es werden Dateien unter D:\indexer abgelegt). Mal sehen, wie lange er dazu benötigt.

[Mike Lowrey]

Aber wenn der Demigrator glaubt, daß auf der D:-Partition der Systemplatte noch 100 GB freier Speicher ist,

Der Demigrator glaubt nicht, der fragt den Füllstand ab und arbeitet damit.

Na, also die Ordner, die unter den Indizierungsoptionen gelistet sind, sollten doch auch drin sein im Index und somit gefunden werden, egal bei welcher Version?

Sollte ja.

Der Indexer hat ja leider die aus den Indexoptionen entfernten Ordner offenbar nicht aus dem Index gelöscht, d.h. die Indexdateien belegen immer noch 13GB.

Dann deaktiviere den Dienst und lösche die Daten von Hand.

[sk_akbe]

der fragt den Füllstand ab

Welchen?
Aufgrund dieses Pools fällt das Ergebnis ja durchaus anders aus.
Arbeitsplatz sagt hier: 911 GB Gesamt, 1,79 TB frei (habe 3x1TB Platten im System und laut Datenträgerverwaltung in der Konsole ist die Systemplatte bisher nur zu 2% belegt, die Daten der shares liegen also bisher noch zu 100% auf den anderen beiden Platten)

Dann deaktiviere den Dienst und lösche die Daten von Hand.

Mit dem händischen Löschen von Systemdateien bin ich immer seeeehr vorsichtig.
Man kann nie wissen, was das für unerwartete Auswirkungen hat.

Inzwischen ist die Kiste fertig mit rödeln und der Search-Dienst wieder gestartet. Auf Laufwerk C: sind nun wieder 13,5 GB frei, die Dateien wurden also tatsächlich gelöscht (alles unter C:\Dokumente und Einstellungen\All Users\Anwendungsdaten\Microsoft\Search\Data) ist weg.
Aber der Indexer ist noch nicht fertig (ca. 30% CPU-Last). Meldung unter Optionen: Die Indizierung wird gewartet. Bitte warten.
Nunja, diese Meldung kam auch bei den vorherigen Versuchen, aber die Indexwartung konnte wegen des fehlenden Speicherplatzes nicht beendet werden. Bin mal gespannt, wie weit der Indexer diesmal kommt (bisher war bei 316 141 Dateien Schluß) und wie groß der Index zum Schluß werden wird (habe jetzt erstmal nur D:\shares in den Indizieroptionen eingetragen).

Noch mal eine Frage:
Was ist auf dem WHS überhaupt sinnvoll zu indizieren?
Nur D:\shares oder D: komplett? Hat man bei Indizierung von D: komplett die Dateien nicht doppelt (Ordnerduplizierung) und dreifach (ReparsePoints) drin? Schließlich läuft der Indexdienst ja außerhalb der WHS-Konsole und dürfte somit von der speziellen Struktur des Pools nix mitbekommen? Was sieht der Indexer überhaupt vom Pool? Und was sieht er von den Client-Sicherungen?

[Mike Lowrey]

Aufgrund dieses Pools fällt das Ergebnis ja durchaus anders aus.

Nur wenn man die falschen Methoden verwendet.

Total verblödet sind die Devs bei MS auch nicht.

Mit dem händischen Löschen von Systemdateien bin ich immer seeeehr vorsichtig.

Anwendungsdaten sind aber keine Systemdateien.
Nicht umsonst darf jedes Programm ohne UAC Berechtigungen darein schreiben.

Was ist auf dem WHS überhaupt sinnvoll zu indizieren?

Hängt von der Nutzung ab, den meisten sollte d:\Shares aber reichen, ansonsten würde ich auch nur explizit weitere Ordner hinzufügen.

[larry]

Was ist auf dem WHS überhaupt sinnvoll zu indizieren?
Nur D:\shares oder D: komplett? Hat man bei Indizierung von D: komplett die Dateien nicht doppelt (Ordnerduplizierung) und dreifach (ReparsePoints) drin? Schließlich läuft der Indexdienst ja außerhalb der WHS-Konsole und dürfte somit von der speziellen Struktur des Pools nix mitbekommen? Was sieht der Indexer überhaupt vom Pool? Und was sieht er von den Client-Sicherungen?

Es hat schon seinen Grund warum die Standardeinstellung nur D:\Shares enthält.
Hast du dies evtl. händisch auf D:\ und/oder auf C:\ erweitert. Das würde evtl. auch den riesigen Index erklären.

Gruß
Larry

[sk_akbe]

Es hat schon seinen Grund warum die Standardeinstellung nur D:\Shares enthält.

Tja, nur war bei mir D:\ voreingestellt.

Hast du dies evtl. händisch auf D:\ und/oder auf C:\ erweitert. Das würde evtl. auch den riesigen Index erklären.

Ich hatte da gar nichts geändert gehabt, ja noch nichteinmal nachgesehen, da ich Windows Search auf dem WHS ja gar nicht benutzt hatte (also über RDP und dann Dateien suchen).
Ich habe das nun zusammen mit der Änderung des Speicherortes geändert auf "shares". Voreingestellt waren auch noch "Dokumente und Einstellungen" (in der Spalte "ausschließen" steht "Anwendungsdaten; Default User") und "Internet-Explorer-Verlauf (WHS; Administrator). Der IE-Verlauf ist doch auch überflüssig, schließlich surft man ja nicht auf dem WHS? Oder braucht die Konsole der Clients die beiden Einstellungen? Ich habe sie erstmal so gelassen.

An der Größe des Indes hat das aber nicht viel geändert, es sind immer noch 13GB (vorher 13,5 GB) bei über 430.000 Dateien (zuvor blieb der Indexer bei etwas über 300.000 Dateien hängen wegen des fehlednen Speicherplatzes auf c:).
Und der Indexer scheint immer noch nicht fertig zu sein laut Meldung unter "Indizierungsoptionen"! Braucht der immer so lange (der WHS läuft 24/7 durch)?
Die Anzahl der Dateien kann aber durchaus realistisch sein, denn es fallen ständig sehr viele Messdateien an, welche einmal wöchentlich in die WHS-shares kopiert werden zwecks Weiterbearbeitung. Diese Messdateien sind allerdings oft nur wenige KB groß. Aber der Indexer ist ja so eingestellt, daß er den Datei-Inhalt nicht mit in den Index aufnimmt.

[Nobby1805]

Irgendwo hast du dir eine nicht Standard Konfiguration eingefangen ... mach mal ein paar Screenshot was bei dir sonst noch anders eingestellt ist ... die Anzahl der Dateien ist jedenfalls kein Grund für die Größe der Indexdatei und die Laufzeit

[Watson]

Ansonsten finde ich dieses neue Windows-Search sowieso ziemlich schlecht, da es Dateien (über den Dateinamen) weitaus schlechter findet (wenn überhaupt!) als bei den älteren Windows-Versionen.
Und nach Datei-Inhalt wird bei uns sowieso fast gar nicht gesucht. Der Indexer steht auch noch in der Grundeinstellung, d.h. er indiziert nur Eigenschaften, nicht aber Inhalte.

benutzt besser Everything http://www.voidtools.com/

[larry]

Ansonsten finde ich dieses neue Windows-Search sowieso ziemlich schlecht, da es Dateien (über den Dateinamen) weitaus schlechter findet (wenn überhaupt!) als bei den älteren Windows-Versionen.
Und nach Datei-Inhalt wird bei uns sowieso fast gar nicht gesucht. Der Indexer steht auch noch in der Grundeinstellung, d.h. er indiziert nur Eigenschaften, nicht aber Inhalte.

benutzt besser Everything http://www.voidtools.com/

Hallo Watson,

wenn du schon zitierst, dann bitte richtig. Das von dir genannte stammte nicht von mir. Ich habe an der Windowssuche nicht auszusetzen und finde damit auch was ich suche.
Kannst es dir ja oben nochmal anschauen.

Gruß
Larry