Content Crawler

Eigener Bereich für die Entwickler unter uns! Add-Ins, aber auch andere Programme.
Antworten
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Content Crawler

Beitrag von Mike Lowrey »

Da meine Idee zu einem Home Server Add In (leider ;) ) nicht den ersten Platz gewonnen hat mich die Idee aber nicht mehr los lässt, habe ich vor einiger Zeit einfach angefangen es selber zu machen.

Die Idee des Content Crawler ist es einen Dienst auf dem Client zu haben, welcher dem Anwender die Aufgabe abnimmt neue Dateien, z.B. Musik (mp3, flac, ape...) auf dem Home Server einsortieren zu müssen.
Das ganze kann man sicherlich mit genügend Aufwand mit Sync Tools oder Batch Jobs erledigen, wenn man diese jedoch wieder und wieder anpassen muss wird das aus meiner Sicht nur lästig.

Und hier kommt der ContentCrawler (<- der wohl endgültige Name @ sTunTe ;) ) ins Spiel.

Geplante Features sind folgende:
- Regelwerke wie mit Dateien verfahren werden soll, basierend auf Dateiendungen
- Möglichst umfangreiche Dateiunterstützung, die Sortierung soll nach Meta Daten ablaufen; bspw.: MP3s sollen nach \\whs\Musik , mit der Regelung geordnet nach \Künstler\Album\ (die Meta Daten werden _nicht_ verändert!)
- Zentrale Steuerung über den WHS (hier bin ich mir über die Art der Kommunikation noch nicht so ganz schlüssig, ich hoffe jedoch das man es entweder global oder für jeden Client machen kann...)


Und jetzt die alles entscheidende Frage!
Womit könnte man das Add In noch erweitern?


PS: Wer ne ordentliche Open Source Lib für Video Meta Daten kennt -> PN an mich
Zuletzt geändert von Mike Lowrey am 11. Okt 2009, 14:58, insgesamt 1-mal geändert.
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
sTunTe
Moderator
Beiträge: 3078
Registriert: 9. Jun 2008, 16:25
Wohnort: im nasskalten Norden

Re: Geplantes Addin: Content Crawler

Beitrag von sTunTe »

Mike Lowrey hat geschrieben:Und hier kommt der ContentCrawler (<- der wohl endgültige Name @ sTunTe ;) ) ins Spiel.
Ich weiß garnicht was Du willst?!?
Meine Addins (sind ja eigentlich 2 ;) ) haben auch einen endgültigen Namen.

PS: Klugscheißer! ;)
PPS: Viel Erfolg!

Gruß
sTunTe
Benutzeravatar
larry
Moderator
Beiträge: 9998
Registriert: 22. Dez 2007, 16:13

Re: Geplantes Addin: Content Crawler

Beitrag von larry »

Mike Lowrey hat geschrieben: PS: Wer ne ordentliche Open Source Lib für Video Meta Daten kennt -> PN an mich
Meinst du so etwas:
http://mediainfo.sourceforge.net/de

Gibt es als Programm und als DLL. Wird auch in Mediaportal verwendet und die Dateieigenschaften auszulesen.

Gruß
Larry

PS: Irgendwie mag ich PNs nicht.
Hauptserver: Intel I3-2100, MSI H67MA-E45, WHS 2011
System: Corsair Force GT 90GB - Datenplatten: 2*Seagate 3TB + ext. WD 500 GB für Serversicherung(nur System),8 GB Ram, Fractal Design R3, be quiet! L7-300W, 2*Digital Devices cineS2(Mediaportal)
Archivserver: Intel Cel.G530, Intel DB65AL, WHS 2011, Drivebender
System: SamsF4 320GB - Datenplatten: 5*2TB SamsF4. + VHD für Serversicherung(nur System), 4 GB Ram, Lancool K-11X, be quiet! L7-300W
Backupserver: AMD Athl. X2 4850e, Gigabyte GA-MA780G-UD3H, 3*Asrock SATA3 + 1* DeLOCK 70154 SATA Controller, WHS 2011, Drivebender
System: SamsF4 320 GB - Datenplatten: 15 diverse Platten + VHD für Serversicherung(nur System) ,4 GB Ram, Seasonic ss 330 Watt
Router: AVM FRITZ!Box 7270, Kabel Deutschland
Clients: 2* HTPC, Win7 HP 32 Bit - 2*Arbeitsrechner Win7 HP 64 Bit - 1*Laptop Win7 HP 32-Bit
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Ich weiß garnicht was Du willst?!?
Dein fertiges AddIn :ugeek:
PS: Klugscheißer!
HrHr Ja!!
PPS: Viel Erfolg!
Danke!


@ larry, PN ist ja keine Pflicht ;)

Danke dir für den Tipp, MediaInfo sieht optimal aus!


Achja...
Vorschläge zu anderen Dateitypen neben Medien sind immer willkommen...!
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Grr!
Die Leute von HP haben wohl die Ideen des Add In Contest durchforstet: http://www.mediasmartserver.net/2009/09 ... and-ex495/
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
sTunTe
Moderator
Beiträge: 3078
Registriert: 9. Jun 2008, 16:25
Wohnort: im nasskalten Norden

Re: Geplantes Addin: Content Crawler

Beitrag von sTunTe »

Mike Lowrey hat geschrieben:Grr!
Die Leute von HP haben wohl die Ideen des Add In Contest durchforstet: http://www.mediasmartserver.net/2009/09 ... and-ex495/
Sieht verdächtig danach aus.
In meinen Augen schon mehr als unverschämt.
Die Ideen anderer klauen, um seinen eigenen Kram besser an den Mann/Frau bringen zu können.
Und natürlich gibt es dieses Addin ausschließlich für die HP-Kisten und lässt sich unter gar keinen Umständen auf anderen Homeservern installieren.
Wie war das gleich mit dem Urheberrecht... geistigem Eigentum... etc... ?!?
Aber wehe jemand kopiert das Design von HP... dann kommt gleich ein Schwadron übermotivierter Anwälte aus dem Keller gekrochen....
Lächerlich.

Lass Dich deswegen nicht unterkriegen.
Es gibt noch genug Homeserverbesitzer, die eine OEM-Version ihr Eigen nennen und sich über Deine Arbeit freuen werden. ;)


Gruß
sTunTe
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Ja sieht ziemlich verdächtig aus... aber so ist das halt!

Weiter machen werde ich trotzdem, da wie du ja schon sagst, viele Leute keinen HP haben, so wie ich auch :D

Trotzdem Danke für die Rückmeldung!

Aber jetzt mal zum aktuellen Stand:
Die letzte Woche habe ich mich fast nur damit rumgeschlagen, ob ich Filesystemwatcher nehme oder Directory.getfiles -> nach ca 5 komplett neuen Implementierungen bin ich jetzt bei letzterem hängen geblieben, ist zwar wohl nicht ganz so performant hat aber wesentlich weniger Macken!
Ich schätze das ich Ende der Woche - Anfang nächster Woche 20 % erreicht habe - danach Peile ich ca. 4 Meilensteine an:
- die Ordnerüberwachung + CopyMove Logik zu einem Dienst machen
- Dem Dienst die Möglichkeit MetaDaten zu lesen mitgeben (Dank 2 unterschiedlicher Bibliotheken wird das wohl sehr umfangreich!)
- XML Parser für die Konfiguration und Konfigurations Manager für die WHS Konsole
- erste Tests und einen Haufen Bugs fixen

Danach gibt's dann ne closed Alpha!
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

So heute gibt's mal wieder was neues...

zu erst die gute Nachricht, alles geht schneller als geplant (man hat einfach viel mehr Zeit ist wenn man krank ist...) weiterhin habe ich beschlossen das ganze nicht als Dienst zu implementieren.
All das hat dazu geführt, dass Meilenstein 1(die Ordnerüberwachung + CopyMove Logik zu einem Dienst machen) komplett raus geflogen ist
Meilenstein 2 (Dem Dienst die Möglichkeit MetaDaten zu lesen mitgeben (Dank 2 unterschiedlicher Bibliotheken wird das wohl sehr umfangreich!)) schon zu 40 % fertig ist, MP3s werden schon vollständig verarbeitet, scheinbar funktioniert die lib allerdings etwas anders als erwartet weswegen FLAC noch nicht geht.
Meilenstein 3(XML Parser für die Konfiguration und Konfigurations Manager für die WHS Konsole), XML Parsen ist abgesehen von Prüfroutinen schon fertig, der Code für den Writer auch, hier fehlen allerdings noch die Frontends (geplant sind mittlerweile welche für MP, für WMC und für den WHS)

Alles in allem wird es in der OpenBeta Phase sicher noch Performance Optimierungen geben aber bisher bin ich mit ca 20% Auslastung eines Core 2 Duo mit 2,66 Ghz ganz zufrieden, nebenbei habe ich auch ne Methode eingebaut die erst in Abhängigkeit der bestehenden CPU Last den eigentlichen Ablauf startet.
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Und schon wieder ein paar Neuigkeiten:

1. Da mir die das die bisherige Überwachungslogik zu sehr missfiel habe ich sie direkt neu implementiert die Folge: das eigentliche durchsuchen erzeugt maximal 3 % Last und das Kopieren schlägt auch weniger auf die Performance.

2. Flac klappt jetzt auch tadellos - > dazu aber mal der Aufruf, ob nicht jemand irgendeine APE und/oder Musepack Datei hat die man mir zu kommen lassen kann!


Die letzten Schritte bis zur ersten Veröffentlichung:
Statt Konsolenausgabe - > Logging Infrastruktur implementieren
Den XML Parser leicht anpassen (Zusätzliche Syntax Prüfungen einbauen)

Die Video Bibliothek werde ich erst nach erfolgreichen Alpha Tests einbauen...


Weiterhin gibt es schon eine kleine Roadmap durch Anregungen auf dem MCE - Community Treffen:

Eine Verarbeitung von Daten(im speziellen Bilder) von Digitalkameras/Speicherkarten beim anstecken entsprechender Geräte.


Wer noch weitere Anregungen hat immer her damit!
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

So da ich mit der Entwicklung ohne erste (breitere) Tests nicht weiter komme, gibt es jetzt mal eine erste Testversion, wer diese haben möchte schickt mir bitte eine PN!
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Da man ja auch immer an die Zukunft denken muss habe ich mir überlegt was denn möglicherweise sinnvolle weitere Feature für den Content Crawler sein könnten.

Dabei ist heraus gekommen, dass es möglicherweise ganz interessant sein könnte, als zuschaltbare Option anzubieten, bestimmte Dateitypen in bestimmten Ordnern nicht nur einzusortieren, sondern auch zu verarbeiten, z.B. alle avi Dateien die in einem Ordner landen ins mkv Format zu konvertieren, oder (auch mit Eigeninteresse) alle Flac Dateien auch ins MP3 Format umzuwandeln.

Besteht an so etwas Interesse?
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

So, ich war mal wieder nicht ganz so faul und habe eine weitere Version fertiggestellt.


- der ContentCrawler kann jetzt mit mp3,flac,ape und wma umgehen
- es gibt die Möglichkeit ihm per Parameter zu sagen er soll verschieben statt kopieren, auf Unterverzeichnisse verzichten (man kann auch auf Unterordner verzichten aber einen per Parameter angeben)
- und Ordner per Parameter übergeben - letzteres dient vor allem dazu ihm später Autorun Möglichkeiten zu ermöglichen

Zu beachten ist folgendes: Die Software ist Beta! Wer mit Produktivdaten arbeitet ist selber schuld, es gibt keine Haftung.

Die 2 dll,die ContentCrawler.conf(in dieser ist ein Pfad zur Datei wohin gelogt werden soll - dieser muss unbedingt irgendwo hin zeigen, wo ohne UAC Abfrage Zugriff besteht!) und die ContentCrawler.exe müssen in einen beliebigen Ordner gepackt werden, beim ersten Start wird in den Anwendungsdaten ein Ordner ContentCrawler/1.0.0.0 erstellt in diesen müssen die beiden XML Dateien, diese muss man an die eigenen Bedürfnisse anpassen - wobei aktuell nicht mehr als zwei überwachte Ordner unterstützt werden.
Die verfügbaren Dateitypen sind oben genannt.

Bei Problemen unbedingt den Inhalt der log Datei posten.
Dateianhänge
CC.zip
(209.38 KiB) 197-mal heruntergeladen
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Mike Lowrey
Beiträge: 1181
Registriert: 6. Jan 2009, 19:42

Re: Geplantes Addin: Content Crawler

Beitrag von Mike Lowrey »

Von nun an geht es hier viewtopic.php?f=12&t=7193 weiter.
WHS: ASRock NF6 G-DVI | AMD e4350 | 2 TB Samsung F4 + 2 x Samsung 1TB + 2x 1.5 TB + 0.5 TB (7,5 TB)| 1 GBit@ Home, 20/1 MBit @ www
Antworten