Lokale KI-Modelle auf dem Homeserver – lohnt sich das schon?

[JulianH41]

Hallo zusammen,

ich spiele seit ein paar Wochen mit dem Gedanken, ein kleines Sprachmodell direkt auf meinem Homeserver laufen zu lassen (Ryzen 5, 32 GB RAM, keine dedizierte GPU). Ziel wäre, Notizen zu durchsuchen, Logauszüge zusammenfassen zu lassen und ein paar Skripte gegenzulesen, ohne dass die Daten das Haus verlassen.

Erste Tests mit einem 7B-Modell laufen, sind aber ehrlich gesagt zäh: 3 bis 5 Token pro Sekunde, und bei längeren Texten geht der Speicher schnell in die Knie. Für einfache Fragen reicht es, für alles darüber greife ich dann doch wieder zu einem der Cloud-Dienste. Ich hatte mir dafür eine Übersicht der gängigen Chat-KI-Dienste angeschaut, um zu sehen, was die verschiedenen Anbieter im Gratis-Tarif überhaupt hergeben, und die Unterschiede sind größer als gedacht.

Daher meine Fragen an euch:
- Betreibt hier jemand ein lokales Modell auf NAS oder Homeserver im Dauerbetrieb, und wenn ja mit welcher Hardware?
- Lohnt sich eine gebrauchte GPU nur dafür, oder ist das bei dem Stromverbrauch Unsinn?
- Welche Aufgaben erledigt ihr lokal, welche lieber extern?

Bin gespannt auf eure Erfahrungen.

Viele Grüße
Julian