Wenn wir uns nicht abhängig machen wollen von Cloud-Anbietern dann lohnt es sich lokale KI-Systeme zu nutzen. Preis und Sicherheit sind die Hauptkriterien für den lokalen Weg.

Wie schnell mal die OpenAI Kosten in die Höhe schießen können, habe ich hier beschrieben

Was ist ein lokaler KI-Werkzeugkoffer?

Vieler meiner Prompts für die Aufgaben eines Trainers/Beraters und Coach möchte ich an einer Stelle lokal bündeln um von dort die Prompts und Workflows zu starten.

Wir können viele der Aufgaben über Airtable, Make.com, Teampilot, Typebot.io oder anderen Tools in der Cloud aufbauen. Geschätzt sind das dann 100 Euro im Monat an Kosten für die Tools. Wie schön wäre es, wenn wir alle Komponenten auf dem Computer oder im Netzwerk haben?

Welche Komponenten brauchen wir?

1. Lokales Chatbot System (Chatbot-Ui)
2. Workflow System (Rivet)
3. Lokale Modelle (Ollama oder lmstudio)

Chatbot UI

Ich habe jetzt viele lokale Chatbot System ausprobiert, den Überblick über alle Systeme auf dem Markt habe ich sicherlich nicht, Chatbot-UI ist für das beste Open-Source System.

Ein Demo findet sich hier.

Was kann Chatbot UI?

1. Man kann lokale Modelle über Ollama und lmstudio einbinden (1,2)
2. Mann kann lokale Dateien (pdfs….) in einen Vectorstore einbringen und damit arbeiten (3)
3. Genial ist auch, das Collections (Mehrere pdfs etc. gebündelt) gebaut werden können. Als Beispiel alle Sales Bücher (4)
4. Tools können eingebunden werden (Funktionen um andere Services aufzurufen) (6)
5. Es können lokale Assistenten gebaut werden (5)

Hier kann ich direkt Abfragen an einzelne pdfs mitgeben.

6. Besonders gut gelöst ist auch das wir diese Funktionen direkt über den Chat aufrufen können.

7. Wir können auch Prompts speichern (7).

Leider erstmal nur normale Prompts, keine Kombination aus Systemprompts und normalen Prompts. Wie weit man die Prompts für Shortcuts anpassen kann werde ich testen.

Wie installiert mach Chatbot-UI?

Die Installation ist in 10 min gemacht und super vom Entwickler hier erklärt. Github Link.

Dieses Video zeigt die Installation zum mitmachen:

Wie baue ich Workflows mit Rivet AI?

Rivet ist ein lokales Workflow Tool, das es mir ermöglich lokale Workflows aufbauen. Ich habe das hier beschrieben.

Ich nutze Rivet um lokale Workflow zu bauen, hier ein Workflow zum Thema Storytelling. Es können mit Rivet sowohl lokale und auch Netzservices angesprochen werden.

Wie kommen die Prompts von Chatbot UI zu Rivet-AI?

Tim Köhler hat einen Service entwickelt der es ermöglicht das Fragen von der Oberfläche nach Rivet weitergeleitet werden und das Ergebnis wieder in Chatbot angezeigt wird. Vereinfacht wir starten Rivet Workflows über Chatbot-UI.

Tim hat die Installation wunderbar hier erklärt.

Es lohnt sich Tims Kanal zu folgen. Tim ist auch sehr aktiv im Discord Channel von Rivet und hilft sehr gerne bei Fragen.

Wie installiere ich lokale KI-Modelle?

Die Installation von Ollama.com ist super einfach. Auf Download und die Installation läuft sehr schnell durch.

In Chatbot-UI kann ich oben rechts die Modelle auswählen und Chatbot-UI findet die lokalen Modelle von Ollama. Das Modell was ich ich ausprobieren möchte, klicke ich an und das wars, jetzt läuft alles lokal.

In Rivet kann ich auch lokale Modelle auswählen, damit kann ich wunderbar arbeiten.

Fazit

Ich kann meinen lokalen KI-Trainerkoffer lokal aufbauen, das spart ca. 1200 Euro Kosten im Jahr. In Schulungen und Workshops kann ich die Workflows die ich gebaut habe als Added Value mitgeben. Hier lassen sich dann verschiedene KI-Werkzeugkoffer erstellen:

1. Storytelling
2. Strategie
3. Innovation
4. Training
5. Marketing

Im Anhang zeige ich noch verschiedene Versuche mit anderen Modellen und Ansätzen. Bis jetzt ist Chatbot-UI mit Rivet das beste System für mich.

Einziger Punkt den es noch zu optimieren gilt, bei einigen Aufgaben in der Arbeit mit PDFs haben die lokalen Modelle etwas geschwächelt, GPT-4 kann ich auswählen und die Ergebnisse sind super.

Knut Jägersberg hat mir heute morgen viele Tips gegeben, das werde ich noch untersuchen.

Anhang!

Folgende Modelle und Ansätze habe ich noch ausprobiert und war nicht mit dem Ergebnis zufrieden.

GPT4ALL

Kein Vergleich mit der Oberfläche von Chatbot-UI. Ja, ich weiß, jetzt bin ich anspruchsvoll. Die Entwickler haben grossartige Arbeit geleistet, dennoch nichts für meine Zwecke.

Typing Mind

Typing Mind ist ein sehr kluges System, auch die Kacheln (im Bild Charakters) sind perfekt gelöst. Das System ist kostenpflichtig, 80 Euro Jahr habe ich, glaube ich, für den Life-Time Deal gezahlt, die Arbeit mit PDFs ist sehr kostenpflichtig. Wie ich andere Systeme über PDFs dort einfach einbinden kann ist mir klar, hat einen viel höheren Aufwand. Zu viel Aufwand um einen KI-Trainerkoffer zu teilen.

Übersicht über Plugins. Die Self-Hosted Version kostet rund 3,500 Euro.

Flowise

Ich habe für den ersten Test Chroma DB genommen mit OpenAI, lokale Modelle wie Ollama sind nicht so richtig gelaufen. Ich probiere noch die Zep lokale Vectordatenbank.