Ich habe mir Vieles angeschaut: LocalAI, LM Studio, GPT4All, uvm.
Das sind allesamt Lösungen, mit der LLMs am eigenen Computer als Alternative zum übermächtigen ChatGPT eingesetzt werden können.

So richtig gefallen hat mir aber keine davon – bis jetzt!

Meet Jan

„Bringing AI to your Desktop“ , heißt es unter https://www.jan.ai

Was mir daran sehr gut gefällt:

eine saubere Oberfläche, (nur) mit den wichtigsten Konfigurationsparametern für LLMs
eine Vorauswahl von empfohlenen LLMs
Suche und Download von LLMs über huggingface.co
100% Open-Source (siehe janhq / jan)
ein integrierter Webserver, um LLMs über eine API anzusprechen
laufende Weiterentwicklung der Features

Ich experimentiere derzeit mit diesen Modellen:

für allgemeine Fragestellungen: Mistral Instruct 7B Q4
für Hilfestellungen in der Software-Entwicklung: Deepseek Coder 1.3B Q8

Mein Fazit:

Ist Jan mit den hier vorgestellten LLMs eine ebenbürtige Alternative zu ChatGPT? Nein!
Jedoch hat sich in diesem Bereich in den letzten Monaten sehr viel getan, und das wird es auch weiterhin.

Ich sehe es pragmatisch: eine passable Antwort eines lokalen (datenschutzfreundlichen) LLMs ist besser, als eine tolle Antwort eines möglicherweise (?) Datenschutz-fragwürdigen Tech-Konzerns.

Image Credits: jan.i