Ich beschäftige mich gerade mit Self-hosted Alternativen zu ChatGPT.

In diesem Bereich tat sich in den letzten Monaten sehr viel, und es erscheinen täglich bessere, neuere Sprachmodelle, die „AI-Chats“ am eigenen Computer bzw. Server betreibbar machen.

Ein einzelnes Sprachmodell ist schon mal mehrere Gigabyte groß, der Download dauert Minuten und manchmal bis Stunden. Dabei zeigt sich nach dem Download bereits mit wenigen, rasch durchgeführten Test-Schritten, ob das Modell geeignet ist.

Um schnell an viele Sprachmodelle zu kommen, nutze ich einen ausgemusterten Rasperry PI, der mir nachts ein hunderte-Gigabyte-großes Bündel an verschiedenen Sprachmodellen herunterlädt. Morgens erfolgt dann der Test.

Ich nutze für den Download wget, das mit dem Parameter -i eine Textdatei mit Download-Links Schritt-für-Schritt abarbeitet:

1.) eine Text-Datei anlegen, und je Zeile den Download-Link angeben.
Beispiel: downloads.txt

2.) wget mit dem Parameter -i und der Text-Datei angeben:

wget -i downloads.txt

Die Zeilen werden dann abgearbeitet.

Hinweis: wget liest bereits beim Start die downloads.txt-Datei vollständig ein, d.h. man kann nicht während eines Downloads weitere Zeilen hinzufügen und abarbeiten lassen.

Image Credits: Incoming icons created by Smashicons – Flaticon