LM Studio lässt Sie schnell in die Welt der Sprachmodelle eintauchen, offline und direkt von Ihrem eigenen Linux-System aus. Damit verlassen keinerlei Daten Ihren PC. LM Studio ermöglicht es, diverse KI-Modelle wie Llama, Mistral, Phi und Deepseek auf dem lokalen Rechner auszuführen. Diese Flexibilität erlaubt es, geeignete Modelle für Ihre jeweiligen Aufgaben zu wählen und mehrere Modelle gleichzeitig zu nutzen und zu vergleichen. Neben der Chatfunktion können Sie auch lokale Dokumente einbinden und analysieren lassen. Voraussetzung ist eine halbwegs leistungsfähige Grafikkarte. Auf dem Raspberry Pi funktioniert es grundsätzlich auch, ist aber oft quälend langsam.
LM Studio installieren
Es gibt einen guten Grund, KI-Modelle lokal zu nutzen statt online. Wenn Sie mit einer KI wie ChatGPT kommunizieren, gibt es immer einen Rückkanal. Ihre Anfragen fließen an den Anbieter zurück und dienen künftig womöglich als Trainingsmaterial. Gerichtlich ist diese Praxis noch nicht abschließend bewertet. Denn beim Training kommen urheberrechtlich geschützte Werke ebenso wie Firmengeheimnisse und private Daten in das Mahlwerk der KI.
Im ersten Schritt laden Sie die Appimage-Datei von LM Studio von der Webseite
https://lmstudio.ai herunter. Diese Datei enthält alle notwendigen Komponenten, um LM Studio auf Ihrem System auszuführen. Öffnen Sie ein Terminal und navigieren Sie zu dem Verzeichnis, in dem sich das Appimage befindet. Dort machen Sie die Appimage-Datei ausführbar und erteilen die erforderlichen Berechtigungen:
chmod u+v LM-Studio-xyz-x64.AppImageNun können Sie das Programm per Doppelklick ausführen oder im Terminal aufrufen. Es startet ein neues Fenster. Beim ersten Start von LM Studio ist alles, was Sie tun können, auf den Button „Get your first LLM“ zu klicken. Falls Sie eine Fehlermeldung erhalten, müssen Sie zuvor mit dem Befehl
sudo apt install libfuse2t64eine Bibliothek nachinstallieren.
Mit Llama chatten
Zur Auswahl steht zunächst in der Regel nur Llama 3.2 1B. Llama ist das Large Language Modell (LLM) von Meta. Im Gegensatz zu den meisten anderen KI-Modellen ist es Open Source. Llama 3.2 ist eine Modellreihe, die zwei LLMs mit einer Milliarde (1B) oder mit drei Milliarden (3B) Parametern umfasst, wobei letzteres deutlich überlegen ist. Zum Vergleich: ChatGPT 3.5 jongliert mit 175 Milliarden Parametern. Laden Sie die 1,3 GB herunter (die Quelle ist https://hug
gingface.co). Nach dem Download bringt Sie ein Klick auf „Start New Chat“ zum nächsten Schritt. Mit einem weiteren Klick auf „Load Model“ laden Sie das heruntergeladene Modell ins LM Studio. Klicken Sie links unten auf „Power User“, um die Seitenleiste einzublenden. Über das Chatfeld kommunizieren Sie mit Llama, das trotz der geringen Größe meist brauchbare Antworten liefert.
Versuchen Sie es etwa mit der Frage „Who invented the light bulb?“. Llama versteht zwar auch Deutsch, durch die Übersetzung gehen aber Informationen verloren. Englische Prompts liefern in der Regel bessere Ergebnisse. Ein deutscher Prompt könnte lauten: „Wer malte das Bild Las Meninas?“. Llama schreibt es El Greco zu. Die englische Frage ergibt die nicht zu beanstandende Antwort: „Las Meninas wurde von Diego Velázquez, einem spanischen Maler, gemalt. Es ist eines der bekanntesten Gemälde des spanischen Barocks und gilt als einer der größten Meisterwerke der Kunstgeschichte.“ (siehe Abbildung).
Um weitere Modelle zu installieren, klicken Sie auf den Button mit dem Lupensymbol. Hier stehen unzählige Modelle wie Llama 3.2 3B, Hermes 3, das schlanke Phi und Mistral mit stattlichen 12 Milliarden Parametern zur Auswahl. Stable Code vom Team hinter Stable Diffusion bietet einen Programmierassistenten und Llava v1.5 ist auf die Arbeit mit Bildern spezialisiert. Ein Klick auf ein Modell zeigt weiterführende Informationen.
Deepseek verwenden
Das chinesische KI-Modell Deepseek war eine Zeitlang in den Schlagzeilen, da es mutmaßlich mit deutlich weniger Ressourcen trainiert wurde als ChatGPT von Open
AI, diesem dennoch in manchen Bereichen überlegen ist. Bauchschmerzen bereitet hingegen aufgrund der Herkunft nicht nur der Datenschutz. Deshalb klingt es wie eine gute Idee, Deepseek lokal und offline auszuprobieren. Deepseek steht wie Llama als Open Source zur Verfügung.
Die Installation von Deepseek gelingt mit LM Studio schnell und einfach. Die meisten LLMs enthalten jedoch eine enorme Anzahl von Parametern und erfordern entsprechend enorme Ressourcen. Der Ausweg sind Distill-Modelle. LLM-Destillation bedeutet, dass man LLMs verwendet, um kleinere Modelle zu trainieren. Die Destillation positioniert ein großes generatives Modell als Lehrer und das kleinere Modell als Schülermodell.
LM Studio bietet Zugang zu destillierten Versionen von Deepseek R1, die sich offline ausführen lassen. Klicken Sie auf das Lupensymbol, um ein KI-Modell auszuwählen. Die Suchfunktion schlägt mehrere beliebte KI-Modelle vor. Praktisch: LM Studio teilt Ihnen mit, wenn ein Modell voraussichtlich nicht auf Ihrem Rechner läuft, weil die Hardware nicht ausreicht. Geben Sie „DeepSeek“ in das Suchfeld ein. Sie erhalten 503 Modelle zur Auswahl. Deepseek R1 ist ein Reasoning-Modell, dem Sie beim „Denkprozess“ zusehen können.
Da das vollständige „DeepSeek-R1-GGUF“ enorme 347 GByte groß ist, empfiehlt es sich, auf die kleineren Distill-Modelle auszuweichen. Ein guter Kompromiss zwischen Größe und Leistung ist das Modell „DeepSeek R1 Distill (Qwen 7B)“. Hier fungierte Deepseek als Lehrermodell und Qwen als das schlankere Schülermodell, und das Ergebnis wiegt rund 4 GB. Geben Sie es im Suchfeld ein und laden es dann mit einem Klick auf „Download“ herunter.
Nach dem Download lässt es sich in LM Studio aufrufen. Dazu klicken Sie wieder im oberen Bereich auf den Button „Select a model to load“ und wählen das heruntergeladene KI-Modell aus. Es erscheint ein Fenster mit den Einstellungen, die Sie auf den Standards belassen können. Nach einem Klick auf „Load Model“ startet Deepseek und Sie können im Chatfenster die erste Frage auf die chinesische KI loslassen.
Um sicher zu gehen, mit Deepseek zu kommunizieren, können Sie die Frage stellen „Who are you?“. Daraufhin stellt sich die KI höflich vor. Auf einem langsamen Rechner kann die Antwort etwas dauern. Eine etwas anspruchsvollere Aufgabe: „How old were the first four US presidents when they took office? “. Dazu muss Deepseek zunächst die Präsidenten und deren Geburtsjahr kennen und dann die Jahreszahl der Amtseinführung. Wenn Sie „Thinking“ aufklappen, können Sie Deepseek beim Rechnen zuschauen und nachvollziehen, wie es zu seinen Ergebnissen gelangt. Die KI gibt nur für George Washington die korrekten Informationen aus, irrt sich aber beim Alter von John Adams und Thomas Jefferson und nennt Alexander Hamilton, der niemals US-Präsident war. Das scheint enttäuschend, das Urteil kann aber bei anderen Fragen und Themen wieder ganz anders ausfallen.
