Die Nutzung von KI respektive von großen Sprachmodellen ist für viele Anwender aus dem Alltag nicht mehr wegzudenken. Newelle (https://flathub.org/en/apps/io.github.qwersyk.Newelle) ist ein vielversprechender Chatbot für den Gnome-Desktop.

Installation und Einrichtung 

Am einfachsten ist  die Installation als Flatpak. Besuchen Sie die oben genannte Seite und kopieren Sie den Installationscode in ein Terminal. Sie müssen lediglich die nachfolgende Abfrage mit einem „Y“ bestätigen. Danach starten Sie die Software:

flatpak run io.github.qwersyk.Newelle

Exkurs: Eine Alternative ist das Kompilieren aus dem Quellcode. Dazu brauchen Sie die aktuelle Version des Gnome SDK. Die Newelle-Installationsdatei erhalten Sie unter https://github.com/qwersyk/Newelle/blob/master/install.sh. Diese starten Sie dann mit sudo sh install.sh.

Beim ersten Programmstart lädt Newelle einen Assistenten. Im ersten Schritt müssen Sie sich für das von Ihnen bevorzugte Sprachmodell entscheiden. Wenn Sie sich erst einmal in der Software orientieren wollen, nutzen Sie am besten den allerersten Eintrag „Newelle Demo API“. Die ist auf zehn Anfragen pro Tag beschränkt, was aber für die erste Einrichtung ohne Belang ist. Danach müssen Sie entscheiden, ob das gewählte Sprachmodell respektive Newelle Zugriff auf Ihre lokalen Dokumente erhalten soll, um daraus ebenfalls Antworten zu generieren. Wenn Sie das so wollen, dann „chatten“ Sie auf diese Weise mit Ihren eigenen Dateien. Diese Option ist sinnvoll, falls Sie mit der KI Zusammenfassungen aus Dokumenten oder andere Analysen erstellen wollen. 

Sofern auch gewünscht ist, dass die KI Systemkommandos generiert oder Code für Scripts erstellt, aktivieren Sie die nächste Option. Im Falle der Flatpak-Installation werden die Befehle in der virtuellen Maschine ausgeführt. Da Newelle aber keine Kontrolle über das LLM hat, sollte generierter Code mit Vorsicht betrachtet werden. 

Haben Sie alle Antworten geliefert, ist die Einrichtung abgeschlossen und Sie blicken auf das Chatfenster, das auf Ihren ersten Prompt wartet. Haben Sie die Demo-LLM von Newelle im Assistenten aktiviert, können Sie die Installation überprüfen, indem Sie im Eingabefenster einmal nachfragen, wie die KI Sie unterstützen kann. Liefert Newelle eine Antwort, ist alles bereit und Sie können ein unbeschränktes Sprachmodell aktivieren.

Freiheit bei den Sprachmodellen

Der Assistent von Newelle lässt Ihnen bei der Verwendung von LLMs größte Freiheiten. Möchten Sie, dass Ihre Daten lokal verarbeitet werden, dürfte Ollama die beste Option sein. Zu beachten ist aber, dass Newell die Installation der lokalen Modelle nicht selbst übernimmt. Im Falle von Ollama müssen Sie sich also zunächst um die Installation der Anwendung und die Einrichtung eines Sprachmodells kümmern. Um ein Sprachmodell zu aktivieren oder die Details zu verändern, klicken Sie auf das Hamburger-Menü am oberen linken Fensterrand und wählen dort „Settings“. Ist etwa Ollama bereits installiert, wechseln Sie im nachfolgenden Dialog in das Register „LLM“ und aktivieren „Ollama-Instanz“. Newelle fragt dann die Instanz an, um sich eine Liste der heruntergeladenen LLMs ausgeben zu lassen. Diese finden Sie in der Zeile „Ollama-Modell“. 

Haben Sie zwischenzeitlich weitere Modelle für Ollama heruntergeladen, klicken Sie einmal auf „Reload“, um die Liste zu aktualisieren. Wird das Fenster geschlossen, kehren Sie zum Chatfenster zurück und greifen auf das gewählte Modell zurück, was Ihnen auch am oberen Fensterrand dargestellt wird. Neben lokalen Modellen bietet Newelle auch die Option, auf KI in der Cloud zuzugreifen, etwa auf ChatGPT oder Claude. Um diese LLMs zu verwenden, genügt es allerdings nicht, beim jeweiligen Anbieter nur ein Benutzerkonto zu unterhalten. Damit Newelle das LLM verwenden kann, müssen Sie einen API-Key erzeugen. Diesen erhalten Sie bei den meisten Anbietern, indem Sie sich dort als „Entwickler“ registrieren. Einzelheiten finden Sie in den Supportbereichen der Anbieter. Die Nutzung der APIs ist in der Regel mit Kosten verbunden, da Sie dort einen Vorrat an Tokens erwerben müssen. In der Cloud stehen GPT4Free, Claude, Mistral, Open AI, Gemini von Google und auch Deepseek zur Verfügung.

Arbeiten mit Dateien und Sprache

Bei der Nutzung von Newelle wird Ihnen das kleine Fenstersymbol am oberen rechten Rand des Programmfensters auffallen. Mit einem Klick auf dieses Symbol erhalten Sie Zugriff auf die lokalen Dateien Ihres Systems. Gedacht ist dieser Bereich, um schnell Dateien in das Chatfenster zu ziehen, um diese dann als Datenbasis für eine Abfrage oder für einen Chat zu verwenden. So können Sie dann etwa das LLM bitten, die Kernaussagen eines Textes zu erarbeiten oder zwei Dokumente miteinander zu vergleichen. 

Wie sich unschwer an den Symbolen neben der Prompteingabe erkennen lässt, unterstützt Newelle auch Spracheingaben. Voreingestellt ist die Spracherkennung (Speech-to-Text) von Google. Möglich ist, sofern entsprechende API-Schlüssel vorhanden sind, auch die Nutzung von Whisper oder Groq. Damit Sie aber auch richtig verstanden werden, rufen Sie erneut die Einstellungen auf und wechseln in das Register „Allgemein“. Scrollen Sie hier zu „Google Sprach­erkennung“ und verändern Sie den Wert unter „Sprache“. Nutzen Sie das Kürzel „de-DE“, um auf deutsche Sprache umzustellen. Um Sprache zu verwenden, klicken Sie auf das Mikrofon, sprechen Ihre Nachricht und klicken dann erneut. Da die Eingabe in der Cloud verarbeitet wird, gibt es zwischen dem Ende der Eingabe und der Umwandlung in Sprache eine Verzögerung.

Eine weitere Besonderheit des Programms ist die Option, den Funktionsumfang mit Extensions zu vergrößern. Sie finden eine Liste der verfügbaren Erweiterungen unter https://github.com/topics/newelle-extension. Dazu zählen Extensions zur Generierung von mathematischen Formeln und Möglichkeiten, Bilder mit generativer KI zu generieren. So können Sie mit dem Chatfenster dann auch mit Midjourney zusammenarbeiten. Zugriff auf die Erweiterungen erhalten Sie über den gleichnamigen Befehl aus dem Hamburger-Menü.

Flatpak-Limitierungen umgehen

Die Installation von Programmen via Flatpak ist einfach, hat aber immer einen Nachteil. Da es sich hierbei um einen mit normalen Benutzerrechten installierten Container handelt, können Flatpak-Programme nicht auf das gesamte System zurückgreifen. So auch im Fall von Newelle. Bei der Nutzung eines KI-Assistenten kann sich diese Einschränkung als Nachteil herausstellen. Sofern Sie Newelle per Flatpak installiert (und nicht selbst kompiliert) haben, können Sie die Berechtigungen temporär oder dauerhaft erweitern. Für einen zeitweiligen Zugriff auf die im Home-Verzeichnis vorhandenen Dokumente nutzen Sie das Kommando:

flatpak run --talk-name=org.freedesktop.Flatpak --filesystem=home io.github.qwersyk.Newelle

Um dauerhaft auf die Funktionen und Dateien des gesamten Systems zuzugreifen, können Sie das Flatpak „Flatseal“ installieren. Nach dem Aufruf suchen Sie in der Liste der installierten Anwendungen nach Newelle und aktivieren dort die Optionen „All user files“ und „Session Bus“. Bedenken Sie aber, dass Sie damit Chatbots aus der Cloud den Zugriff auf Ihre Daten geben. Zudem sollten Sie, wenn Sie sich vom Prompt Hinweise zu Systemkommandos geben lassen, immer prüfen, was damit auf dem System verändert wird.