LOKALE KI
Erfahrungen mit lokal betriebenen Sprachmodellen
Erfahrungen aus einem Versuch mit lokalen Sprachmodellen, dokumentiert im Mai 2025.
Ein nützlicher Versuch
Bei meinen Versuchen mit Sprachmodellen auf einem Mac mini mit Apple Silicon ging es darum, ob lokale Inferenz bei Dokumentenaufgaben helfen kann. Entscheidend war nicht nur, ob ein Modell läuft, sondern ob das Gesamtsystem für eine abgegrenzte Aufgabe geeignet ist.
Tests nachvollziehbar dokumentieren
Ein nützlicher Test dokumentiert den Aufbau und verwendet eine typische Dokumentenaufgabe. Neben der Antwortzeit zählen Ergebnisqualität, Speicherbedarf und Betriebsaufwand. Dazu gehören folgende Angaben:
- Modellversion, genaue Modelldatei oder Prüfsumme und Quantisierung.
- Hardware, Arbeitsspeicher, Softwareversionen und Inferenz-Backend.
- Testdokumente, Prompt, Kontextlänge und Einstellungen für die Ausgabe.
- Verarbeitungszeit des Prompts, Zeit bis zum ersten Token und Ausgabegeschwindigkeit, getrennt über mehrere Durchläufe erfasst.
- Speicherbedarf sowie gegebenenfalls Leistungsaufnahme mit Angabe des Messverfahrens.
- Prüfung der Ergebnisse anhand der Quelldokumente, einschließlich Fehlern und fehlgeschlagenen Durchläufen.
Den historischen Zusammenhang bewahren
Meine Originalnotiz vom 17. Mai 2025 bleibt als historischer Erfahrungsbericht zugänglich. Zu den Leistungswerten fehlen im Artikel genaue Modellkennungen und Messprotokolle. Für neue Vorhaben sollten der Testaufbau und die tatsächlichen Datenwege einschließlich externer Dienste dokumentiert werden.
Historisches Python-Konfigurationsbeispiel aus der Originalnotiz; zur Einordnung bewahrt, keine getestete Installationsanleitung. Hostname, HTTP-Endpunkt, Modellkennung und Umgebungsvariablen gehören zu diesem Beispielaufbau; vor einer Wiederverwendung müssen Kompatibilität, Authentifizierung und Netzwerkzugriff geprüft werden. Der API-Schlüsselwert ist ein veröffentlichter Platzhalter, kein Zugangsschlüssel.
import os
os.environ["OPENAI_API_BASE"] = "http://brainbox:1234/v1"
os.environ["OPENAI_MODEL_NAME"] = "openai/qwen2.5-coder-7b-instruct"
os.environ["OPENAI_API_KEY"] = "lmstudio_placeholder" # Dummy-Key