Self-Hosted Large Language Model (LLM) mit Ollama hinter einem Auth-Proxy
Eine technische Anleitung zur Bereitstellung eines privaten, GPU-beschleunigten LLM-Servers mit Ollama hinter einem sicheren Nginx-Authentifizierungs-Proxy.
Tutorials
4 Artikel in dieser Kategorie
Diese Rubrik per RSS verfolgen
Tutorial: Chunk-Größe und Überlappung gegen einen Testsatz prüfen
Die Chunk-Größe wird meist einmal gewählt und nie hinterfragt, weil Hinterfragen nach einer vollen Bewertung aussieht. Nötig sind dreißig Fragen, eine Kennzahl und ein Durchlauf, der ohne einen einzigen Aufruf eines Sprachmodells auskommt.
Tutorial: Tokenverbrauch je Anfrage messen und ein Monatsbudget durchsetzen
Jede API-Antwort nennt genau, wie viele Token sie gekostet hat, aufgeteilt in vier Klassen. Diese Zahl mitzuschreiben statt sie zu schätzen, kostet zwanzig Zeilen – und ist die einzige Grundlage, auf der ein Budget mehr sein kann als eine Warnung.
GPTBot, ClaudeBot und Google-Extended: Was ein Eintrag in der robots.txt wirklich bewirkt
Vier Crawler-Namen entscheiden, ob eine Seite für KI-Training gelesen wird. Sie zu nennen kostet je eine Zeile – aber eine Datei, die mit einem Fehler antwortet, erlaubt alles, und einer der vier tut nicht das, was ihm nachgesagt wird.
