Containerisierte RAG-Anwendung mit CI/CD
MedBot
Ein Frage-Antwort-Service für Dokumente: Retrieval über einen Vektorindex, ein Flask-Backend, ein Container-Image und eine Jenkins-Pipeline, die das Image vor der Auslieferung prüft.
Warum eine überzeugende Antwort eine Quelle braucht
Ein Allzweck-Sprachmodell beantwortet eine Frage zu einem Dokument mit derselben Sicherheit, egal ob das Dokument im Kontext liegt oder nicht. Bei dokumentbasierten Fragen ist dieses Verhalten falsch. Nützlich ist eine Antwort, die aus dem Material gebaut ist, das der Nutzer tatsächlich bereitgestellt hat.
Das zweite Problem ist die Auslieferung. Eine Retrieval-Pipeline, die nur im Notebook läuft, ist eine Demonstration, kein Service. Die Anwendung brauchte einen Request-Pfad, ein deploybares Artefakt und einen wiederholbaren Weg vom Commit zum laufenden Container.
Was ich gebaut habe
MedBot ist ein Retrieval-Service und kein Prompt: Dokumente werden zerlegt und über LangChain in einen FAISS-Index eingebettet, eine Anfrage wird eingebettet und gegen den Index abgeglichen, und die gefundenen Passagen gehen als Belegkontext an das Sprachmodell. Die Designentscheidung liegt an der Grenze zwischen Retrieval und Generierung: Was der Index zurückgibt, ist das, woraus das Modell antwortet.
- Retrieval-Schicht: LangChain-Orchestrierung über einen FAISS-Vektorindex.
- Service-Schicht: ein Flask-Backend mit HTML/CSS-Frontend.
- Packaging: Die gesamte Anwendung wird als Docker-Image ausgeliefert, gebaut in der Jenkins-Pipeline.
- Auslieferung: Eine Jenkins-Pipeline automatisiert Tests, Container-Builds und den Deployment-Workflow.
- Sicherheit: Trivy scannt das Container-Image innerhalb der Pipeline auf bekannte Schwachstellen.
Vom Commit zum laufenden Container
Die technische Frage ist, was danach passiert: Lässt sich derselbe Build reproduzieren, blockiert ein Basis-Image mit Schwachstellen ein Release, und lässt sich der Service ohne manuelle Checkliste neu deployen?
Bei jedem Build führt die Jenkins-Pipeline die Tests aus und baut das Docker-Image. Trivy scannt dieses Image anschließend auf bekannte Schwachstellen in seinen Paketen.
Was es zeigt
- Retrieval-augmentierte Generierung von Ende zu Ende: einlesen, indexieren, abrufen, antworten.
- Eine Service-Grenze: eine HTTP-Oberfläche, ein Container-Image und ein wiederholbares Deployment.
- Release-Prüfungen in der Pipeline selbst, inklusive Trivy-Scan des Images.
Grenzen und nächste Schritte
Das ist ein persönliches Projekt, es gibt also keinen Produktionsverkehr und keine Nutzerstudie. Die Chunking-Strategie bestimmt die Antwortqualität, der Index hat keine Aktualisierungsstrategie, und es gibt keine Evaluationsumgebung, die Antworten gegen einen gelabelten Datensatz prüft.
Der nächste Ausbau würde ein kleines Evaluationsset mit Prüfungen auf Retrieval- und Antwort-Ebene ergänzen, sodass eine Änderung an Chunk-Größe oder Modell beurteilt statt geraten werden kann. MedBot hat kein öffentliches Repository; diese Seite ist daher die Dokumentation der Arbeit statt eines Links darauf.