Langchain

Langgraph half beim Aufbau von Super, indem es ein standardisiertes Framework bereitstellte, das die komplexen LLM-/Quelleninteraktionen durch eine deklarative Diagrammstruktur besser handhabbar machte. Es ermöglichte eine bessere Parallelisierung, was die Reaktionsgeschwindigkeit erheblich verbesserte, und bot gleichzeitig vollständige Debugging-Funktionen für den Diagrammstatus/-sequenz, die die Fehlerbehebung vereinfachten. Durch die Migration zu Langgraph wurden neue Funktionen wie Human-in-the-Loop-Pausen zur Klärung und bessere Fallback-Mechanismen bei Modellausfällen freigeschaltet. Darüber hinaus ermöglichte die funktionale API von Langgraph Entwicklern, natürlicheren, sequentiellen Code für komplexe Untergraphen zu schreiben und gleichzeitig die Vorteile des Graph-Frameworks beizubehalten.

Die graphbasierte Architektur von LangGraph mit Knoten und Kanten war der Schlüssel dazu, wie wir komplexe KI-Workflows koordinieren. Wir orchestrieren Gespräche mit mehreren Agenten, bei denen jeder Knoten bestimmte Aufgaben übernimmt (Analyse, Entscheidungsfindung, Aktionsausführung) und Kanten den Fluss zwischen ihnen verwalten. Mit dem Speicher können wir Operationen erstellen, die den Kontext über Konversationen hinweg aufrechterhalten, während parallele Ausführungsknoten mehrere KI-Operationen gleichzeitig verarbeiten. Die Pydantic-formatierten Ausgaben gewährleisten einen typsicheren Datenfluss zwischen Knoten, und das Prüfpunktsystem mit PostgreSQL-Persistenz ermöglicht es uns, den Status über diese Diagrammausführungen hinweg aufrechtzuerhalten, sodass Konversationen auch nach Serverneustarts nahtlos fortgesetzt werden können.

Wir haben das Langchain-Framework sowohl für seine bibliotheksunabhängigen Methoden für verschiedene KI-Plattformen als auch für verschiedene Hilfsprogramme wie Dokumentparser, Chunking-Dienstprogramme usw. verwendet. Darüber hinaus verfügt es über eine hervorragende Unterstützung bei der Agentenentwicklung mit Langgraph. Als Alternative hätten wir OpenAI-APIs direkt verwenden können, aber aufgrund ihrer sich schnell ändernden Natur und auch weil wir nicht vorhaben, langfristig davon abhängig zu sein, war es besser, Langchain zu verwenden.