ComfyUI

Allgemeine Workflow-Übersicht

Diese JSON-Datei definiert eine Abfolge von miteinander verbundenen Knoten in einem Workflow zur Erstellung von Bildern, der wahrscheinlich Textaufforderungen und modellbasierte Generierung umfasst. Jeder Knoten steht für eine bestimmte Funktion oder Operation, wie z.B. das Kodieren eines Prompts, das Laden eines Modells oder die Bearbeitung eines Bildes in verschiedenen Phasen des Prozesses.

Schlüsselknoten und ihre Rollen:

1. CLIPTextEncode (id: 6)
   • Zweck: Dieser Knoten ist für die Kodierung der Texteingabeaufforderung in ein Format (Konditionierung) verantwortlich, das vom Modell zur Steuerung der Bilderzeugung verwendet werden kann.
   • Eingaben: Ein „CLIP“-Modell (für die Text-/Bildkodierung) und eine „String“-Eingabe für die Textaufforderung.
   • Ausgaben: Eine Ausgabe „Konditionierung“, die mit späteren Knoten verknüpft ist, um die Bilderzeugung zu steuern.
2. VAEDecode (id: 8)
   • Zweck: Dieser Knoten dekodiert eine latente Raumdarstellung in ein tatsächliches Bild. Dieser Prozess beinhaltet die Umwandlung abstrakter latenter Vektoren in eine visuelle Ausgabe unter Verwendung eines VAE (Variational Autoencoder).
   • Eingaben: Eine „LATENT“-Eingabe (die latente Bilddarstellung) und ein VAE-Modell.
   • Ausgaben: Die Ausgabe „IMAGE“, die für die weitere Verarbeitung verwendet wird.
3. VAELoader (id: 10)
   • Zweck: Lädt ein VAE-Modell, das für die Dekodierung des latenten Raums in ein Bild erforderlich ist.
   • Ausgaben: Ein „VAE“-Modell, das mit den Dekodierungsknoten wie „VAEDecode“ verbunden ist.
4. SamplerCustomAdvanced (id: 13)
   • Zweck: Dieser Knoten steuert den Sampling-Prozess zur Erzeugung von Bildern aus latenten Darstellungen. Er verbindet verschiedene Eingaben wie Rauschen, Hilfslinien und das latente Bild und gibt ein verfeinertes latentes Bild aus.
   • Eingänge: Rauschen, Guider, Sampler, Sigmas und latente Bilddaten.
   • Ausgaben: Eine latente Darstellung (LATENT), die an den Decoder (z.B. VAEDecode) übergeben wird.
5. KSamplerSelect (id: 16)
   • Zweck: Bietet Optionen zur Auswahl verschiedener Sampler für die Erzeugung des latenten Bildes. Verschiedene Sampler können den Stil, die Qualität und die Art der erzeugten Bilder beeinflussen.
   • Ausgaben: Ein ausgewählter SAMPLER.
6. BasicScheduler (id: 17)
   • Zweck: Steuert die Anzahl der Schritte und die Zeitplanung des Probenahmeprozesses. Scheduler bestimmen, wie das Modell die latenten Daten im Laufe der Zeit verarbeitet, was sich auf den Detailgrad und die Qualität des Bildes auswirkt.
   • Outputs: Sigmas, die im Sampling-Prozess verwendet werden und Einfluss darauf haben, wie das Rauschen Schritt für Schritt reduziert wird.
7. FluxGuidance (id: 26)
   • Zweck: Dieser Knoten bietet wahrscheinlich zusätzliche Anleitung oder Konditionierung während des Bilderzeugungsprozesses, um die Feinabstimmung der latenten Repräsentationen mit dem Prompt vorzunehmen.
   • Eingaben: Konditionierungsdaten, die die Interpretation des latenten Raums durch das Modell verändern.
   • Outputs: Geänderte Konditionierung, die die Bilderzeugung verbessert.
8. ModelSamplingFlux (id: 37)
   • Zweck: Dieser Knoten stellt eine Schlüsselkomponente des FLUX-Modells zur Bilderzeugung dar. Er steuert das eigentliche Sampling des Modells und definiert Schlüsselparameter wie Breite und Höhe des Ausgabebildes.
   • Ausgaben: Ein MODELL, das mit anderen Knoten zur Verarbeitung und Erzeugung des Bildes verbunden ist.
9. UltimateSDUpscale (id: 47)
   • Zweck: Dies ist ein Upscaling-Knoten, der die Auflösung und Qualität des erzeugten Bildes verbessert. Upscaler wie RealESRGAN werden verwendet, um Bilddetails zu verbessern.
   • Eingaben: Das erzeugte Bild, das Modell, die Konditionierung und die Upscaling-Modelle.
   • Ausgaben: Eine hochskalierte Version des Bildes.
10. Bildvergleicher (id: 86, 169)
    • Zweck: Diese Knoten dienen dem Vergleich von zwei Bildern nebeneinander, häufig zum Vergleich von Vorher-Nachher-Effekten (z. B. Anwendung von Latent-Space-Manipulationen oder Upscaling).
11. ReActorFaceSwap (id: 171)
    • Zweck: Führt einen Gesichtstausch zwischen zwei Bildern durch, wobei wahrscheinlich fortgeschrittene KI-basierte Modelle zur Gesichtsmanipulation verwendet werden.
    • Eingaben: Eingabebild und Quellbild für den Gesichtstausch.
    • Ausgaben: Das Bild mit dem vertauschten Gesicht.
12. SaveImage (id: 173)
    • Zweck: Speichert das erzeugte oder geänderte Bild in einer Datei, mit verschiedenen konfigurierbaren Einstellungen wie Dateiname oder Format.
    • Eingaben: Die zu speichernden Bilddaten.

Wie der Workflow abläuft:

1. Textkodierung: Der Prozess beginnt mit Knoten wie CLIPTextEncode, der eine benutzerdefinierte Texteingabe in einen Einbettungs- oder Konditionierungsvektor umwandelt.
2. Laden von Modellen und VAE: Modelle wie VAE und CLIP werden über Knoten wie VAELoader und DualCLIPLoader geladen. Diese Modelle sind für die Verarbeitung latenter Räume und die Erzeugung von Bildern unerlässlich.
3. Manipulation des latenten Raums: Das System erzeugt eine latente Darstellung des Bildes, die mit Hilfe von Samplern, Guidern, Schedulern und Rauschinjektoren abgetastet und verfeinert wird.
4. Bilderzeugung: Latente Repräsentationen werden mit Hilfe des VAE-Decoders in tatsächliche Bilder decodiert.
5. Nachbearbeitung: Knoten wie UltimateSDUpscale und FluxGuidance verbessern das Bild durch Hinzufügen von Details, Schärfen und Anpassen des Stils auf der Grundlage der Eingangsaufbereitung.
6. Vergleich und Ausgabe: Das endgültige Bild kann verglichen, vertauscht, hochskaliert oder weiter manipuliert werden. Schließlich wird das Bild mit Hilfe von Knoten wie SaveImage gespeichert.

Den Workflow gibt es hier zum Download.