Si vous avez aimé créer des œuvres d’art en utilisant Stable Diffusion ou l’un des autres modèles d’IA tels que Midjourney ou DallE 3 récemment ajoutés à ChatGPT par OpenAI et disponibles gratuitement pour les juifs via le site Web Microsoft Image Creator, vous pourriez être intéressé par le nouveau flux de travail créé par Laura Carnevali qui combine ComfyUI et plusieurs modèles ControlNet. Vous pourriez être intéressé par un nouveau flux de travail créé par Laura Carnevali qui combine Stable Diffusion, ComfyUI et plusieurs modèles ControlNet.
Stable Diffusion XL (SDXL), créé par l’équipe de développement de Stability AI, est bien connu pour ses étonnantes capacités de génération d’images. Bien que SDXL soit impressionnant en soi, son intégration avec ComfyUI l’élève à un tout autre niveau d’expérience pour l’utilisateur. ComfyUI est la boîte à outils idéale pour tous ceux qui souhaitent s’essayer à l’art de la génération d’images, en offrant un éventail de fonctionnalités qui rendent le processus plus accessible, rationalisé et personnalisable à l’infini.
Génération d’art IA à l’aide de Stable Diffusion, ComfyUI et ControlNet
ComfyUI fonctionne sur la base d’une interface nœuds/graphes/organigrammes, où les utilisateurs peuvent expérimenter et créer des flux de travail complexes pour leurs projets SDXL. Ce qui le distingue, c’est qu’il n’est pas nécessaire d’écrire une seule ligne de code pour commencer. Il prend entièrement en charge les différentes versions de Stable Diffusion, y compris SD1.x, SD2.x et SDXL, ce qui en fait un outil polyvalent pour n’importe quel projet.
SDXL offre une multitude de moyens de modifier et d’améliorer votre art. De l’inpainting, qui vous permet d’effectuer des modifications internes, à l’outpainting pour étendre la toile, en passant par les transformations d’image à image, la plateforme est conçue pour la flexibilité. Cependant, c’est ComfyUI qui fournit véritablement l’environnement du bac à sable pour l’expérimentation et le contrôle.
L’interface graphique ComfyUI basée sur les nœuds pour la diffusion stable
Le système est conçu pour l’efficacité, incorporant un système de file d’attente asynchrone qui améliore la vitesse d’exécution. L’une de ses principales caractéristiques est sa capacité d’optimisation ; il ne réexécute que les parties modifiées du flux de travail entre les exécutions, ce qui permet d’économiser du temps et de la puissance de calcul. Si vos ressources sont limitées, ComfyUI est équipé d’une option de ligne de commande à faible véhémence, ce qui le rend compatible avec les GPU ayant moins de 3 Go de VRAM. Il convient de mentionner que le système peut également fonctionner avec des CPU, bien qu’à une vitesse plus lente.
Les types de modèles et de points de contrôle que ComfyUI peut charger sont très variés. Des VAE autonomes et des modèles CLIP aux ckpt, safetensors et diffuseurs, vous avez un large choix à portée de main. Il est riche en fonctionnalités supplémentaires telles que Embeddings/Textual inversion, Loras, Hypernetworks, et même des modèles unCLIP, vous offrant un environnement holistique pour créer et expérimenter avec l’art de l’IA.
Stable Diffusion ComfyUI Installation de Controlnet
Regardez cette vidéo sur YouTube.
L’une des fonctionnalités les plus intrigantes est la possibilité de charger des flux de travail complets, directement à partir des fichiers PNG générés. Vous pouvez sauvegarder ou charger ces flux de travail sous forme de fichiers JSON pour une utilisation ultérieure ou une collaboration. L’interface des nœuds n’est pas limitée aux tâches simples ; vous pouvez créer des flux de travail complexes pour des opérations plus avancées telles que les corrections en haute résolution, la composition de zones et même la fusion de modèles.
ComfyUI n’est pas en reste lorsqu’il s’agit d’améliorer la qualité de l’image. Il prend en charge une gamme de modèles de mise à l’échelle comme ESRGAN et ses variantes, SwinIR, Swin2SR, entre autres. Il permet également l’inpainting avec des modèles d’inpainting réguliers et spécialisés. Des utilitaires supplémentaires tels que ControlNet, T2I-Adapter et les aperçus latents avec TAESD ajoutent encore plus de granularité à vos efforts de personnalisation.
En plus de toutes ces fonctionnalités, ComfyUI démarre incroyablement vite et fonctionne entièrement hors ligne, ce qui garantit que votre flux de travail ne sera pas interrompu. Le mariage entre Stable Diffusion XL et ComfyUI offre une plateforme complète et conviviale pour la génération d’art basée sur l’IA. Elle allie sophistication technologique et facilité d’utilisation, s’adressant à la fois aux novices et aux experts du domaine. La polyvalence et l’étendue des fonctionnalités disponibles dans ComfyUI en font un outil incontournable pour tous ceux qui s’intéressent de près ou de loin à la génération d’images.
Lire plus Guide:
- Comment utiliser la diffusion stable et ControlNet pour personnaliser les images d’IA
- Guide pour débutants sur la diffusion stable et le générateur d’art AI de ComfyUI
- Comment créer des vidéos de diffusion vidéo stable à l’aide de ComfyUI
- Leonardo Ai Alchemy 2 et nouveaux modèles SDXL personnalisés annoncés
- Utilisation de SDXL Turbo pour la génération rapide d’images et de dessins d’IA locaux
- Le générateur d’art Stability AI SDXL-Turbo AI est désormais disponible pour la synthèse en temps réel.
