Stable Diffusion
![Description de l'image Astronaut Riding a Horse (SDXL).jpg.](http://upload.wikimedia.org/wikipedia/commons/thumb/d/d3/Astronaut_Riding_a_Horse_%28SDXL%29.jpg/220px-Astronaut_Riding_a_Horse_%28SDXL%29.jpg)
Première version | ![]() |
---|---|
Dernière version | SDXL 1.0 ()[1] 0.0.1 ()[2] ![]() |
Dépôt | github.com/Stability-AI/generative-models![]() |
Écrit en | Python![]() |
Système d'exploitation | Linux, macOS et Microsoft Windows![]() |
Type | Prompt art Latent variable model (en) Modèle de diffusion (en) ![]() |
Licence | CreativeML Open RAIL-M (d)![]() |
Site web | stability.ai/stable-image![]() |
modifier - modifier le code - voir Wikidata (aide)
Stable Diffusion est un modèle d'apprentissage automatique permettant de générer des images numériques photoréalistes à partir de descriptions en langage naturel. Le modèle peut également être utilisé pour d'autres tâches, comme la génération d'une image améliorée à partir d'une esquisse et d'une description textuelle[3].
Il peut fonctionner sur la plupart des matériels grand public équipés d'une carte graphique même de moyenne gamme.
Licence
Le code source de Stable Diffusion est public, mais ce n'est pas un logiciel libre[4], car sa licence, dite CreativeML Open RAIL M License, interdit certains cas d'utilisation, ce qui est contraire à un principe de base de la fondation pour le logiciel libre[5],[6],[7].
Les critiques déplorant la publication du code source peuvent en général être liées aux inquiétudes concernant l'éthique de l'intelligence artificielle. Elles s'appuient sur l'hypothèse que le modèle peut être utilisé pour créer des deepfakes[8] et remettent également en question la légalité de la génération d'images avec un modèle formé sur un ensemble de données incluant du contenu protégé par le droit d'auteur sans le consentement des artistes originaux[9].
Entraînement
Stable Diffusion est formé sur un sous-ensemble de l'ensemble de données LAION-Aesthetics V2[10]. Il est entrainé sur 256 GPU Nvidia A100 pour un coût de 600 000 $[11].
Modèles
Version | date de sortie | taille recommandée des images à générer | licence d'utilisation | Notes |
---|---|---|---|---|
1.0 | ||||
1.4 [12] | août 2022 | 512 x 512 pixels | CreativeML OpenRAIL M license | |
1.5[13] | octobre 2022 | 512 x 512 pixels | CreativeML OpenRAIL M license | Basé sur la version 1.2, publié par Runway ML, partenaire de Stability [14] |
2.0[15] | novembre 2022 | 768 x 768 pixels | CreativeML OpenRAIL M license | Modèle entrainé sans images explicites (érotiques, pornographiques)[16] |
2.1[17] | décembre 2022 | 768 x 768 pixels | CreativeML OpenRAIL M license | |
SDXL 0.9 base[18] | juin 2023 | 1024 x 1024 pixels | SDXL 0.9 Research License | |
SDXL base 1.0[19] SDXL refiner 1.0[20] | juillet 2024 | 1024 x 1024 pixels | CreativeML Open RAIL++-M License | |
3.0 Medium | 22 février 2024 (annonce et accés restreint) 12 juin 2024 (publication) | 1024 x 1024 pixels | Stability Non-Commercial Research Community License |
En novembre 2023, Stability a publié une version distillée nommée SDXL-Turbo[21] : elle a pour but de permettre la génération d'images en temps réel. À la différence des autres modèles, sa licence n'en permet pas un usage commercial et la version originale ne permet de générer que des images de 512x512 pixels : la communauté des utilisateurs[22] a depuis entrainé d'autres modèles Turbo permettant de générer des images de 1024x1024 pixels. Les modèles Turbo permettent potentiellement de générer une image en une seule étape de calcul (de 1 à 4 étapes en pratique)[23].
En février 2024, Stability publie un modèle Stable Cascade[24] : Ce modèle est construit sur l'architecture Würstchen[25] : il fonctionne dans un espace latent beaucoup plus petit. Stable Diffusion utilise un facteur de compression de 8, ce qui signifie qu'une image de 1024x1024 est encodée en 128x128. Stable Cascade atteint un facteur de compression de 42, ce qui signifie qu'il est possible d'encoder une image de 1024x1024 en 24x24. Ce type de modèle est bien adapté aux utilisations où l'efficacité est importante. Comme la version Turbo, sa licence est non-commerciale et elle est destinée à permettre la recherche.
Le 22 février 2024, Stability annonce la prochaine version de son modèle, Stable Diffusion 3[26].
ControlNet
ControlNet[27] est une structure de réseau neuronal qui permet d'ajouter un conditionnement spécifique à des images générées par Stable Diffusion à partir de texte. Les ControlNet utilisent une image de référence pour conditionner la génération. L'image passe un préprocesseur (détection de contours, de profondeur, de pose, etc.) et sert alors de guide à la génération. Cela permet par exemple de conserver la composition de l'image de référence dans les générations[28].
Exemples de ControlNet (liste non exhaustive) :
- Détection de contours : Filtre de Canny
- Détection de la position d'un corps humain : Pose[29]
- Détection de la profondeur de champ : Depth[30]
- Détection des lignes d'un dessin : Lineart
Certains modèles sont entrainés pour déflouter[31] des images ou coloriser[32] des images.
ControlNet se sert de couches spéciales, appelées "convolutions zéro", qui commencent sans influence sur l'image et progressent doucement, évitant d'introduire des erreurs pendant l'amélioration du modèle[27].
Des modèles ont été entrainés pour les diverses versions de Stable Diffusion (1.4, 1.5, 2.1, SDXL).
Remarque : ne pas confondre le terme avec le système de communication industriel ControlNet.
Principaux logiciels utilisés
Les principaux logiciels (gratuits) utilisés pour générer des images avec Stable Diffusion localement (sur son propre ordinateur s’il dispose d’un GPU adapté) ou via une plateforme d'environnement de développement en ligne (Google Colab, RunPod, SageMaker, Jupyter, etc.)
Le langage Python est principalement utilisé pour tous ces programmes, qui sont disponibles sur GitHub.
Logiciel | auteur | fork |
---|---|---|
Web UI | Automatic1111 | non |
SD.Next | vladmandic | oui, de WebUI |
Stable Diffusion web UI-UX | anapnoe | oui, de WebUI |
Stable Diffusion WebUI Forge | lllyasviel | oui de WebUI |
ComfyUI | comfyanonymous | non |
InvokeAI | InvokeAI | non |
Fooocus | lllyasviel | non |
Fooocus-ControlNet-SDXL | fenneishi | oui, de Fooocus |
RuinedFooocus | runew0lf | oui, de Fooocus |
Fooocus-MRE | MoonRide303 | oui, de Fooocus |
VoltaML | VoltaML | non |
EasyDiffusion | easydiffusion | non |
Poursuites en justice
En janvier 2023, trois artistes — Sarah Andersen, Kelly McKernan et Karla Ortiz — intentent une action en justice contre Stability AI, Midjourney et DeviantArt, créateurs des générateurs d'art Stable Diffusion, Midjourney et DreamUp, affirmant que ces sociétés ont violé les droits de « millions d'artistes » en entraînant leurs outils d'intelligence artificielle sur cinq milliards d'images extraites du web « sans le consentement des artistes originaux »[33].
Le juge de district américain William Orrick III (en) a rejeté certaines des revendications de l'action collective, y compris toutes les allégations dirigées contre Midjourney et DeviantArt. Il a indiqué que les artistes pouvaient amender leur plainte contre les deux entreprises, dont les systèmes utilisent la technologie de texte à image Stable Diffusion de Stability.
Le juge a également rejeté intégralement les revendications de violation du droit d'auteur de Kelly McKernan et Ortiz. Il a autorisé Sarah Andersen à poursuivre sa principale allégation selon laquelle l'utilisation présumée de son travail par Stability pour entrainer Stable Diffusion enfreignait son copyright[34].
Notes et références
- ↑ (en) « Announcing SDXL 1.0 » (consulté le )
- ↑ « Release 0.0.1 », (consulté le )
- ↑ (en) « Diffuse The Rest - a Hugging Face Space by huggingface », huggingface.co, sur Hugging Face (consulté le ).
- ↑ (en) Emad Mostaque (en), « Stable Diffusion Public Release », Stability.Ai, (consulté le ).
- ↑ (en) Richard Stallman, « Why programs must not limit the freedom to run them », sur gnu.org, .
- ↑ « Ready or not, mass video deepfakes are coming », The Washington Post, (consulté le ).
- ↑ (en) « License - a Hugging Face Space by CompVis », huggingface.co, (consulté le ).
- ↑ (en) « Deepfakes for all: Uncensored AI art model prompts ethics questions », TechCrunch, (consulté le ).
- ↑ (en) Luke Plunkett, « AI Creating 'Art' Is An Ethical And Copyright Nightmare », Kotaku, (consulté le ).
- ↑ (en) « LAION-Aesthetics | LAION », laion.ai (consulté le ).
- ↑ (en) Emad Mostaque (en), « Cost of construction », Twitter, (consulté le ).
- ↑ « CompVis/stable-diffusion-v1-4 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ « runwayml/stable-diffusion-v1-5 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ (en) RunwayML, « Stable Diffusion v1-5 Model Card »
, sur HuggingFace, .
- ↑ « stabilityai/stable-diffusion-2 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ « Découvrir les modèles Stable Diffusion »
, stablediffusion.blog (consulté le ).
- ↑ « stabilityai/stable-diffusion-2-1 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ « stabilityai/stable-diffusion-xl-base-0.9 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ « stabilityai/stable-diffusion-xl-base-1.0 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ « stabilityai/stable-diffusion-xl-refiner-1.0 · Hugging Face », sur huggingface.co (consulté le ).
- ↑ (en) stabilityai, « SDXL-Turbo Model Card »
, sur huggingface, 2_ novembre 2023.
- ↑ (en) divers, « Modèles SDXL Turbo CIVITAI »
, sur civitai.
- ↑ (en) Axel Sauer, Dominik Lorenz, Andreas Blattmann et Robin Rombach, « Adversarial Diffusion Distillation », Stability AI papers, , p. 7 (lire en ligne
[PDF])
- ↑ (en) Stability, « Stable Cascade Model Card », sur Huggingface, .
- ↑ (en) Sayak Paul, Pedro Cuenca, Pablo Pernías, Kashif Rasul et Dominic Rampas, « Introducing Würstchen: Fast Diffusion for Image Generation »
, sur huggingface, (consulté le ).
- ↑ (en) Stability, « Stable Diffusion 3 »
, sur stability.ai, (consulté le ).
- ↑ a et b Lvmin Zhang, Anyi Rao et Maneesh Agrawala, « Adding Conditional Control to Text-to-Image Diffusion Models »
, sur Cornwell University, arXiv, (consulté le ).
- ↑ (en) stable-diffusion-art, « ControlNet v1.1: A complete guide »
, sur stable-diffusion-art.com, (consulté le ).
- ↑ (en) « Papers with Code - Pose Estimation », sur paperswithcode.com (consulté le ).
- ↑ (en) « Papers with Code - Depth Estimation », sur paperswithcode.com (consulté le ).
- ↑ « kohya-ss/controlnet-lllite · Hugging Face », sur huggingface.co (consulté le ).
- ↑ (en) Renato Sortino, « ColorizeNet: Stable Diffusion for Image Colorization », sur Medium, (consulté le ).
- ↑ (en) James Vincent, « AI art tools Stable Diffusion and Midjourney targeted with copyright lawsuit », sur The Verge, .
- ↑ (en) Blake Brittain, « Judge pares down artists' AI copyright lawsuit against Midjourney, Stability AI », sur Reuters, (consulté le ).
Articles connexes
Liens externes
- (en) Site officiel
- Stable Diffusion, une nouvelle IA de création d'images qui mise sur l’open source 7 septembre 2022
- Stable Diffusion, l’IA qui crée des images, devient encore plus forte
- Stable Diffusion, Imagen… les modèles d'IA génèrent-ils des images en bafouant la vie privée et les droits d'auteur ?
- Les créateurs de Stable Diffusion « calment » leur IArtiste
- Getty Images attaque Stable Diffusion en justice pour violation du droit d'auteur
- Une intelligence artificielle est capable de lire dans les pensées et de les traduire en images, 10 mars 2023
v · m | |
---|---|
Texte |
|
Images |
|
Vidéos |
|
Musiques | |
Prompt | |
Entreprises |
Portail de l’intelligence artificielle
Portail de l'informatique théorique
Portail des probabilités et de la statistique
Portail de l’imagerie numérique