Nouvelle fonctionnalité controversée
Grok, la société d’Elon Musk, a lancé mardi soir une nouvelle fonction de génération d’images par l’IA qui comporte très peu de garde-fous. Cela signifie que vous pouvez générer de fausses images de Donald Trump donnant une claque à Harris et les télécharger directement sur la plateforme X. Mais ce n’est pas vraiment la société d’IA d’Elon Musk qui est à l’origine de cette folie. C’est la nouvelle startup Black Forest Labs qui est à l’origine de cette fonctionnalité controversée.
La collaboration entre les deux a été révélée lorsque xAI a annoncé qu’elle travaillait avec Black Forest Labs pour alimenter le générateur d’images de Grok à l’aide de son modèle FLUX.1. Black semble sympathiser avec la vision de Musk pour Grok en tant que chatbot anti-éveil, sans les garde-fous stricts que l’on trouve dans Dall-E d’OpenAI ou Imagen de Google. Le site de médias sociaux est déjà inondé d’images scandaleuses provenant de la nouvelle fonctionnalité.
Un acteur émergent avec un modèle de diffusion puissant
Black Forest Labs est basée en Allemagne et est récemment sortie de la clandestinité grâce à un financement d’amorçage de 31 millions de dollars mené par Andreessen Horowitz. Parmi les autres investisseurs figurent le PDG de Y Combinator, Garry Tan et l’ancien PDG d’Oculus, Brendan Iribe. Les cofondateurs de la startup, Robin Rombach, Patrick Esser et Andreas Blattmann étaient auparavant des chercheurs qui ont contribué à la création des modèles de diffusion stable de Stability AI.
Les modèles FLUX.1 de Black Forest Lab surpassent les générateurs d’images IA de Midjourney et d’OpenAI en termes de qualité, du moins selon le classement des utilisateurs dans leur arène d’images. La startup affirme qu’elle met ses modèles à la disposition d’un large public avec des modèles de génération d’images d’IA open source sur Hugging Face et GitHub. Elle prévoit également de créer prochainement un modèle de conversion de texte en vidéo.
Dans son communiqué de lancement, la société affirme qu’elle vise à renforcer la confiance dans la sécurité de ces modèles. Cependant, de nombreuses images que les utilisateurs ont pu créer à l’aide des outils de Grok et de Black Forest Labs n’ont pas pu être recréées avec les générateurs d’images de Google ou d’OpenAI. Il ne fait aucun doute que des images protégées par le droit d’auteur ont été utilisées pour l’entraînement du modèle.
Ce manque de garanties est probablement l’une des principales raisons pour lesquelles Musk a choisi ce collaborateur. Il a clairement indiqué qu’il pensait que les garanties rendaient les modèles d’IA moins sûrs. Anjney Midha, directrice de Black Forest Labs, a publié sur X une série de comparaisons entre les images générées le premier jour du lancement par Google Gemini et la collaboration Flux de Grok. Le fil de discussion met en évidence les problèmes bien documentés de Google Gemini en ce qui concerne la création d’images de personnes historiquement exactes. Notamment en injectant de manière inappropriée de la diversité raciale dans les images.
Controverses et implications pour l’avenir de Grok et X
À la suite de cette erreur, Google s’est excusé et a désactivé la capacité de Gemini à générer des images de personnes en février. À ce jour, la société ne permet toujours pas à Gemini de générer des images de personnes. Ce manque général de garanties pourrait poser des problèmes à Musk. La plateforme X a été critiquée lorsque des images explicites générées par l’IA et représentant Taylor Swift sont devenues virales sur la plateforme. Outre cet incident, Grok génère des titres hallucinés qui apparaissent aux utilisateurs de X presque chaque semaine.
La semaine dernière, cinq secrétaires d’État ont demandé à X de cesser de diffuser des informations erronées sur Kamala Harris. Au début du mois, Musk a re-partagé une vidéo qui utilisait l’IA pour cloner la voix de Mme Harris, donnant l’impression que la vice-présidente admettait avoir été recrutée pour la diversité.
Musk semble vouloir laisser des informations erronées comme celle-ci se répandre sur la plateforme. En permettant aux utilisateurs de publier les images d’IA de Grok, qui semblent dépourvues de filigrane, directement sur la plateforme, il a essentiellement ouvert un robinet de désinformation dirigé vers le fil d’actualité X de tout le monde.
