En avril 2023, Oana Ruxandra, directrice numérique de Warner Music Group et vice-présidente exécutive du développement commercial, a déclaré à The Hash de CoinDesk qu'elle s'attend à ce que les outils musicaux pilotés par l'intelligence artificielle (IA) « ouvrent le monde comme nous ne l'avons jamais fait auparavant », inspirant « nouvelles formes de créativité et sous-genres » dans les industries de la musique et du divertissement.

Si les perspectives de Ruxandra sont optimistes, elle reconnaît également les préoccupations de nombreux musiciens : « Nous devons être très vigilants », a-t-elle déclaré, soulignant l’importance de protéger la créativité et les droits des artistes. Quelques jours seulement avant l’apparition de Ruxandra sur The Hash, un morceau de musique deep-fake généré par l’IA intitulé Heart On My Sleeve a gagné du terrain en imitant les voix des auteurs-compositeurs Drake et the Weeknd – même si aucun des deux artistes n’avait participé à sa création. Au lieu de cela, les créateurs de la chanson ont formé le robot d’intelligence artificielle en utilisant la musique des artistes, ce qui a provoqué la colère du propriétaire du label Universal Music Group.

D’autres musiciens se sont montrés plus accueillants envers la nouvelle technologie. Moins d'une semaine plus tard, la musicienne électropop Grimes a invité ses fans à créer leurs propres chansons doublées par l'IA en utilisant sa voix et a étendu l'offre au partage des redevances 50/50, démontrant ainsi une solution créative à l'énigme du deep-fake de l'IA.

Je partagerai 50 % des redevances sur toute chanson réussie générée par l'IA qui utilise ma voix. C’est le même accord qu’avec n’importe quel artiste avec qui je collabore. N'hésitez pas à utiliser ma voix sans pénalité. Je n'ai ni label ni obligations légales.

— 𝔊𝔯𝔦𝔪𝔢𝔰 (@Grimezsz) 24 avril 2023

En gardant à l’esprit les défis liés à la propriété intellectuelle, il ne fait aucun doute que les outils musicaux basés sur l’IA peuvent mettre de nouvelles formes d’expression à la portée des artistes. Parfois, l’IA peut même être utilisée pour améliorer la production musicale en comblant les lacunes techniques ou intellectuelles des capacités d’un artiste, l’aidant ainsi à donner vie à des concepts ambitieux en quelques clics. Ces outils peuvent également effectuer des tâches d’ingénierie sonore plus efficacement, réduisant ainsi les obstacles et le temps nécessaire à la sortie de la musique.

Alors que nous nous tournons vers le Web3, les entreprises et les artistes poussent l’IA encore plus loin en associant la musique à des expériences immersives, interactives et générées par les utilisateurs dans le métaverse et au-delà.

Outils musicaux IA dans Web3

Un certain nombre de musiciens et de plateformes crypto-natifs ont déjà trouvé des moyens créatifs d’intégrer des outils d’IA dans leur pratique.

Prenez VNCCII, par exemple, le premier alter ego du métaverse de la productrice basée à Sydney, Samantha Tauber. Utilisant l'outil de création 3D en temps réel de pointe, Unreal Engine, Tauber enfile son avatar pour diffuser des interviews en direct du métaverse, en plus de se produire dans des concerts et des spectacles virtuels. Comme tout changement de décor ou de costume, la composante numérique de l’identité artistique de VNCCII repousse les frontières de son art.

La société de musique Web3 Pixelnyx combine des expériences de réalité augmentée (AR) avec des jeux métaverse et s'efforce d'aider les artistes à créer des expériences mémorables pour les fans. Co-fondé par le producteur de musique électronique Deadmau5, connu pour envoyer ses fans dans des quêtes via The Sandbox et héberger des émissions dans Decentraland, PIXELYNX vise à faire évoluer nos notions traditionnelles de fandom grâce à l'utilisation de l'IA, du Web3 et du contenu généré par les utilisateurs ( UGC).

En avril, Pixelnyx a publié Korus, un outil qui permet aux utilisateurs de créer des compagnons musicaux alimentés par l'IA à l'aide de contenu d'artiste sous licence officielle.

Rencontrez KORUS - les compagnons musicaux IA et l'avenir de la musique de notre filiale @pixelynx_io 🎶🤖 Les compagnons KORUS AI révolutionneront la création de#musiqueen évoluant et en s'adaptant en fonction de vos choix, en libérant la créativité et en permettant aux créateurs de gagner de l'argent grâce à la musique de manière amusante. et une interface simple.

En savoir plus sur KORUS :

– Marques Animoca (@animocabrands) 28 avril 2023

Lorsqu’ils sont utilisés dans cet esprit, les outils musicaux d’IA peuvent aider, augmenter ou améliorer le style créatif d’un artiste. Même si les outils ne sont pas encore assez performants pour remplacer les artistes, ils sont impressionnants et « apprennent » constamment grâce à une interaction humaine continue. Remplacer les musiciens par l’IA n’a jamais été une idée populaire, comme le prouve le refus reçu par Spotify après avoir testé sa propre version de curation de musique artificielle. Pourtant, malgré la controverse entourant l’IA, les artistes musicaux d’aujourd’hui pourraient bénéficier de l’utilisation de la production musicale assistée par l’IA d’une manière qui respecte le métier.

Idéation et collaboration

WarpSound, une plate-forme musicale adaptative à base d'IA, a trouvé plusieurs façons d'intégrer des objets de collection et des avatars numériques basés sur la blockchain dans ses offres commerciales. La société, qui produit du contenu musical, des jetons non fongibles (NFT) et des expériences sociales, publiera bientôt une API logicielle qui compose de la musique originale note par note dans une gamme de styles.

Le fondateur et PDG Chris McGarry, entrepreneur et responsable des médias qui a auparavant quitté son poste de responsable musical chez Oculus, l'unité de réalité virtuelle de Facebook, affirme que les outils de WarpSound aident les artistes à trouver une nouvelle inspiration et du matériel source qui revigore leurs processus créatifs. La société est bénéficiaire du Game Maker Fund de The Sandbox, qui soutient les concepteurs de jeux dans le métaverse The Sandbox, et prévoit de construire un lieu d'accueil à l'intérieur de la plate-forme où les artistes peuvent expérimenter la musique générative.

Il a également lancé un AI Music Studio Artist Accelerator en partenariat avec le fournisseur mondial de paiements Mastercard, où McGarry dit avoir observé de nouveaux avantages pour le processus créatif.

"La semaine dernière, j'ai participé à une série de séances en studio virtuel avec des artistes participant au programme", a déclaré McGarry. «Nous travaillions avec notre interface musicale générative d'IA pour présenter un ensemble d'idées musicales, puis nous demandions à l'artiste de les façonner et de les répéter jusqu'à ce qu'il atterrisse sur quelque chose dont l'essence résonnait en lui et avec lequel il était motivé à travailler.»

WarpSound s'est également associé au Tribeca Film Festival et à YouTube pour créer des expériences musicales interactives et ludiques entre les artistes et le public.

Composition et arrangement

Si votre projet musical concerne moins la performance en direct que le produit fini (vous composez peut-être de la musique originale pour un podcast, un événement métaverse, une chaîne YouTube, un jeu vidéo Web3 ou un contenu éducatif), vous pouvez utiliser l'IA pour accélérer le processus de création. composition et agencement. Bien sûr, les virtuoses les plus talentueux du monde peuvent probablement créer des gammes musicales pendant leur sommeil, mais avec autant d’éléments dans la production sonore et vidéo, il devient courant d’utiliser l’IA pour insérer des gammes rapides, des arpèges, des séquences et des harmonies dans la musique originale.

Des outils comme Riffusion permettent aux utilisateurs de fournir des invites textuelles qui sont transformées en musique. Soundful est une autre plate-forme d'IA qui permet aux utilisateurs de générer et de télécharger des morceaux libres de droits.

Si vous souhaitez aller plus loin et ajouter des paroles, l'outil à tout faire populaire ChatGPT peut écrire une chanson à deux couplets avec un pré-refrain, un refrain, un pont et une sortie en un peu moins de 30 secondes avec un minimum d'invites. Bien sûr, les paroles peuvent être un peu simplistes ou ringardes – mais ne sont-elles pas parmi les meilleures chansons ?

Dans la plupart des cas, les chansons générées par l’IA sont reproductibles sans qu’il soit nécessaire de payer des frais de licence, étant donné qu’elles ont été créées par des machines et ne sont donc pas protégées par la loi américaine sur la propriété intellectuelle. La plupart des plateformes facturent cependant des frais d’abonnement.

Ces sons peuvent ensuite être créés sous forme de NFT et vendus sur des marchés comme OpenSea. Des plateformes comme Royal.io permettent également aux artistes de rejoindre le site et de proposer leurs chansons sous forme de NFT fractionnés qui offrent des redevances aux fans.

Lire la suite : Que sont les NFT musicaux ?

Les limites de la production musicale IA

Vous avez peut-être déjà entendu dire que les outils d'IA musicale ne sont pas encore si sophistiqués, surtout si on les compare aux derniers générateurs de texte-image d'IA (qui ont déjà été utilisés pour créer des collections entières de bandes dessinées) et au chatbot d'Open AI, Chat GPT. (qui aurait réussi l'examen du barreau).

La production audio nécessite en effet plus de puissance de calcul que les sorties statiques de texte et d’images et est donc à la traîne, selon les experts du domaine. Alexander Flores, responsable de la technologie et de la stratégie au sein du réseau de recherche musicale Water & Music, affirme que l'innovation technologique va généralement des formats les moins gourmands en données aux plus riches. Dans le cas de l’IA, il est logique que les chatbots soient peut-être plus rapides à développer que le rendu audio et vidéo de l’IA.

Dans un fil de discussion en ligne, un utilisateur de Reddit a souligné ces limites, soulignant que même si un écrivain peut relire et modifier les résultats d'un chatbot IA en quelques secondes, il faut plusieurs minutes pour écouter une chanson, et parfois même des heures pour la modifier. Les machines sont également plus lentes à apprendre des ensembles de données de l’IA, car les fichiers audio qui les alimentent comportent rarement des descriptions textuelles complètes pour enseigner à l’IA les attributs du fichier (genre, tempo, tonalité, instrumentation, etc.). Pendant ce temps, les IA basées sur du texte et des images peuvent parcourir rapidement des milliers de mots et de visuels.

"Le temps qu'il faut pour consommer le contenu est très important", a déclaré Flores. « Avec une chanson, tu es enfermé pendant trois minutes. Vous ne pouvez pas l'accélérer, car vous ne ressentirez pas la chanson telle qu'elle a été écrite.

De plus, les images sont statiques, tandis que les chansons sont plus dynamiques : « L’audio est tout simplement d’une dimension beaucoup plus élevée », a déclaré Stefan Lattner, chercheur en chef chez Sony CSL, un laboratoire de technologie créative, lors d’un panel lors du premier Wavelengths Summit de Water & Music. "Alors que les images ont un nombre fixe de pixels, dans l'audio, vous souhaitez générer un nombre variable de secondes."

Néanmoins, Water & Music considère l'IA créative comme la technologie la plus révolutionnaire pour le secteur de la musique depuis Napster, l'application de partage de fichiers peer-to-peer qui a rendu la distribution de musique pratiquement gratuite, ainsi que sans frontières et sans autorisation – un concept familier aux crypto-natifs. .