Cette modification du mode histoire de GTA 5 démontre le potentiel sauvage – et les problèmes – des conversations entre PNJ alimentées par l’IA.

La modification du mode histoire de GTA 5 montre le potentiel et les problèmes des conversations entre PNJ alimentées par l'IA.

Et si vous pouviez patrouiller dans les rues de Los Santos dans Grand Theft Auto 5 et parler librement aux habitants ? Et si ces derniers pouvaient réellement vous répondre avec un dialogue personnalisé authentique ?

C’est l’objectif de Sentient Streets, un nouveau mod de GTA 5 basé sur l’histoire, créé par le moddeur expérimenté Bloc, disponible dès maintenant sur NexusMods.

Dans ce mod, les joueurs incarnent un jeune policier enquêtant sur un complot à Los Santos concernant la montée de l’intelligence artificielle. Dans la vraie vie, c’est l’intelligence artificielle qui alimente les conversations du mod avec les PNJ à travers le monde.

“J’ai toujours eu l’idée de créer un monde virtuel comme GTA, mais une version où vous pouvez également interagir et parler avec les PNJ comme de vraies personnes”, a déclaré Bloc à Eurogamer. Il a déjà travaillé sur des mods pour Bannerlord et Skyrim qui utilisaient des modèles de langage à grande échelle alimentés par l’intelligence artificielle (LLM), avant de voir des critiques sur l’avenir de cette technologie.

“Les LLM dans les jeux ont été qualifiés de ‘gadget’ car tout ce que vous pouviez faire était de parler aux personnages et c’est tout”, poursuit Bloc. “Je n’étais pas d’accord avec cette idée, mais ne pas être d’accord ne suffisait pas. Je voulais le prouver.”

• Pourquoi Super Mario Bros. Wonder est le jeu parfait pour faire rev...
• La musique de l’attentat à la bombe de Final Fantasy 7 inclus...
• Profitez dès maintenant de ces offres de films Prime Video à moins ...

Bloc joue sur la peur de l’intelligence artificielle dans l’histoire du mod, le joueur se retrouvant face à une secte mortelle adorant une IA invisible. Au cours du processus, ils auront des conversations ouvertes en temps réel avec environ 30 PNJ IA.

“J’espère qu’avec ce mod, j’ai pu démontrer que l’utilisation de l’IA dans les jeux vidéo ne signifie pas nécessairement une complète randomisation et un gameplay imprévisible, et que les jeux qui veulent raconter une histoire peuvent également utiliser des LLM pour enrichir leur narration avec des expériences de jeu de rôle uniques pour les joueurs.”

Les conversations avec les PNJ présentes dans Sentient Streets sont alimentées par Character Engine d’Inworld, avec la possibilité pour Bloc d’utiliser plusieurs fonctionnalités en accès anticipé. Inworld est un outil qui alimente les PNJ IA et promet des personnages “capables de s’exprimer de manière humaine multimodale” selon son site web. En gros, l’outil permet aux développeurs de créer des personnages en remplissant des paramètres ; la parole fonctionne librement à partir de là et intègre la technologie de synthèse vocale et de texte-à-parole de la société ElevenLabs.

“Nous sommes ravis d’intégrer la technologie de parole en temps réel d’ElevenLabs, ce qui renforce notre système déjà complet pour la création d’IA générative de PNJ”, a déclaré Kylan Gibbs, directeur des produits chez Inworld, dans un communiqué de presse pour Sentient Streets. “En répondant à la demande de la communauté pour des capacités vocales améliorées, nous nous rapprochons un peu plus de rendre les personnages plus crédibles et plus réalistes. Nous fournissons aux développeurs les outils pour aller au-delà des arbres de dialogue et des interactions scriptées.”

D’après Mati Staniszewsi, PDG d’ElevenLabs : “En combinant notre logiciel de parole IA de pointe avec la plateforme d’Inworld, nous repoussons les limites des expériences de jeu immersives et ajoutons une couche supplémentaire de possibilités aux mondes du jeu.

“Notre outil polyvalent apporte une qualité audio parlée exceptionnelle aux personnages IA, en incorporant une intonation et une inflexion semblables à celles des humains tout en s’adaptant aux indices contextuels. Nous sommes très excités par ce développement et avons hâte de voir comment il sera utilisé par la communauté des développeurs.”

Bloc explique que l’intégration avec Inworld a été “assez facile” car le logiciel offre un certain nombre de fonctionnalités attendues par les joueurs, mais pas toujours fournies dans les outils, telles que la reconnaissance vocale, les voix des personnages et les émotions.

Le moddeur a publié une vidéo de Sentient Streets sur YouTube en même temps que la sortie du mod et les résultats sont vraiment surprenants. Les joueurs vont vers des PNJ spécifiques et, après avoir attiré leur attention, ils appuient sur un bouton pour commencer à parler dans un microphone. L’IA répond ensuite librement. Au début, Bloc choisit un officier partenaire en discutant avec lui et en lui demandant son nom et son histoire ; plus tard, il parle à un suspect sur une scène de crime et peut librement jouer un rôle pour obtenir des informations.

Ce n’est pas parfait, bien sûr. L’IA prend du temps pour traiter les conversations, commet parfois des erreurs et répète parfois des réponses. Mais avec des améliorations, le potentiel de ce type d’outil est époustouflant.

Le mod de Bloc a été téléchargé plus de 3000 fois en une semaine. Alors, l’IA a-t-elle donné des réponses étranges ou amusantes lorsqu’elle est utilisée à grande échelle ?

“Même pendant que je testais le mod, l’IA m’a fait rire plusieurs fois avec ses réponses ‘malicieuses’ ou ses réactions inattendues”, a déclaré Bloc. “J’ai vu quelques vidéos de streamers jouant avec le mod. Dans une conversation amusante, un streamer accusait son partenaire d’un crime qu’il avait commis, mais le capitaine de l’IA a démasqué le mensonge et l’a accusé d’être un menteur. Dans une autre conversation, un streamer parlait avec un membre fou d’une secte et le rendait fou en posant des questions totalement sans rapport pour le déstabiliser.

“Parfois, je suis vraiment surpris d’entendre l’IA donner des réponses très intelligentes à mes questions évidentes, et c’est toujours amusant de voir comment elles retournent la situation.”

Bien sûr, l’utilisation de l’IA reste un sujet délicat. Ubisoft a dévoilé un outil d’IA pour aider à l’écriture de scénarios plus tôt cette année, spécifiquement pour une utilisation avec les PNJ de l’arrière-plan, suscitant des inquiétudes quant à la perte de travail pour le personnel d’écriture junior. De nombreux acteurs, quant à eux, sont sceptiques quant à l’IA – en particulier l’essor des mods basés sur l’IA deepfake où les voix sont utilisées sans permission.

Inworld utilise une bibliothèque vocale d’ElevenLabs et n’embauche pas de doubleurs. Mais ElevenLabs est un outil de clonage d’IA précédemment critiqué par des acteurs inquiets. Ses conditions d’utilisation précisent que les utilisateurs sont soit les créateurs et propriétaires des fichiers utilisés pour générer la parole de l’IA, soit qu’ils ont le consentement écrit de chaque personne identifiable dans les fichiers. Mais il est toujours difficile de savoir d’où provient la voix des données d’ElevenLabs.

“Les voix standard disponibles par défaut sur la plateforme sont soit générées par des algorithmes d’IA qui échantillonnent aléatoirement des caractéristiques vocales (c’est-à-dire qu’elles n’imitent ni ne reproduisent la voix d’une personne spécifique), soit développées grâce à des partenariats limités dans le temps avec des doubleurs, avec de nouvelles voix d’IA personnalisées créées en conséquence”, a déclaré un porte-parole d’ElevenLabs à Eurogamer. “ElevenLabs ne propose aucune voix d’IA sur la plateforme basée sur la voix réelle d’une personne sans la permission explicite de cette personne.

“ElevenLabs permet également aux utilisateurs de créer de nouvelles voix d’IA générées de manière aléatoire et de les partager dans le cadre de la bibliothèque vocale communautaire. Séparément, les utilisateurs ont la possibilité de créer des voix clonées pour leur propre travail, s’ils ont les droits et les autorisations pour ces voix. Ces voix ne peuvent pas être partagées dans la bibliothèque vocale. Les utilisateurs qui contreviennent aux conditions d’utilisation sont bannis de la plateforme – tout le monde est encouragé à signaler le contenu qu’il estime avoir violé ces conditions.”

Bloc affirme avoir confirmé auprès d’Inworld que la voix sélectionnée pour son outil provenait de la bibliothèque vocale d’ElevenLabs.

Cependant, les préoccupations générales concernant l’utilisation de l’IA dans le développement de jeux vidéo persistent. Les studios devraient “vraiment faire attention à la façon dont ils utilisent l’IA”, poursuit Bloc – notamment en ce qui concerne les fonctionnalités de sécurité et les préoccupations en matière de confidentialité.

“Inworld a assoupli les fonctionnalités de sécurité des modèles linguistiques, car il n’aurait aucun sens qu’un membre d’une secte armée soit super gentil et serviable en vous parlant”, explique Bloc. “On s’attendrait à ce que cette personne soit agressive, vous insulte et ait un caractère où il est difficile de trouver un terrain d’entente. Cependant, cette relaxation [des règles] ne peut pas toujours bien fonctionner.”

Les développeurs devront s’assurer de trouver un équilibre entre la caractérisation authentique et la fourniture d’une voix d’IA toxique, poursuit-il.

“Avoir un modèle linguistique super strict n’est pas amusant, mais avoir un modèle linguistique terriblement toxique dans un jeu vidéo n’est pas amusant ni sûr non plus”, déclare Bloc. “Cet équilibre doit être ajusté avec soin en fonction des besoins de ce jeu.”

En ce qui concerne les problèmes de confidentialité, Bloc affirme avoir constaté que les gens anthropomorphisent les modèles linguistiques en raison de leurs caractéristiques de conversation semblables à celles des humains. “Cela peut entraîner des problèmes de confidentialité car les gens peuvent partager leurs informations personnelles avec les IA de discussion”, explique-t-il. “Certaines de ces informations personnelles peuvent poser de gros problèmes dans certains pays. Je pense que prendre des mesures pour éviter toute violation de la vie privée devrait être l’une des priorités les plus importantes des développeurs qui travaillent avec des modèles linguistiques.”

En ce qui concerne Sentient Streets, Bloc a reçu jusqu’à présent un flot de commentaires positifs – et affirme que les joueurs s’investissent dans ce type d’IA car cela amplifie leur plaisir de jeu. Il pense que ce type de contenu trouvera sa place dans l’industrie du jeu à l’avenir, mais pas nécessairement chez Rockstar.

“La marque Grand Theft Auto est peut-être la plus grande marque de l’industrie du jeu en ce moment, mais il est peu probable que Rockstar essaie d’adapter quelque chose de si nouveau dans son prochain titre”, déclare Bloc. “Cependant, nous verrons probablement de nombreux jeux similaires à GTA avec cette technologie à l’avenir, ou peut-être de grands mods pour GTA 6 également.”

Avec GTA 6 probablement prévu pour l’année prochaine, il ne faudra pas attendre longtemps avant de le découvrir.