Derrière la voix : comment l'IA adapte l'émotion à la parole

La synthèse vocale neuronale en est au point où une voix synthétique peut lire une phrase et sonner, le plus souvent, comme une personne qui la lit. Le problème plus difficile, c'est de la faire sonner comme une personne qui pense ce qu'elle dit : chaleureuse sur une bonne nouvelle, feutrée sur une phrase triste, plus légère sur une taquinerie. Cet article explique la conception d'un pipeline vocal sensible aux émotions — comment le texte devient audio, comment un système déduit la tonalité émotionnelle, comment celle-ci devient des réglages de voix, et où l'approche atteint ses limites.

Où en est AINudeGirls : il n'existe aujourd'hui aucune fonctionnalité vocale sur la plateforme. Vos modèles IA ne parlent pas, et il n'y a pas d'appels vocaux. Les appels vocaux IA figurent sur notre feuille de route publique avec un objectif au deuxième trimestre 2027. Tout ce qui suit décrit la conception de cette future fonctionnalité, pas quelque chose d'utilisable maintenant. Pour voir ce qui fonctionne déjà, commencez par le générateur d'images ou le générateur de vidéos.

---

Comment fonctionne la synthèse vocale (les bases)

En résumé, la synthèse vocale moderne (TTS) convertit du texte en audio en trois étapes, toutes assurées par des réseaux de neurones :

1. Analyse du texte : le texte d'entrée est découpé en unités linguistiques — phonèmes, marqueurs de prosodie, structure de phrase. C'est ici que le système décide quelles syllabes portent l'accent et où se placent les pauses.

2. Modélisation acoustique : un réseau prédit les caractéristiques audio de chaque segment — hauteur, durée, énergie et caractéristiques spectrales.

3. Génération de la forme d'onde : un vocodeur transforme ces prédictions acoustiques en une véritable forme d'onde audio.

La TTS neuronale actuelle est très loin des voix robotiques des générations précédentes. Mais il reste un écart entre « sonne comme un humain qui lit un texte » et « sonne comme un humain qui ressent quelque chose en parlant ». Un pipeline sensible aux émotions vient s'ajouter à ces trois étapes pour réduire cet écart.

---

D'où vient la voix : les options de fournisseur

Une plateforme qui construit une sortie vocale doit décider où l'audio est synthétisé. Trois catégories sont courantes, chacune avec son compromis :

TTS hébergée généraliste

• Définition : un service de TTS neuronale dans le cloud, proposé par un grand éditeur, offrant de nombreuses voix dans plusieurs langues et accents
• Qualité : une parole propre et naturelle, avec la prosodie que le modèle a apprise à l'entraînement
• Contrôle : limité. Vous choisissez une voix et un débit ; vous ne pouvez pas piloter finement le rendu émotionnel
• Idéal pour : la parole courante, quand une lecture naturelle et neutre suffit

API spécialisées en voix expressives

• Définition : un service conçu spécifiquement pour des voix synthétiques expressives, avec des profils de personnage distincts
• Qualité : la plage émotionnelle la plus large des trois catégories
• Contrôle : des paramètres directs pour régler la stabilité, la fidélité et l'intensité dramatique du rendu — les leviers dont un pipeline émotionnel a besoin
• Idéal pour : les répliques chargées d'émotion et la narration, là où un rendu plat se remarquerait

Moteurs open source auto-hébergés

• Définition : un moteur TTS open source exécuté sur votre propre matériel, avec des modèles de voix personnalisés
• Qualité : variable selon le modèle ; certains gèrent bien l'émotion, d'autres non
• Contrôle : total, mais vous êtes responsable de tout, qualité comprise
• Idéal pour : garder le traitement du texte en interne, la génération à gros volume et l'expérimentation

Notre configuration backend liste une option dans chaque catégorie (Edge TTS, ElevenLabs et Coqui). Rien n'est relié à une fonctionnalité visible par les utilisateurs, et ce choix peut changer avant le lancement des appels vocaux.

---

Détecter l'émotion dans le texte

Avant qu'un moteur TTS ne génère de l'audio, un pipeline sensible aux émotions doit répondre à une question simple : quelle est la tonalité émotionnelle de ce texte ? Voici comment cette étape est conçue.

Un jeu d'émotions de travail

Sept catégories couvrent l'essentiel de ce qu'une voix conversationnelle doit exprimer :

Émotion Description Déclencheurs typiques

--------- ------------- -----------------

Joie Bonheur, excitation, enthousiasme Rires, célébrations, bonnes nouvelles, énergie joueuse

Tristesse Mélancolie, compassion, réconfort Perte, déception, empathie, nostalgie

Colère Frustration, intensité, passion Conflit, injustice, désaccord marqué

Peur Anxiété, inquiétude, malaise Danger, incertitude, souci, vulnérabilité

Surprise Étonnement, révélation Rebondissements, événements inattendus, découvertes

Séduction Espièglerie, taquinerie, attirance Compliments, sous-entendus, tension romantique

Tendresse Douceur, attention, intimité Réconfort, proximité, vulnérabilité émotionnelle, amour

Plus une valeur de repli Neutre pour les textes qui ne penchent dans aucune direction particulière.

Deux façons de la détecter

La conception la plus simple est basée sur des mots-clés. Le système cherche dans le texte les mots et expressions associés à chaque émotion :

• Indicateurs de joie : « haha », « j'adore », « incroyable », « trop hâte », « merveilleux », points d'exclamation
• Indicateurs de tristesse : « désolé », « tu me manques », « j'aimerais », « malheureusement », « ça fait mal »
• Indicateurs de séduction : « clin d'œil », « taquiner », « rougir », « magnifique », formulations suggestives
• Indicateurs de tendresse : « je tiens à toi », « en sécurité avec moi », « doucement », « tout bas », « te serrer »

Chaque occurrence augmente le score de cette émotion, et le score le plus élevé l'emporte. La correspondance par mots-clés est transparente, peu coûteuse et facile à déboguer, ce qui en fait une première version raisonnable.

L'alternative est un classifieur basé sur un modèle : un petit modèle de langage qui lit tout le message et produit une étiquette d'émotion avec une probabilité. Il comprend bien mieux le contexte, le sarcasme et les signaux mixtes, au prix de latence, de calcul et d'un comportement moins prévisible.

Score de confiance

Tous les messages n'ont pas une tonalité claire, le détecteur doit donc aussi indiquer son degré de certitude — une valeur de confiance de 0.0 à 1.0 :

• Confiance élevée : plusieurs indicateurs forts pour une seule émotion. Les paramètres de voix évoluent nettement.
• Confiance moyenne : quelques indicateurs présents mais pas dominants. Les paramètres évoluent modérément.
• Confiance faible : texte ambigu ou neutre. La voix reste proche du profil par défaut.

La pondération par la confiance évite à la voix des écarts brutaux sur un texte ambigu : quand le détecteur n'est pas sûr, il produit une lecture neutre.

---

Comment les émotions se traduisent en paramètres de voix

Les API de TTS expressive exposent quelques commandes. Les noms varient selon le fournisseur, mais trois sont courantes et correspondent bien aux émotions détectées :

Stabilité (dynamique vocale)

Contrôle à quel point la voix est constante ou dynamique :

• Stabilité plus faible = plus de variation vocale, plus expressive, plus énergique
• Stabilité plus élevée = rendu plus mesuré, contrôlé, régulier

Similarité (naturel)

Contrôle à quel point la sortie reste fidèle au profil de voix de base :

• Similarité plus faible = interprétation plus créative, potentiellement plus émotive mais moins constante
• Similarité plus élevée = adhésion plus stricte au son naturel de la voix

Style (expressivité)

Contrôle l'expressivité globale du rendu :

• Style plus élevé = plus dramatique, plus marqué émotionnellement
• Style plus faible = plus subtil, plus conversationnel

Une correspondance émotion-paramètres

Une correspondance de départ raisonnable ressemble à ceci. La direction de chaque ajustement compte plus que les chiffres exacts, qui devront être calibrés par voix une fois un vrai système en place :

Émotion Stabilité Similarité Style Effet recherché

--------- ----------- ------------ ------- -----------------

Joie Plus faible Moyenne Plus élevé Dynamique, énergique, expressif

Tristesse Plus élevée Plus élevée Moyen Plus lent, mesuré, doux

Colère Plus faible Moyenne Plus élevé Intense, appuyé, dramatique

Peur Moyenne Plus élevée Moyen Tendu, légèrement instable, pressant

Surprise Plus faible Moyenne Plus élevé Rapide, dynamique, large amplitude

Séduction Moyenne Moyenne Moyen Variation joueuse, chaleureux, taquin

Tendresse Plus élevée Plus élevée Moyen Doux, chaleureux, délicat, intime

Neutre Moyenne Moyenne Plus faible Naturel, conversationnel, équilibré

Ce sont des valeurs de référence. Le score de confiance ramène ensuite chaque paramètre vers le neutre, proportionnellement à l'incertitude de la détection.

---

Une voix par modèle

Dans un système de ce type, chaque personnage a besoin de sa propre identité vocale plutôt que d'un seul narrateur partagé :

• Sélection de la voix : chaque personnage reçoit, chez le fournisseur, une voix adaptée à sa personnalité
• Paramètres de référence : chaque personnage a ses propres valeurs par défaut de stabilité, de similarité et de style, qui définissent son son « neutre »
• Plage émotionnelle : certains personnages seraient plus expressifs par défaut, d'autres plus mesurés ; la correspondance des émotions s'ajuste relativement à la référence de chacun

Un personnage joueur et énergique garde une voix plus dynamique même en mode neutre, tandis qu'un personnage calme reste mesuré. Les variations émotionnelles s'appliquent par-dessus ces valeurs par défaut. Sur AINudeGirls, cela reviendrait à terme à attribuer une voix à chacun des profils de modèles IA — aujourd'hui, ces profils ne sont que des images et des descriptions.

---

Limites connues de cette conception

Ce que la conception gère bien

• Les émotions évidentes. Un message plein de points d'exclamation et de mots comme « incroyable » et « j'adore » est facile à classer comme joyeux. Un message qui parle d'une perte est facile à classer comme triste.
• L'ambiguïté. Le système de confiance empêche un texte ambigu de provoquer des écarts vocaux.
• Le contraste. Les rendus joyeux et tendre sonnent suffisamment différemment pour justifier l'effort.

Ce qu'elle gère mal

• Le sarcasme et le contexte. La détection par mots-clés ne comprend pas « Oh super, encore un lundi. » Le mot « super » compte comme de la joie.
• Les émotions mixtes. Un message qui porte à la fois de la joie et de la tristesse est réduit à celle qui obtient le score le plus élevé, au lieu d'un mélange des deux.
• Les différences entre fournisseurs. La correspondance fine ne fonctionne pleinement que chez ceux qui exposent les paramètres. La TTS généraliste s'appuie sur sa prosodie intégrée et réagit moins aux consignes explicites.
• La variabilité de l'auto-hébergement. La plage émotionnelle des moteurs open source dépend fortement du modèle précis utilisé.

Questions ouvertes avant le lancement

• Faut-il commencer par la détection par mots-clés ou passer directement à un classifieur basé sur un modèle
• Le mélange d'émotions — deux émotions dans un même rendu — vaut-il la complexité supplémentaire
• Combien de voix sont nécessaires pour couvrir l'éventail des profils de modèles de la plateforme

Rien de tout cela n'est tranché.

---

Considérations de confidentialité pour la voix

Toute fonctionnalité vocale soulève des questions inconnues d'une plateforme purement textuelle. Voici les contraintes de départ de la conception ; la politique définitive sera publiée avant le lancement :

• Génération à la demande. L'audio est produit au moment de la demande, pas préenregistré.
• Mise en cache temporaire uniquement. L'audio généré peut être mis en cache brièvement pour la lecture, pas stocké de façon permanente.
• Aucune capture de la voix de l'utilisateur. Le pipeline est unidirectionnel : du texte entre, de l'audio sort. Rien dans la conception ne requiert votre microphone, et le clonage de la voix des utilisateurs n'en fait pas partie.
• Traitement des données par le fournisseur. Si un fournisseur tiers synthétise l'audio, le texte du message est envoyé à ce fournisseur et relève de sa politique de confidentialité. Un moteur auto-hébergé garde le texte en interne. L'option retenue serait clairement indiquée au lancement.

---

Ce que vous pouvez faire dès aujourd'hui

Pour répéter le point de départ : la voix n'est pas disponible sur AINudeGirls — ni sortie vocale, ni chat vocal, ni appels vocaux. Les appels vocaux sont sur la feuille de route pour le deuxième trimestre 2027 ; cet article sera mis à jour quand il y aura du concret à décrire.

Ce qui est en ligne, c'est la génération d'images et de vidéos : écrivez un prompt ou choisissez une catégorie dans le générateur NSFW, parcourez les catégories, ou générez un court clip dans le générateur de vidéos. Les prix sont au crédit, sur la page des tarifs ; la FAQ couvre le reste.