Retour aux actualités
Article suivant Article précédent

Revue 166 - S’entraîner avec un entraîneur virtuel

Articles Revue TELECOM

-

15/07/2012




S’entraîner avec un

entraîneur virtuel

 


par Catherine Pelachaud dans la revue TELECOM n° 166


TARDIS permet de s’entraîner à l’entretien d’embauche avec un interlocuteur virtuel sensible aux expressions non verbales. Ce projet, d’envergure européenne, est destiné à aider l’insertion à l’emploi de publics fragiles, en leur faisant prendre conscience de leur propre comportement.


Nous participons au projet européen TARDIS « Training young Adult's Regulation of emotions and Development of social Interaction Skills ». Le projet est coordonné par UPMC. Les partenaires académiques sont Télécom ParisTech, DFKI, Universität Augsburg, London Knowledge Lab, Universiteit Utrecht. Le projet compte aussi une association - Association pour l’Insertion Sociale et Professionnelle des Jeunes - et une société de jeux vidéo - Wizarbox. Le but du projet est de construire une plateforme basée sur des scénarios de simulation de jeux sérieux pour les jeunes de 18 à 25 ans à risque d'exclusion. Le jeu leur permettra d'explorer, de pratiquer et d'améliorer leurs compétences sociales. Dans le jeu, l'interaction avec les jeunes se fera par le biais d’agents virtuels (AV) agissant à titre de recruteurs dans des scénarios d'entretiens d'embauche. Les AV sont conçus pour maintenir des interactions socio-émotionnelles crédibles avec leurs interlocuteurs. TARDIS exploite les affordances uniques de la technologie numérique, en créant un environnement dans lequel la qualité et la quantité de l'expression des émotions des agents peuvent être modulées pour simuler une gamme variée d'entretiens d'embauche que les jeunes stagiaires pourront tester. Les scénarios sont co-conçus avec des praticiens expérimentés dans plusieurs pays européens afin d'assurer leur pertinence par rapport aux différents individus à travers un certain nombre de contextes culturels. 


Apports

TARDIS propose trois innovations majeures. Premièrement, les émotions et les attitudes sociales des jeunes stagiaires seront détectées en temps réel à partir de la qualité expressive de leur voix et de la reconnaissance de leurs expressions faciales. Cette reconnaissance sera utilisée pour adapter le déroulement du jeu et le comportement des agents virtuels (agissant comme recruteurs) aux utilisateurs individuels.

Deuxièmement, TARDIS fournira aux praticiens travaillant directement sur le terrain un outil de création intuitif pour la conception de scénarios d'entretien d'embauche appropriés. Le comportement émotionnel des agents pourra être réglé par eux sans l'aide d'informaticiens. Troisièmement, TARDIS donnera aux praticiens un accès unique aux enregistrements systématiques des difficultés spécifiques que chaque jeune stagiaire rencontrera. Ceci permet d'offrir de nouveaux instruments pour les praticiens pour mesurer les progrès individuels dans la régulation des émotions et dans l'acquisition de compétences sociales, facilitant ainsi la réflexion des jeunes sur leur propre pratique et permettant un encadrement plus souple et personnalisé pour les jeunes à risque d'exclusion sociale
Figure 1 : la plateforme TARDIS


Architecture générale

La figure 1 illustre l’architecture globale de la plateforme TARDIS. Au préalable, les praticiens confectionnent des scénarios en décrivant la personnalité et les caractéristiques socio-émotionnelles du recruteur virtuel. Au commencement d’une session d’interaction avec un jeune stagiaire, celui-ci fournit son CV. Le jeune stagiaire est assis face à un terminal muni d’une webcam et d’un micro. L’agent virtuel se trouve donc à hauteur du stagiaire. Durant une interaction, le comportement de ce dernier est interprété à partir des analyses acoustiques de la qualité de sa voix et des analyses visuelles de ses expressions faciales et corporelles. Cette étape fournit des informations sur son état émotionnel et son niveau d’attention. Elle permet aussi de savoir en temps réel si le jeune sourit, hoche de la tête, fait une pause, accentue un mot, etc. L’interprétation des signaux visuels et acoustiques de l'utilisateur sont utilisés par l’agent pour déterminer sa réaction émotionnelle : montre-t-il de l’empathie ? Reste-t-il distant ? Imite-t-il le jeune ? Est-ce qu’il lui rend son sourire ?


Modélisation de l’agent

L’agent pourra aussi prendre diverses attitudes sociales face à son interlocuteur. L’agent pourra le mettre à l’aise, le provoquer, ou tout simplement lui demander des informations, etc. Le comportement du recruteur virtuel tient compte de son attitude sociale envers le jeune stagiaire. Le choix des comportements non-verbaux pour communiquer une intention donnée, le type de backchannels (signaux émis tout en écoutant), ses réactions, ses émotions, etc. contribuent à communiquer des positions sociales spécifiques.

En manipulant les paramètres de l’agent, il est possible de simuler différents styles de recruteur. Une telle plateforme permet aux jeunes personnes de s’exercer à passer des entretiens tout en faisant attention à leur attitude sociale. Le but principal de la plateforme TARDIS est de permettre à des jeunes en difficulté de prendre conscience de l’importance des comportements socioémotionnels. L’accent du projet est sur cette partie-là, sur la détection, gestion et génération de ces comportements socio-émotionnels.


Jeu sérieux

Après avoir interagi avec un recruteur virtuel, un conseiller (humain) intervient et aide le jeune stagiaire à analyser son attitude durant l’entretien. Suivant les résultats de la jeune personne, le conseiller pourra modifier les paramètres définissant le comportement du recruteur virtuel. La société Wizarbox intègre les divers modules développés par les partenaires académiques (analyse du comportement socio-émotionnel, modèle d’émotion et de relation sociale, modèle d’agent conversationnel animé) dans sa plateforme de jeux sérieux. Les tests avec les jeunes se font dans les locaux de la Mission Locale.


Conclusion

Le projet a commencé en octobre dernier. Il dure trois ans. Nous sommes dans la première phase du projet qui vise à obtenir une première intégration des diverses « briques » nécessaires à la création du jeu sérieux. En parallèle, des enregistrements d’interaction entre jeunes stagiaires et recruteurs humains sont en cours. L’analyse de ces enregistrements va être utilisée pour modéliser le comportement de l’agent virtuel agissant en tant que recruteur.


L'Auteur


Catherine Pelachaud
est directrice de recherche au CNRS, LT CI, Télécom ParisTech. Avec ses collègues, elle développe une plateforme interactive d'agent virtuel appelée Greta. Elle participe à plusieurs projets de recherche européens et nationaux portant, entre autre, sur la modélisation d'agents virtuels expressifs et d'émotions.

380 vues Visites

J'aime

Commentaires0

Veuillez vous connecter pour lire ou ajouter un commentaire

Articles suggérés

Articles Revue TELECOM

Quels rôles jouent les technologies numériques dans l’évolution de la médecine du travail ? Groupe Santé#196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril

Articles Revue TELECOM

Le numérique au service de la décarbonisation #196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril

Articles Revue TELECOM

DC Brain nommé au prix de la croissance #196

photo de profil d'un membre

Rédaction Revue TELECOM

01 avril