Ma recherche - présentation par projets

Le projet ANR EmotiRob avait pour objectif de concevoir un robot compagnon pour les enfants en situation de handicap ou devant subir une longue hospitalisation. Voir la thèse de Sébastien Saint-Aimé.
Le robot devait être le plus léger possible et facile à soulever et à manipuler, et devait être le plus autonome possible de manière à comprendre l’humain et à réagir émotionnellement.
J’ai participé à ce projet en tant que stagiaire de Master Recherche en 2009. Voir mon mémoire.
Je devais créer un modèle de dynamique des émotions pour permettre de passer d’une émotion à une autre. J’ai donc créé un personnage virtuel, que j'ai nommé Art-e (se prononce "arti") pour "Artificial Emotion". Art-e affichait les mêmes expressions faciales que le robot afin de pour pouvoir faire des tests avant d'implémenter la dynamique des émotions sur le robot.

Vous constaterez que ce personnage virtuel n’a pas le réalisme des visages humains puisque son visage devait posséder les mêmes « muscles faciaux » (degrés de liberté) que le robot, et former des expressions uniquement à partir de ses sourcils et de sa bouche. Un visage humain a beaucoup plus de muscles et peut faire des expressions beaucoup plus riches. Ce personnage virtuel gérait donc uniquement les six émotions primaires définies par Ekman : la joie, la tristesse, le dégoût, la colère, la peur, et la surprise, auquel nous rajoutons l'expression neutre.
J'avais quand même rajouté des mouvements de respiration qui augmentaient la crédibilité du personnage puisque la respiration était ajustée en fonction des émotions. Regardez bien la vidéo, et vous verrez qu'en cas de stress, la respiration est plus rapide et saccadée.
Enfin, j'avais proposé un modèle du personnage qui "ne fait rien". J'avais utilisé quelques fonctions mathématiques pour lui implémenter le comportement "regarder les mouches voler". Le personnage exprimait ce comportement avec le regard, tandis que le robot pouvait le représenter en bougeant sa tête.

Dans cette vidéo, vous pouvez voir trois instances d'Art-e, avec des personnalités différentes, en train de regarder un extrait de Bambi, et de réagir émotionnellement. Cette interaction a été faite en ajoutant des tags d'émotion dans la vidéo, tags qui étaient envoyés au personnage virtuel afin qu'il exprime l'émotion concernée.

Le projet ANR Robadom avait pour objectif d’évaluer le bénéfice d’un robot humanoïde apportant des services cognitifs et psychologiques adaptés aux déficits et aux besoins des personnes souffrant de troubles cognitifs. Le robot avait pour mission de proposer des exercices de stimulation cognitive et d’apporter de l’aide à la vie quotidienne.
Ce projet a été effectué en collaboration avec l’hôpital Broca, le laboratoire ISIR, et l’entreprise RoboSoft.
Ce projet est celui qui a financé ma thèse, et qui a permis :

• De développer l'architecture informatique modulaire ArCo ;
• D'adapter un logiciel existant pour créer AmbiProg, un logiciel qui permet de piloter l'environnement d'une personne sans connaissance de l'informatique ;
• De créer l'application NabazFrame qui permet de créer des chorégraphies de mouvements sur le robot NabazTag ;
• De créer le jeu sérieux StimCards qui est entièrement configurable en fonction des préférences et des capacités de l'utilisateur ;
• De comparer l'impact des robots vs des personnages virtuels dans différents contextes.

Architecture ArCo

L'architecture ArCo est un ensemble de programmes informatiques qui permettent de connecter ensemble des téléphones, tablettes, objets connectés, ordinateurs, cartes électroniques, etc. L'objectif est de permettre à tous ces objets de communiquer ensemble sans connaissance de l'informatique et d'une manière similaire.
Chaque objet fournit une fiche de description qui décrit ses capacités : quelles informations peut-il donner sur l'environnement et quelles actions peut-il faire sur l'environnement ?
Voir plus de détails ici.

AmbiProg

AmbiProg est un logiciel qui permet de programmer un environnement ambiant composé d'un ensemble de dispositifs numériques connectés à la plateforme ArCo. Lorsqu'on ouvre AmbiProg, celui-ci affiche l'ensemble des capacités des dispositifs connectés. Il fournit un langage de programmation visuelle qui permet d'écrire des scénarios d'interaction, ainsi qu'un interpréteur qui donne vie à ses scénarios.
Voir plus de détails ici.

NabazFrame

NabazFrame est un logiciel qui a été développé pour créer des chorégraphies avec le robot Nabaztag. Une chorégraphie utilise une timeline temporelle et permet de définir des mouvements d'oreilles et des animations de couleurs à un instant T et avec un certain délai.
Le logiciel permet également d'enregistrer des sons que le robot peut jouer ou d'effectuer de la synthèse vocale (l'utilisateur saisit un texte que le robot pourra dire).
Ce logiciel s'accompagne d'une suite logicielle qui permet de connecter le Nabaztag a un réseau afin de communiquer avec lui.
NabazFrame a permis au laboratoire LUSAGE de réaliser des tests pour savoir si les utilisateurs pouvaient reconnaître des émotions chez le robot.
Voir plus de détails ici.

StimCards

StimCards est un jeu sérieux de questions/réponses développé avec l'architecture ArCo. Il se joue avec des cartes sur lesquelles sont inscrits un numéro au recto et un code QR au verso. La question n'est pas forcément affichée sur la carte pour pouvoir jouer avec des questions mystères. Les questions sont codées dans des fichiers sur l'ordinateur (format XML).
L'utilisateur doit présenter une carte devant la caméra qui va identifier le code QR et afficher la réponse. L'affichage de la réponse peut se faire sur un écran d'ordinateur, sur une tablette, via un robot ou un personnage virtuel qui lit la question ainsi que les propositions de réponses, etc. Pour répondre l'utilisateur peut utiliser une diversité de dispositifs également : clavier de l'ordinateur, smartphone, tablette, boîtier de réponses, etc.
StimCards a été développé pour évaluer l'interlocuteur préféré des personnes âgées et des enfants.
Voir plus de détails ici.

Gestuelle d'un robot

Au cours du projet Robadom, nous avons effectué plusieurs expérimentations pour comprendre comment les humains perçoivent les robots, et comment le comportement du robot impacte l'acceptabilité de l'utilisateur.
Nous avons, par exemple, voulu vérifier si la communication non verbale du robot est importante pour l'humain en interaction, comme elle est importante entre les humains.
Nous avons effectué une expérimentation pour mesurer le ressenti de l'humain si la gestuelle du robot n'est pas congruente avec son discours (par exemple, si le robot exprime de la tristesse avec ses mouvements, mais de la joie avec sa parole).
Regardez la vidéo ci-dessous pour vous faire votre propre idée !

Evaluation d'AmbiProg

Lorsque mon directeur de thèse m'a donné le logiciel de programmation visuelle, je n'étais pas convaincue de sa facilité d'utilisation par des personnes non initiées à la programmation. J'ai alors décidé de faire deux expérimentations pour vérifier si le langage de programmation visuelle était utilisable par tous.
Après l'avoir évalué auprès de 14 adultes âgés de 23 à 58 ans, et de 16 enfants âgés de 10 à 11 ans, j'ai pu constater qu'AmbiProg était facile à comprendre et à utiliser.
La majorité des particpiants ont réussi à comprendre le fonctionnement du langage et à créer des exercices simples qui demandent des compétences en algorithmique.
L'image ci-dessous montre une photo du dispositif expérimental avec les enfants. J'ai déguisé les robots pour que les enfants soient intéressés.

Evaluation de StimCards

Après avoir fini de développer StimCards, j'ai voulu vérifier si les règles du jeu étaient simples à comprendre et si ce type de jeu pouvait intéresser un grand nombre de personnes.
J'ai effectuée une évaluation avec 52 enfants âgés de 10 à 11 ans, afin de les faire tester StimCards avec des exercices de mathématiques. De son côté, le laboratoire LUSAGE a effectué une expérimentation avec 18 personnes âgées ayant de 63 à 88 ans avec des exercices de cultures générales.
Les résultats ont montré que StimCards est un jeu apprécié qui augmente la motivation et l'engagement de l'utilisateur.
La photo ci-dessous montre le dispositif mis en place au laboratoire LUSAGE où nous avons comparé trois conditions : un ordinateur seul, un ordinateur avec le personnage virtuel GRETA, et un ordinateur avec un robot de RoboSoft.

Partenaire numérique préféré

Dans le but de comprendre l'impact du robot sur les humains, nous avons effectué une expérimentation afin de vérifier si les enfants préféraient faire des exercices avec un ordinateur, un agent virtuel ou un robot dans deux configurations d'apparence : un robot métallique et un robot peluche.
Cette expérimentation a été effectuée par 52 enfants âgés de 10 à 11 ans.
Les résultats ont montré que les enfants ont préféré interagir avec le robot peluche, ensuite avec le robot métallique, puis avec le personnage virtuel. Mais, dans tous les cas, aucun partenaire numérique n'a été jugé désagréable pour les participants.

Le projet ANR MoCa avait pour objectif d’étudier les compagnons artificiels (personnages virtuels et robots personnels) et leur valeur pour des utilisateurs dans des situations de la vie quotidienne, l’objectif des compagnons artificiels étant de créer une relation à long terme avec les personnes. Le projet avait pour objectif d’étudier les concepts de relation, de valeur, de personnalité, et de plasticité des compagnons.

Pendant ce projet, j’ai proposé une expérimentation pour essayer de comprendre l’impact d’un robot lors d’un jeu de mémoire. Pour cela j’ai implémenté une version du jeu de Simon, NaoSimon, sur une tablette, sur une tablette et un robot en tant que second joueur, et sur un robot seul qui montrait des panneaux de couleurs à l’utilisateur.

Voir plus de détails ici.

Cette expérimentation a montré que les participants ressentent plus de plaisir à jouer avec le robot seul, et que la présence du robot n'induit pas plus de stress que la tablette elle-même.

Cette expérimentation a également montré des résultats très intéressants :

• Le robot n'est pas jugé stressant ou ennuyant alors qu'il demande de l'attention et une grande sollicitation de la mémoire de travail
• Le robot n'a pas constitué une difficulté supplémentaire
• Les participants se sont tenues éloignées du robot, comme avec un autre humain. Serait-ce une forme de respect ?
• Les participants se sont évalués meilleurs que dans la réalité lorsqu'ils jouaient avec le robot
• Les participants ont affiché plus d'expressions faciales positives en présence du robot.

Le projet ANR INGREDIBLE avait pour objectif d'étudier l'interaction entre humains et acteurs virtuels. L'objectif était de créer un personnage virtuel doté d'une capacité de couplage dynamique corporel affectif avec un humain dont les gestes sont analysés en temps réel.
L'hypothèse forte est que la dynamique du couplage des gestes favoriserait le ressenti de présence et d'engagement lors d'une interaction entre un humain et un personnage virtuel. Ce projet s'intéresse tout particulièrement à l'échange gestuelle qui existe entre deux interlocuteurs et à l'alternance entre prises d'initiatives et imitations de gestes par l'un ou l'autre des interlocuteurs.
Ce projet est basé sur la notion de couplage :

Le couplage est une influence mutuelle et continue entre deux personnes, qui génère une dynamique spécifique à la dyade. Cette influence mutuelle est capable de résister à des perturbations qui sont compensées au fil de l’interaction. La perturbation peut être due à l’environnement mais surtout être à l’initiative d’un des individus, suite à sa perception de l’interaction en cours. Le fait qu’elle puisse être transformée par la dyade pour maintenir l’interaction participe au sentiment de « présence de l’autre ».

Architecture informatique

L'architecture informatique du projet est composée de 5 modules. Le module de captation permet de capter les mouvements d'un humain depuis une Kinect ou un système OptiTrack et de représenter l'humain sous forme d'un squelette à 15 articulations. Le module d'analyse permet d'identifier les gestes de l'humain en temps réel. Le module de décision est chargé de déterminer l'action que doit faire le personnage virtuel en réponse à l'humain. La synthèse doit proposer un ou plusieurs gestes qui expriment cette action. Et enfin, le module de rendu, qui affiche le personnage virtuel, est chargé d'effectuer les gestes.

Le module d'analyse

J'ai principalement travaillé sur le module d'analyse afin d'être capable d'identifier les gestes effectués par un humain. Le module de reconnaissance est capable de reconnaître des gestes préalablement appris d'une manière très efficace.
La vidéo ci-dessous montre le module en action. Les gestes sont reconnus avec un délai qui est très proche du délai de reconnaissance de l'humain.
Les gestes à observer sont : 1.Enthousiasme, 2.Présentation, 3.Applaudissements, 4.Révérence, 5.Position neutre, 6.Départ, 7.Salutation

Un rendu artistique

J'ai également travaillé sur le rendu afin d'ouvrir les possibilités et de fournir des personnages virtuels différents à utiliser en fonction des contextes.
Avec Adrien Vernotte, qui était un stagiaire de l'ENIB, nous avons travaillé sur un rendu plus artistique en affichant seulement les extrémites du squelette. L'image ci-dessous montre le rendu classique, un rendu avec des boules vertes, et un rendu avec des fantomes.

Rendu dans la plateforme MARC

J'ai également collaboré avec Matthieu Courgeon, qui était Ingénieur de Recherche, pour connecter la plateforme INGREDIBLE à la plateforme MARC de manière à bénéficier du rendu de MARC. L'image ci-dessous montre un exemple de rendu avec deux personnages virtuels de la plateforme MARC : un personnage de type humain, et un personnage de type robotique.

Scénario d'imitation

J'ai également travaillé sur deux scénarios : l'imitation et le magicien. Dans le premier cas, le personnage virtuel et l'humain doivent s'imiter, mais chacun peut prendre à tour de rôle l'initiative du mouvement. Nous voyons donc des négociations gestuelles pour essayer de s'imposer dans ce dialogue. Le deuxième scénario est un spectacle de magie où le magicien adapte son tour en fonction des réactions des spectateurs.
La vidéo ci-dessous montre un extrait d'un jeu d'imitation présenté à Laval Virtual en 2015.

Contexte

Les personnes qui créent des robots et des applications associées sont des informaticiens et des roboticiens. Souvent, ce ne sont pas des experts de l'évaluation des interactions humain-robot et de leurs effets. Et nous remarquons dans la littérature des articles qui présentent des études contenant des erreurs de conceptions, des erreurs méthodologiques ou des biais non identifiés, ce qui implique une possible invalidité des résultats.
Pour pouvoir concevoir des applications adaptées (qui répondent aux besoins des utilisateurs et qui sont adaptées à l’humain), il est nécessaire de s’associer à des psychologues, éthologues, sociologues, philosophes, anthropologues, ergonomes, spécialistes de l’analyse des comportements et des attitudes humaines, etc. pour réfléchir ensemble aux méthodologies à utiliser en interaction humain-robot.

Le projet

Le projet EMSHRI (Evaluation Methods Standardization in Human-Robot Interaction), débuté en 2014 et terminé en 2020, avait pour objectif de constituer une communauté de chercheurs pluridisciplinaires // intéressés par la question de l'évalution de l'interaction entre un humain et un robot social. L'objectif était de :

• Discuter des méthodes d'évaluation
• Identifier les bonnes et les mauvaises pratiques
• Définir des recommendations concernant les évaluations
• Réfléchir à une standardisation des méthodes d'évaluation

Pour constituer cette communauté, nous avons organisé trois workshops internationaux :

• EMSHRI 2015
• EMSHRI 2016
• EMSHRI 2017

Rédaction d'un livre

Ce projet a permis de réunir plus de 40 chercheurs intéressés par la problématique répartis sur tous les continents : 34 de ces chercheurs ont collaboré sur l'écriture d'un ouvrage international sur le sujet des méthodes d'évaluation de l'interaction Humain-Robot.
Le comité éditorial est composé de : Tony Belpaeme, Cindy Bethel, Dimitris Chrysostomou, Nigel Crook, Marine Grandgeorge, Céline Jost, Brigitte Le Pévédic, et Nicole Mirnig.

Cliquez sur l'image ci-dessus pour accéder à la page du livre sur Springer

Contributeurs

La carte ci-dessous montre la répartition des contributeurs du livre. En cliquant sur les marqueurs, il est possible de voir les nom et prénoms des contributeurs. Le code couleur est le suivant :

• Les marqueurs verts représentent les membres du comité éditorial
• Les marqueurs oranges représentent les membres du comité éditorial qui écrivent un chapitre du livre
• Les marqueurs violets représentent les auteurs du livre

Contexte

Près de la moitié des personnes de plus de 65 ans connaissent des pertes de mémoire. Ceci fait partie du vieillissement normal. Mais dans certains cas, ces pertes de mémoire sont liées à une maladie du cerveau et provoquent des dégâts bien plus graves. Pour préserver ou améliorer les fonctions cognitives, les professionnels de la santé proposent la stimulation cognitive. Et depuis l'avènement de l'informatique, l'outil informatique est de plus en plus proposé en complément des séances de soins traditionnels pour favoriser la motivation et l'engagement des patients à faire des exercices.
Le problème de ces exercices c'est qu'ils sont efficaces seulement si les acquis sont transférables à la vie quotidienne. En effet, un apprentissage fait dans une situation spécifique ne peut pas être généralisé et appliqué à une autre situation. C'est pour cela que les professionnels de santé proposent des exercices basés sur les Activités de la Vie Quotidienne, personnalisés à chaque patient.
Les exercices multimodaux permettent d'obtenir de meilleurs résultats sur les fonctions cognitives et d'améliorer l'humeur des patients, ce qui pourrait diminuer les cas de dépression. Mais plus encore, les professionnels de la santé pensent qu'il est important d'utiliser tous les sens, et d'impliquer le corps entier, pour solliciter encore plus les fonctions cognitives.
Il n’existe pas encore d’outil informatique qui permette de proposer des exercices basés sur les Activités de la Vie Quotidienne, personnalisés à chaque patient, sollicitant tous les sens et le corps, et étant un système ouvert où quiconque peut créer facilement et sans programmation ses propres activités.

Le projet

Le projet StimSense, débuté en 2015, a pour objectif de concevoir un dispositif de stimulation cognitive portable et multimodale. Est-ce que le fait d'ajouter du son, des réactions tactiles, des jeux de lumières, d’utiliser des technologies immersives permet de stimuler cognitivement les patients et d’augmenter leurs capacités ?
Le projet StimSense va donc permettre de mettre en œuvre une multimodalité lors d’exercices de stimulation cognitive. Cette possibilité de stimuler plusieurs sens devrait augmenter les performances et également permettre un usage de ces outils sur le long terme par la diversité des interactions proposées. Par exemple nous envisageons de coupler des notions de perception du mouvement et d’orientation avec un système immersif où le patient pourrait évoluer dans un univers en 3 dimensions. Ce couplage de sens peut permettre un meilleur réapprentissage de situations de vie quotidienne.
Ce projet s’organise autour de 5 grandes étapes :

1. Réalisation d’une étude permettant d’évaluer l’usage et la pertinence de chaque sens dans le processus de stimulation cognitive et les moyens à explorer pour mettre en œuvre le couplage de différents sens. Les réalisations technologiques peuvent être par exemple : l’utilisation de la spatialisation du son ; l’ajout de vibration, de sensation de chaleur, de vent ou l’usage de texture douce et rugueuse ; l’ajout de jeux de lumières ; l’utilisation des diffuseurs automatiques d'huiles essentielles pour proposer des exercices olfactifs ou pour relaxer la personne en cas d’angoisse ; l’immersion dans un univers à 3 dimensions ; l’utilisation de systèmes de dialogue.
2. Définition des besoins des utilisateurs axés sur les modalités qui auront été évaluées positivement dans le cadre de la stimulation cognitive.
3. Création de scénarios d’exercices de stimulation mettant en œuvre plusieurs sens. Réalisation d’un premier prototype pour effectuer une première série de tests utilisateurs.
4. Conception d’un dispositif portable de stimulation cognitive multimodale.
5. Déploiement du dispositif portable auprès des utilisateurs afin d’étudier les impacts à long terme sur la personne.

Le projet est actuellement arrêté à l'étape 4 car nous avons besoin d'un outil pour mettre en place des scenarios d'interaction entre un humain et notre dispositif qui puisse être utilisé par le personnel soignant. Nous avons donc créé le projet PRIM pour répondre à ce besoin.

Nous reprendrons ce beau projet dès que possible !

MulseBox

MulseBox est le premier prototype réalisé. C'est un dispositif portable multisensoriel qui utilise des vibreurs, des diodes, des haut-parleurs, des capteurs ultrasons, un ventilateur, un lecteur RFID, un écran de la taille d'un téléphone portable, des boutons. Cela permet d'envisager des exercices qui utilisent des modalités d'interaction variées.

MulseBox a été réalisé en utilisant des technologies matures qui assurent une stabilité dans l'expérience utilisateur. Par exemple, le diffuseur olfactif est critiqué car l'odeur diffusée reste dans l'atmosphère pendant un moment indéterminé et cela peut gêner l'utilisateur pour deux raisons principales :

• La stagnation de l'odeur peut incommoder ou donner mal à la tête.
• Le stimulus olfactif peut être adapté à l'ancien stimulus visuel ou auditif et créer une dissonnance cognitive donc une mauvaise expérience utilisateur.

La reconnaissance vocale et des capteurs de goûts sont également absents de MulseBox car la reconnaissance vocale n'est pas encore assez fiable - les algorithmes les plus fiables ayant besoin d'une connexion Internet - et les capteurs de goûts posent un problème d'hygiène puisqu'il faut stimuler les capteurs qui se trouvent sur la langue.

La vidéo ci-dessous montre la démonstration de quelques capacités de MulseBox.

StroopGame

Nous avons participé à la journée R&T day organisée le 5 octobre 2018 et au forum des sciences cognitives organisé le 31 mars 2019, tous deux à la cité des sciences. A cette occasion nous avons fait une démonstration de MulseBox en présentant un jeu cognitif qui est une adaptation du test de Stroop. Notre objectif était de proposer une tâche cognitivement complexe et de vérifier si la nature multisensorielle de MulseBox avait contrebalancé cette difficulté. En effet la multisensorialité, puisqu'elle reproduit ou se rapproche des conditions naturelles d'apprentissage de l'humain, permet de meilleures performances cognitives, avec une meilleure motivation puisque les tâches sont perçues plus faciles qu'elles ne le sont en vrai.

La vidéo ci-dessous montre un exemple de partie. Il ne faut pas se fier aux couleurs de l'écran de MulseBox qui ne passent pas correctement dans la vidéo.

Publications ou manifestations

C. Jost, B. Le Pevedic, G. Uzan : MulseBox: nouveau dispositif d'interaction multisensorielle. In Actes de la 31e conférence francophone sur l'Interaction Homme-Machine (IHM 2019) (pp. 5-1). ACM, December, 2019

C. Jost, B. Le Pévédic, O. El Barraj, G. Uzan : MulseBox: Portable Multisensory Interactive Device, in IEEE SMC 2019, IEEE International Conference on System, Man, and Cybernetics, October 6-9 2019, Bari, Italy.

C. Jost, B. Le Pévédic, O. El Barraj, G. Uzan : Projet StimSense : dispositif portable interactif multisensoriel – Forum des Sciences Cognitives 2019 (poster + stand de démonstration), 31 mars 2019, Paris, France.

C. Jost, O. El Barraj, B. Le Pévédic : PolySens – la stimulation cognitive multisensorielle, R&T Day (Institut Cognition), « Les technologies de la cognition démontrées et illustrées par les usages » (poster + stand de démonstration), 5 octobre 2018, Paris, France.

Stages et thèses associés

• Cathy Thomé en stage de Master 1 pendant 3 mois en 2020
• Jérôme Phivalong en stage de Licence pendant 3 mois en 2020
• Omar El Barraj en thèse avec nous pendant 3 ans entre 2016 et 2019

Autres collaborations passées ou actuelles

• Gérard Uzan, ergonome et ingénieur de recherche à l'Université Paris 8
• Brigitte Le Pévédic, Maître de Conférences HDR à l'Université de Bretagne Sud

Contexte

Trois projets précédents ont soulevé un besoin commun.
Le projet ANR Robadom a mis en évidence que les personnels soignants ne créent pas d’exercices, nécessaires aux patients, s’ils doivent manipuler des paradigmes de programmation, par souci de contrainte temporelle, même si l’interface est simple à utiliser.
Le projet StimSense a mis en évidence qu’il n’existe aucune application permettant de créer une interaction multisensorielle humain-machine sans programmation.
Enfin, le projet MemoRob a également mis en évidence le besoin d’une interface, sans paradigme de programmation, pour les personnes qui doivent créer des situations d’interaction, entre l’humain et le robot, comme par exemple les chercheurs en psychologie.

A l’heure actuelle, si l'on veut créer un scénario qui implique un humain et des objets connectés, il est nécessaire d’utiliser des langages de programmation pour accéder aux fonctionnalités des objets connectés afin de les faire coopérer entre eux.
Les outils existants ont deux limites importantes :

• Les langages de programmation visuelle sont très intéressants car ils ont rendu la programmation accessible à plus de personnes. Par exemple, on utilise le logiciel Scratch pour apprendre la programmation aux enfants. Mais ces logiciels nécessitent de connaître les fondements de l'informatique pour pouvoir être utilisés. Ils sont donc inadaptés pour des personnes qui veulent créer sans se former à la programmation.
• Les éditeurs de conception de vidéo ou de musique sont très faciles à utiliser et ne nécessitent aucun apprentissage de l'informatique. Malheureusement ils sont trop limités pour répondre à notre besoin.

La problématique est d'explorer si une nouvelle interface, inspirée des travaux en interaction multisensorielle, de la conception musicale ou video, et des points forts des langages de programmation visuelle est plus facilement utilisable et utilisée.

Interaction multisensorielle et GT multisensoriel

Projet

Le projet PRIM Playing and Recording with Interactivity and Multisensoriality a pour objectif de réunir une communauté pluridisciplinaire pour proposer une solution à la problématique énoncée au-dessus.

L’originalité du projet PRIM est de vouloir changer de paradigme en proposant un logiciel basé sur la façon de penser des humains et non sur la façon de fonctionner de l’ordinateur. Ainsi, nous souhaitons que l’humain puisse facilement créer des interactions basées sur son modèle mental, sans nécessité de les traduire dans la logique informatique, ce qui rendra le système très simple puisque perçu comme naturel. Le logiciel proposera bien un langage graphique, assimilé à de la programmation, mais basé sur un mode de réflexion propre à l’humain (ici l’interaction) plutôt que sur un mode de réflexion propre à la conception informatique et donc au langage informatique (ici l’algorithmique). L’objectif est donc de représenter la vision de l’humain et non la vision de la machine (comme c’est le cas dans les langages de programmation basés sur l’algorithmique).

Parce que notre objectif est de créer un langage différent d’un langage de programmation, plus simple, présentant une logique différente, il est exclu d’essayer de refaire ce que font déjà les langages de programmation. Ainsi, notre objectif est de créer ce que nous appelons des scénagrammes et qui sont définis par « une suite d’actions effectuées par l’utilisateur et/ou par des objets numériques, alternativement, pour atteindre un but commun basé sur la stimulation cognitive ». Cela veut dire qu’un scénagramme utilise les fonctionnalités existantes des capteurs et des actionneurs présents sur les objets connectés.

Pour en savoir plus, regardez ici la présentation faite lors de l'atelier Sensory'x 2021 qui explique plus en détail ce qui nous a amené à créer le concept de scénagramme.

Notre proposition

La plus grande différence que l’on observe entre les langages de programmation visuelle et les logiciels de conception de vidéo ou musicale réside dans la représentation et la gestion du temps. En effet, les premiers sont basés sur un temps relatif et événementiel où chaque action arrive après la précédente mais à un temps indéfini. Certaines actions peuvent se passer à n’importe quel instant et d’autres peuvent même ne jamais arriver. Cette incertitude, omniprésente lorsqu’on interagit avec un humain, est totalement absente des seconds types de logiciels qui sont basés sur un temps réel. Dans ce cas, chaque action arrive à un instant T précis et à une durée précise. Le temps se poursuit inlassablement sans jamais s’arrêter et il est impossible de prendre en compte des actions incertaines. Ces deux temporalités, qui sont incompatibles par nature, existent de façon séparée (soit dans des logiciels différents, soit dans des zones différentes d’un même logiciel comme pour Chorégraphe, par exemple). Mais il n’existe aucun logiciel où elles co-existent en utilisant la même charte graphique. Dans la majorité des cas, le temps est représenté par une ligne de temps mais dans le cas des langages de programmation visuelle, c’est la construction du programme qui construit, au fur et à mesure, une ligne de temps (horizontale ou verticale), tandis que dans le cas des éditeurs de montage vidéo ou de conception musicale, la ligne de temps existe et est représentée par une timeline sur laquelle l’utilisateur construit sa vidéo ou sa musique. Dans le premier cas, la ligne de temps est donc plutôt implicite et l’utilisateur doit la reconstruire mentalement, alors que dans le second cas, elle est explicite et semble représenter directement le modèle mental de l’utilisateur.

Ainsi, dans notre projet, nous prenons le parti de proposer un nouveau logiciel basé sur une ligne de temps visuel qui permet de manipuler du temps relatif. => Pour voir notre avancement, allez voir la page dédiée à notre outil ScenaProd !

Le projet PRIM en 94 secondes

La vidéo ci-dessous est la présentation qui avait été faite à IMX 2021 sur le projet PRIM où nous avons soumis un papier de travail en cours. Ce projet a reçu un accueil très favorable :)

Démonstration à IMX 2022

Lors de la conférence IMX 2022, nous avons pu proposer une belle démonstration de création de scénagrammes. Comme vous le voyez sur la photo ci-dessous, il était possible de créer des activités avec un robot, une lampe et deux manettes multisensorielles :)

Publications

C. Jost: Projet PRIM – Playing and Recording with Interactivity and Multisensoriality in Yearbook 2021, p. 29, Institut Carnot Cognition, September 2022.

C. Jost, J. Debloos, B. Le Pévédic, G. Uzan: ScenaProd: creating interactive medias without programming (demonstration) in International Conference on Interactive Media Experiences IMX, Aveiro, Portugal, June 2022.

C. Jost, B. Le Pévédic, J. Debloos, G. Uzan: Interactions in Multisensory Experiences: Toward a New Timeline Metaphor in Sensoryx’22 workshop (held by IMX 2022), Aveiro, Portugal, June 2022.

C. Jost, B. Le Pévédic: How to integrate interactions into video editing software? in Sensoryx’22 workshop (held by IMX 2022), Aveiro, Portugal, June 2022.

C. Jost, J. Debloos, B. Le Pévédic, A. Piquard-Kipffer, C. Barbot-Bouzit, G. Uzan: Perspectives d’apport du projet PRIM dans le domaine du handicap in Conference Handicap 2022, Paris, France, June 2022.

J. Debloos, C. Jost, B. Le Pévédic, G. Uzan : ScenaProd : outil pour la création d’exercices multisensoriels (demonstration) in IHM 2022, Namur, 2022.

C. Jost, J. Debloos, D. Archambault, B. Le Pévédic, J. Sagot, R. Sohier, C. A. Tijus, I. Truck, G. Uzan : PRIM project: Playing and Recording with Interactivity and Multisensoriality (poster, WiP paper) in ACM International Conference on Interactive Media Experiences IMX, New-York Virtual, June 2021.

J. Debloos, C. Jost, B. Le Pévédic, G. Uzan : Création de scénagramme : critères d’un logiciel « idéal » utilisable par des non informaticiens in JCJC 2021, Paris, France, 2021.

C. Barbot-Bouzit, C. Jost, J. Debloos, J. Sagot : Des outils numériques pour générer facilement et rapidement des activités d’apprentissage auprès des jeunes en situation de handicap in Colloque de la Chaire HEN, INSHEA, Suresnes, October 2021 (workshop).

Stages, thèses et projets associés

• Lea Pieron, Leo Lanselle, Gwenaëlle Pillon, Aurelie Schroeder et Coline Clemence pendant quelques semaines en 2022 lors d'un projet en Ingénierie Pédagogique de l'Université de Lorraine
• Dinath Sunthararajah en stage de Licence pendant 2.5 mois en 2022 à l'Université Paris 8
• Justin Debloos en thèse depuis 2021 à l'Université Paris 8
• Justin Debloos en stage de Master pendant 6 mois en 2021 à l'Université Paris 8

Autres collaborations passées ou actuelles

• Charles Tijus, Professeur Emerite en psychologie cognitive à l'Université Paris 8
• Dominique Archambault, Professeur en informatique à l'Université Paris 8
• Isis Truck, Professeur en informatique à l'Université Paris 8
• Elisabetta Zibetti, Maîtresse de Conférences en psychologie cognitive à l'Université Paris 8
• Rémy Sohier, Maître de Conférences en Art Digital à l'Université Paris 8
• Gérard Uzan, ergonome et ingénieur de recherche à l'Université Paris 8
• Brigitte Le Pévédic, Maîtresse de Conférences HDR à l'Université de Bretagne Sud
• Stéphanie Fleck, Maîtresse de Conférences en Science de l'Education à l'Université de Lorraine
• Stéphane Faedda, Doctorant en Science de l'Education à l'Université de Lorraine
• Jack Sagot, Formateur à l'INSHEA à la retraite
• Caroline Barbot, Enseignante spécialisée à l'INSHEA
• Agnès Piquard, Maîtresse de Conférences en Sciences de l'Education à l'INSHEA
• Mathieu Muratet, Maître de Conférences en informatique à l'INSHEA
• Clémence Chassan, ergothérapeute à Toulouse
• Muriel Colagrande, co-fondatrice de la société Ovaom
• Gheoghita Ghinea, Professeur en mulsemedia à Brunel University London (Royaume-Uni)
• Debora Christina Muchaluat Saade, Professeur en informatique à Universidade Federal Fluminense (Brésil)
• Alexandra Covaci, Maîtresse de conférences en Arts Digital à University of Kent (Royaume-Uni)
• Estevao Bissoli Saleme, Docteur en informatique (Brésil)
• Celso Alberto Saibel Santos, Maître de Conférences à Universidade Federal do Esperito Santo (Brésil)
• Douglas Paulo de Mattos, Docteur en informatique (Brésil)

Contexte

Dans le cadre de leur pratique, les ergothérapeutes sont souvent amenés à proposer des exercices de rééducation à leurs patients (motricité, cognition…). Dans le cas d’un suivi post-AVC, où le patient doit récupérer un maximum de capacités avec des séances intensives, les exercices sont nombreux et répétitifs, et cela peut conduire à un manque de motivation et donc d’engagement. La motivation du patient est un moteur essentiel. Ce projet a pour objectif d’étudier les bénéfices de l’apport de la contextualisation ludique à des séances de rééducation post AVC. Les objectifs sont de rendre le patient acteur de sa rééducation et ainsi renforcer sa motivation et son engagement pour maximiser sa récupération.

Le projet

Le projet consiste à utiliser des objets connectés situés à trois zones du corps : un objet à porter sur la tête pour récupérer la position et l’orientation de la tête ; un bracelet métacarpien pour récupérer les mouvements de la main ; et une planche d’équilibre pour travailler sur la posture globale. Chacun des trois objets (indépendamment ou non) permet d’interagir avec un environnement 3D (visible sur un écran) afin de réaliser des tâches à travers un jeu sérieux. Avec ce système, le patient pourra effectuer les gestes demandés par le thérapeute tout en ayant un retour ludique, par exemple pour la tête, on peut imaginer attraper des cibles à l’écran, pour la main on peut imaginer suivre un labyrinthe, pour l’équilibre on peut imaginer être sur une planche de surf.

Module électronique

La figure ci-dessous montre le module utilisé pour chaque zone du corps. Il est constitué d'une batterie externe classique qui s'achète dans le commerce, ainsi qu'une carte électronique ESP32-C3 et un composant MPU6050 qui est un accéléromètre capable de fournir les données d'accélération et de gyroscope en x, y et z.

Jeux

La figure ci-dessous montre la manière dont se porte le module électronique sur la tête, sur la main et pour mesurer l'équilibre de la personne en utilisant une planche d'équilibre.
Le jeu contrôlé par la tête permet de faire bouger un poisson de haut en bas pour éviter qu'il se fasse manger par un requin.
Le jeu contrôlé par la main permet de bouger un carré de sélection qui permet de choisir les lettres d'un mot dans le bon ordre afin de le constituer.
Enfin, le jeu d'équilibre permet de contrôler les mouvements d'un panier afin de ramasser 20 fleurs.

Publications ou manifestations

C. Bault, C. Jost : TeMaCo : Système de rééducation fonctionnelle par la tête, les mains et le corps (demonstration) in IHM 2024, Paris, March 2024.

Stage associé

• Constance Bault en stage de Master 2 pendant 6 mois en 2024

Autres collaborations

• Julie Golliot, responsable de la recherche, société Smart Macadam
• Brigitte Le Pévédic, Maître de Conférences HDR à l'Université de Bretagne Sud
• Ines Di Loreto, Maître de Conférences HDR en informatique, Laboratoire LIST3N, Université de Troyes
• Gérard Uzan, ergonome et ingénieur de recherche à l'Université Paris 8
• Clémence Chassan, ergothérapeute et enseignante, Université de Toulouse III Paul Sabatier
• Célia Guimberteau, ergothérapeute, AP-HP – Hôpital de Garches