Details :
Host: Département d'études cognitives (DEC), Ensad (EnsadLab), Institut Imagine
Supervisor: Valérian Chambon (co-supervision François Garnier, Nicolas Garcelon)
Contact: Valerian Chambon
Email: valerian.chambon@ens.fr
Level: M1/M2
Duration: 1 à 2j/semaine (stage M1)
6 mois (stage long M2)
Location: Paris 5EME
Wage: ~650€/mois
Language: Français/Anglais
1. Lieu(x) du stage :
Le stage se déroulera dans les locaux du DEC. Le stagiaire sera amené à intervenir ponctuellement à L’EnsadLab et à l'Institut Imagine.
2. Description du stage et de son contexte :
L ’EnsadLab et l'institut Imagine, soutenu par PSL Valorisation, développent une recherche exploratoire sur la modélisation de données de maladies génétiques en réalité virtuelle.
En interconnectant l'entrepôt de données de l’Institut Imagine (Dr Warehouse) et les outils d'analyse de cas de maladies rares de l'Institut avec le dispositif de Réalité Virtuelle Tamed Cloud développé à l'Ensad, le projet Dr Tamed Cloud, initié en 2022, vise à développer une application VR de data visualisation qui permette aux cliniciens et chercheurs de s'immerger subjectivement dans un corpus de cas cliniques de plusieurs milliers de patients atteints de maladies génétiques. Cette immersion corporelle dans les données a pour objectif de stimuler la production de nouvelles hypothèses de recherche en vue d’augmenter les connaissances sur une maladie génétique et de diagnostiquer un patient par rapprochement phénotypique.
Après la réalisation d’une étude préliminaire (phase 1) et le développement d’un prototype fonctionnel (phase 2), la 3° phase vise à augmenter fonctionnellement le prototype pour aboutir à un dispositif avancé, et d’évaluer son acceptabilité dans un environnement médical par les chercheurs et cliniciens de l’Institut Imagine. Cette phase 3 sera réalisée dans le cadre de la future Chaire Santé associant l’EnsadLab, L’institut Imagine et le département d’étude cognitive de l’ENS.
Dans ce contexte, le stage a pour objectif:
- de faire un état des lieux des données et des retours utilisateurs obtenus en phases 2, lors de tests d’utilisations avec le concours de 20 médecins et chercheurs de l’APHP spécialisés dans les maladies rares.
- de faire un état de l'art des techniques d'évaluation de ce type de dispositifs en termes de design d'expérience, d’acceptabilité et d’usage. Une évaluation du dispositif sur des dimensions cognitives ciblées (e.g. apprentissage, mémorisation, recherche d’information) est également envisagée.
L’objectif final consiste à préparer la mise en place des futurs protocoles d’évaluations et de déploiement du dispositif en Phase 3
3. Description des missions / activités du stagiaire :
Réalisation d’un état de l’art sur les protocoles disponibles pour évaluer l’efficacité d’un dispositif de type Dr Tamed Cloud (e.g. mesures d’acceptabilité)
Evaluation et identification des dimensions cognitives (e.g. apprentissage, mémorisation, recherche d’information) sur lesquelles évaluer l’impact du dispositif Dr Tamed Cloud
A terme, il s’agira d’expérimenter et faire tester le dispositif avec l'appui d'ingénieur de recherche de l’Ensad et de l'Institut Imagine.
Le stagiaire sera sous la responsabilité de son responsable de stage, et en dialogue avec les responsables du projet, François Garnier pour l’Ensad et Nicolas Garcelon pour Imagine.
4. Profil de stagiaire :
Étudiant en sciences cognitives avec un intérêt pour les sciences du comportement, la science des données, et/ou la neuroergonomie et les interfaces humain-machine.
Détails du projet
Perspectives de collaboration entre l’ENSAD, l’Institut Imagine et le Département d’Etudes Cognitives de l’ENS dans le cadre du projet Dr Cloud, recherche exploratoire sur la modélisation de données de maladies génétiques en réalité virtuelle
Présentation du projet :
L’objectif du projet DR TAMED CLOUD est de partir de la donnée brute hospitalière pour produire une représentation immersive et synthétique d’une population de patients en interfaçant l’entrepôt de données “Dr Warehouse” et le dispositif de réalité virtuelle “TAMED-CLOUD”.
En interconnectant l'entrepôt de données de l’Institut Imagine (Dr Warehouse) et les outils d'analyse de cas de maladies rares de l'Institut avec le dispositif de Réalité Virtuelle Tamed Cloud développé à l'Ensad, le projet Dr Tamed Cloud, initié en 2022, vise à développer une application VR de data visualisation qui permette aux cliniciens et chercheurs de s'immerger subjectivement dans un corpus de cas cliniques de plusieurs milliers de patients atteints de maladies génétiques. Cette immersion corporelle dans les données a pour objectif de stimuler la production de nouvelles hypothèses de recherche en vue d’augmenter les connaissances sur une maladie génétique et diagnostiquer un patient par rapprochement phénotypique.
Ce projet, financé par l’Institut Imagine et PSL, est porté par François Garnier, responsable du groupe de recherche Spatial Media d’EnsadLab et Nicolas Garcelon, responsable de la plateforme data science de l’Institut Imagine.
Etat d’avancement du projet :
Après la réalisation d’une étude préliminaire (phase 1) et le développement d’un prototype fonctionnel (phase 2), la 3° phase vise à augmenter fonctionnellement le prototype pour aboutir à un dispositif avancé, et d’évaluer son acceptabilité dans un environnement médical par les chercheurs et cliniciens de l’Institut Imagine.
Cette phase comporte trois grands chantiers :
Un travail d’approfondissement du design d'expérience et du design visuel réalisé principalement par l’Ensad.
Un travail de data science, consistant à extraire les données pertinentes et générer les configurations en fonction des différents cas d’usages, réalisé principalement par Imagine.
un travail d’accompagnement du déploiement de l’outil dans l’environnement médical, évaluation de son acceptabilité auprès des médecins et des patients, où nous pensons que l'expertise du DEC pourrait être d'une grande utilité.
Il s'agirait notamment :
- d’identifier les apports et les usages du dispositif exprimés par les chercheurs et les médecins.
- de mettre en place des protocoles d’évaluation : acceptabilité, qualité d’expérience, éthique (praticiens et patients).
- de participer à la spécification et à l’optimisation de l’outil (interaction, visualisation, ergonomie, méthodologie)
- de participer à l’intégration et ou déploiement de l’outil dans l’environnement médical.
Présentation des composantes du dispositif
Différentes configuration spatiales des données médicales dan l’espace immersif du dispositif VR.
PTamed Cloud (Ensadlab, Institut Cognition, PSL Valorisation) est une plateforme de réalité virtuelle qui permet aux utilisateurs d'interagir avec de grands ensembles de données numériques d'une manière sensorielle et esthétique. Les utilisateurs peuvent interagir avec les données par leurs mouvements, leurs gestes et leur voix sous la forme d'un nuage de données dynamique, vivant et malléable.
Dr. Warehouse est un entrepôt de données hospitalières axé sur les documents et offrant une interface pour l'exploration des données dans le contexte des maladies rares. Il permet de générer automatiquement l'histoire naturelle d'une maladie rare à partir des rapports des patients. Il permet également d'identifier des patients similaires à partir d'un patient index ou d'un patient archétype. La similarité est calculée sur la base des phénotypes extraits des comptes rendus des patients. Il permet également de stratifier les patients afin de générer de nouvelles hypothèses de recherche.
Le projet Dr Cloud a permis d'intégrer les données médicales de Dr. Warehouse au système de visualisation Tamed Cloud, et de les présenter dans le système sous la forme d'avatars de cas cliniques. Les résultats préliminaires nous ont encouragés à concevoir un projet plus ambitieux.
Dans le cadre de ce programme scientifique, nous proposons (i) de personnaliser la création d'avatars automatiques, (ii) d'établir une communication entre l'entrepôt de données et le système de réalité virtuelle, y compris des commandes vocales pour filtrer ou modifier l'affichage des avatars, et (iii) d'améliorer la conception et l'interaction homme-machine dans le système de RV.
Descriptif des différents tests d'évaluations déjà réalisés.
Concernant le projet générique Tamed Cloud porté par l‘ENSAD un projet intitulé Tangible Data financé par l’Institut Carnot Cognition a été réalisé en collaboration avec un cognitiviste du laboratoire COSTECH de l’Université Technologique de Compiègne, Florent Levillain, anciennement chercheur associé à EnsadLab . Il vise à tester différentes formes de recherches pour évaluer les apports du concept de Tamed Cloud, en le comparant à des dispositifs sur écran standard présentant les mêmes informations.
Dans le cadre de la phase 2 du projet Dr Tamed cloud, une série de tests d’utilisations a été réalisé, avec le concours de 20 médecins et chercheurs de l’APHP, spécialisés dans les maladies rares. Ces tests d’utilisations ont été réalisés sous la forme de 3 sessions.
- Une session 1 de 20-30 mn où l’utilisateur se familiarisait avec l’utilisation du dispositif dans un corpus neutre. Les sujets nous faisaient un premier retour sur l’ergonomie, nous permettant d’ajuster l’ergonomie et les protocoles des sessions 2 et 3.
- Une session 2 de 20 mn filmée où l’utilisateur devait réaliser un certain nombre de tâches demandées dans un corpus générique. Les sujets répondaient en fin de test à un questionnaire orienté sur l’ergonomie et la prise en main des fonctionnalités.
- Une session 3 de 20 mn filmée où l’utilisateur était immergé dans un corpus spécifique, composé de patients liés à sa spécialité. Les sujets répondaient en fin de test à un questionnaire orienté sur l’identification des cas, la pertinence des informations et des configurations et les apports potentiel de cet outil pour son activité
Les données disponibles sont :- des vidéos des tests, montrant à la fois le point de vue subjectif du sujet dans l’application VR, et une vue du sujet en actions commentant ses actes.- les réponses des sujets aux questionnairesAnalyse des données:Aujourd’hui seules les données liées a la qualité de l’expérience pour l’utilisateur ont été traitées sous forme d’un graph. Il serait nécessaire :- de dépouiller et de traiter l’ensemble des réponses aux questionnaires.- de visionner et de documenter les vidéos des expériences- d’analyser et de publier ses résultats, en termes de qualité de l’expérience, d’ergonomie (visualisation et interaction) et d'usage.- de mettre en place un protocole de test et d’expérimentation en vue de l’évaluation de la phase 3 du dispositif.
Besoin en évaluation identifiés pour la Phase 3 du projet:
Évaluation à l'aide de cas d'utilisation réels
Ce WP implique l'évaluation de divers aspects clés, notamment l'ergonomie, la capacité du système à récupérer les données des patients, l'acceptabilité et l'expérience globale de la conception.
Évaluation de l'acceptabilité : Nous collaborerons avec diverses parties prenantes, notamment des associations de patients, des experts en éthique et des médecins, afin d'évaluer l'acceptabilité de notre système. Les commentaires et les idées de ces personnes seront très utiles pour apporter des améliorations et s'assurer que nos avatars sont conformes aux normes éthiques et aux normes centrées sur le patient.
Évaluation de la conception de l'expérience : Notre projet fera l'objet d'une évaluation externe par un laboratoire spécialisé dans la conception de l'expérience utilisateur. Cela nous aidera à affiner la conception et la fonctionnalité de notre système, en les rendant conviviaux, efficaces et conformes aux meilleures pratiques dans le domaine.
Comments