L'utilisation des interfaces cerveau-machine dans la communication écrite
Au semestre 4 du CPBx, le projet pèse lourd dans l'évaluation : il est noté en LCO, en anglais et dans l'UE projet (coefficient 6), et chaque enseignant a ses propres attentes. Ce projet, mené de décembre 2018 à mai 2019 par Sébastien Delpeuch, Valentin Escobosa et Natacha Javerzat sous l'encadrement de Léa Pillette (Inria), étudie comment recréer un moyen de communication écrite grâce à une interface cerveau-machine. Il suit le signal depuis l'activité cérébrale mesurée par électroencéphalographie jusqu'à la lettre affichée à l'écran, à travers l'exemple du P300 Matrix Speller implémenté sous OpenViBE. La démarche suit les livrables du semestre : l'avant-projet pose le sujet et le planning, le corpus rassemble les documents de la synthèse culturelle (encadrée par Éric Dazzan), l'avant-synthèse en fixe la problématique, puis vient la rédaction de la synthèse sur les enjeux éthiques et juridiques des interfaces cerveau-machine. Le mémoire détaille ensuite l'origine des signaux, leur traitement (prétraitement, extraction de caractéristiques, classification LDA) et l'expérimentation ; un article scientifique sur l'influence des mouvements oculaires et la soutenance du 21 mai 2019 terminent le projet.
Notes de cours
Cours14 pages
- Avant-projetAvant-projet du 20 décembre 2018 : définition des interfaces cerveau-ordinateur, choix du sujet et problématique, plan et planning prévisionnels, expérimentation envisagée sous OpenViBE et bibliographie de départ.
- Corpus de la synthèse culturelleQuatre documents sur la robotique, le transhumanisme, la régulation des traitements algorithmiques et l'éthique des interfaces cerveau-machine.
- Avant-synthèseFiche de projet de la synthèse culturelle : domaines des sciences humaines retenus, question et problématisation, présentation du document de référence.
- Synthèse culturelleSynthèse culturelle du 14 mars 2019 : imaginaire collectif et interfaces cerveau-machine, frontière entre réhabilitation et augmentation, loyauté, responsabilité et protection des individus.
- Mémoire : résumé et introductionMémoire du projet sur les interfaces cerveau-machine pour la communication écrite : résumé en français et en anglais, remerciements, avant-propos, glossaire, plan et introduction.
- Activité cérébrale, origine des signaux exploitablesOrigine et principe des interfaces cerveau-machine, P300 Matrix Speller, anatomie du système nerveux, électroencéphalographie, marqueurs physiologiques et potentiel P300.
- Traitement du signal et apprentissagePrétraitement des données EEG (échantillonnage, représentations temporelle, fréquentielle, temps-fréquence et spatiale, ondelettes), extraction de caractéristiques et classification par analyse discriminante linéaire (LDA).
- Expérimentation : implémentation du P300 Matrix SpellerImplémentation du P300 Matrix Speller sous OpenViBE : matériel, scénarios d'acquisition, d'entraînement du classifieur et d'utilisation, limites et perspectives, conclusion générale et bibliographie du mémoire.
- Laplacien de surfaceAnnexe A du mémoire : filtrage spatial de l'EEG par le laplacien de surface, matrice de gain, équation de Laplace dans le scalp et filtres laplaciens larges, moyens et étroits.
- Transformée de Fourier et ondelettesAnnexe B du mémoire : rappels sur la transformée de Fourier, convolution, fréquence locale et inégalité de Heisenberg, représentations temps-fréquence et temps-échelle, transformées à ondelettes continue et discrète, analyses multi-résolutions et transformée à ondelettes rapide.
- Variances inter-classes et intra-classesAnnexe C du mémoire : outils mathématiques de l'analyse discriminante linéaire, variance inter-classes, variance intra-classe et critère de Fisher pour la matrice de passage.
- Boîtes OpenViBE des scénariosAnnexe D du mémoire : description et paramètres des boîtes OpenViBE utilisées dans les scénarios d'acquisition, d'entraînement et d'utilisation du P300 Matrix Speller.
- Gestion du projetAnnexe E du mémoire : organisation du trinôme, outils de travail partagés, diagramme de Gantt du projet et table des sources des figures.
- Influence des mouvements oculaires sur le P300 Matrix SpellerArticle scientifique du projet : protocole sur 15 sujets comparant le P300 Matrix Speller avec et sans fixation de la cible, taux de performance, potentiels évoqués visuels, discussion et références.
Ressources
Diaporamas4 documents