[PDF] Executable papers: vers une science plus ouverte transparente et

View - Download Executable papers: vers une science plus ouverte transparente et

Previous PDF

Next PDF

MATTONG : Une interface graphique sous MatLab pour le suivi du contour de la langue à partir d"images ultrasons

T. FUX

1, A. Amelot1, L. Crevier-Buchman1,2, C. Pillot-Loiseau1,

M. Adda-Decker

1,3 (1) Laboratoire de Phonétique et de Phonologie, CNRS, UMR7018, Paris, France (2) Hôpital Européen Georges Pompidou, Univ. Paris-Descartes, Paris, France (3) Traitement du Langage Parlée, LIMSI, CNRS, Orsay, France thibaut.fux@hotmail.fr, angelique.amelot@univ-paris3.fr, lise.buchman@numericalbe.fr, claire.pillot@univ-paris3.fr,madda@limsi.fr

RÉSUMÉL"imagerie ultrason (US) est un outil de plus en plus utilisé dans le domaine de la parole car elle

est non invasive et permet de visualiser un articulateur majeur dans la production vocale : la langue. Toutefois, sur ces images US, le contour de la langue doit y être identifié. MATTONG est une interface graphique conviviale développée sous MatLab permettant d"effectuer un suivi du contour de la langue à partir d"images ultrason. MATTONG reprend l"algorithme de suivi

développé par (Liet al., 2005a), utilisé dans le logiciel EdgeTrak (Liet al., 2005b). La particularité

de MATTONG est qu"il facilite l"utilisation de cet algorithme en apportant une interface graphique

permettant d"accélérer les manipulations sur le contour de la langue et de les rendre plus fiables

et reproductibles. Il intègre également plusieurs outils tels que des outils de filtrage d"images, la

conversion de vidéos en série de fichiers image ou l"exportation des résultats sous divers formats.

ABSTRACTMATTONG : MatLab(R) Tongue Tracker on Graphical User Interface Ultrasound (US) imaging is widely used in the speech domain since it is non-invasive and allows viewing of one important articulator in speech production : the tongue. On these US images, the tongue contour need to be located. MATTONG is a graphical interface developed with MatLab allowing to track the tongue contour on US images. MATTONG is based on the algorithm developed by (Liet al., 2005a) in the EdgeTrak software. The specificity of MATTONG is the following : it facilitates the use of this algorithm by adding a graphical interface enabling fast and easy tongue contours manipulations and making them more reliable and reproducible. It also proposes various tools such as image filtering, video file to images files or data exportation in different formats.MOTS-CLÉS:Image, Ultrason, EdgeTrak, Contour, Langue. KEYWORDS:Image, ultrasound, EdgeTrak, Contour, Tongue.1 Introduction L"utilisation d"imageries ultrasons constitue un moyen simple, efficace et non invasif d"observer les mouvements de la langue durant la production vocale. Cette technique est largement utilisée

dans divers domaines tels que la médecine, la phonétique, etc. Toutefois, les données issues de

tels capteurs ne constituent pas des données prêtes à l"emploi mais se composent d"une série

d"images brutes dans lesquelles un contour de langue peut être distingué. Ainsi, plusieurs auteurs

se sont penchés sur la problématique de la détection automatique (ou semi-automatique) du contour de la langue, voir par exemple (Akgulet al., 1999, 2000; Tanget al., 2012; Roussos et al., 2009; Wrench, 2007). Les méthodes les plus courantes sont basées sur le principe des contours actifs (communément appelésnake). L"un des algorithmes les plus répandus est celui développé par (Liet al., 2005a) également connu sous le nom de EdgeTrak (nom du logiciel

développé par les auteurs). Même si cet algorithme est très performant, son utilisation reste

difficile à partir de l"interface graphique EdgeTrak et ceci pour plusieurs raisons. L"importation

d"images demande un format spécifique et ne peut se faire que sur des images numérotées comportant le même nombre de chiffres. D"autre part, les corrections d"erreur de détection (inévitables dans tout type d"algorithme de suivi automatique) reste quelque peu difficiles. On peut imaginer plusieurs options d"affichage, d"exportation ou encore de filtrage pour donnera à EdgeTrak un aspect bien plus attrayant. C"est pourquoi, nous avons décidé de développer une

interface graphique conviviale (cf. figure 1) intégrant des fonctionnalités qui sont absentes dans

EdgeTrak ou difficilement abordables. Ainsi, l"apport majeur de MATTONG est la possibilité pour un utilisateur novice de réaliser des analyses, des corrections de contours, des exportations de données et du filtrage d"images US tout en profitant de la puissance de l"algorithme EdgeTrak. FIGURE1 - Copie d"écran de MATTONG. On peut voir à droite la liste des fichiers images, au

milieu une série de fonctionnalités pour le suivi automatique du contour de la langue. A gauche

la partie visualisation inclue une zone de notification, un affichage des images et les contours de la langue ainsi que plusieurs options d"affichage et des informations concernant le filtrage de l"image. La barre des menus comprend plusieurs outils ainsi qu"un onglet deparamétrisation permettant de régler les paramètres propres au contour actif. Dans cet article, nous exposerons tout d"abord les principes généraux de fonctionnement de

l"algorithme EdgeTrak (Section 2) et nous préciserons les différences entre ce dernier et la version

implémentée dans MATTONG (Section 3). Précisons ici que nous avons fait le choix dans un premier temps de développer le code source sous MatLab plutôt que d"intégrer directement le

code de EdgeTrak (développé en langage C++). Par la suite, nous exposerons les détails de son

fonctionnement (Section 4) ainsi que les différents outils intégrés dans notre interface graphique

(Section 5).

2 Algorithme de détéction du contour de la langue de Edge-

Trak L"algorithme EdgeTrak (Liet al., 2005a) se base sur un modèle de contour actif (ousnake). Un snakeest formé d"une série de points mobiles le long d"une courbe pouvant se rapprocher de

plus en plus près d"un contour d"une image en minimisant une fonction d"énergie. Cette fonction

d"énergie tient compte de plusieurs paramètres directement issus de l"image (énergie externe,

Eext) mais également des informations liées à la forme du contour et la position des points

qui le composent (énergie interne,Eint) telles que la distance entre les points, la courbure, etc.

L"énergie interne a pour rôle de contraindre la courbe en termes de continuité et de régularité

alors que l"énergie externe contraint la courbe à épouser une région d"intérêt dans l"image. Le

modèle de contour actif proposé par (Liet al., 2005a) se base sur trois énergies de base ainsi

qu"une fonction d"énergie spécialement développée par les auteurs pour le suivi du contour de

la langue sur des images ultrasons. Ces énergies sont pour les énergies internes : (1) énergie

de courbureEsmooth(2) énergie de continuité (ou de distance)Edist. Pour l"énergie externe, les

auteurs utilisent (3) l"énergie du gradientEgrad. A cette énergie externe, les auteurs rajoutent

une énergie de bandeEbandqui permet de tenir compte de l"intensité dans les régions voisines

du contour. En effet, une image ultrason de la langue aura la particularité de présenter une ligne

blanche plus ou moins distinctement formée par la réflexion des ondes ultrasons au niveau de la

partie supérieure de la langue. Ainsi, le haut de la langue se situera juste en dessous de cette

ligne blanche. Les auteurs proposent d"intégrer une énergie qui correspond au rapport d"intensité

entre une région située au dessus de la courbe par rapport à une région située en dessous et ce

localement (i.e. pour chaque point constituant le contour, cf. figure 2). Ainsi, la fonction de coût

total (ETOTAL) du modèle de (Liet al., 2005a) se présente de la façon suivante : E

TOTAL=Eint+E0

ext=Eint+(Eband(vi).Eext(vi)) avec E int=1Esmooth+1Edist=1(1!vi1vi.!vivi+1j !vi1vij.j!vivi+1j)+1jjvivi1jdj E band(vi) =pensidif(vi)<0

1dif(vi)sinonoù,dif(vi) =1n.N.(X

p j2RiI(pj)X p 0 j2R0 iI(p0 j)) et E ext(vi) =1j5I(vi)j=M Dans ces équationsetainsi que1et1correspondent à des facteurs de pondération des

énergies,dest la distance moyenne entre deux éléments du contour,Il"image considérée,Mune

constante de normalisation,5l"opérateur de gradient,penune valeur de pénalité définie à 2,n

le nombre de pixels dans la régionRiouR0 i, etNun facteur de normalisation d"intensité égale à

255. Pour plus de précisions nous renvoyons le lecteur vers l"article originel (Liet al., 2005a).

FIGURE2 - Définition des régions locales d"intensité (source :(Liet al., 2005a)).viest le point

considéré,vi1etvi+1respectivement le point précédent et suivant.tiest le vecteur tangent en

viet ni le vecteur normal. La zoneRiest définie comme un quadrilatère dont un côté est défini

entrevietvi+1et l"autre correspond à la normale.

3 Suivi du contour de la langue : MATTONGVsEdgeTrak

L"algorithme de suivi du contour de la langue que nous avons implémenté pour MATTONG est

directement issu de l"interprétation que nous avons faite de l"article d"origine (Liet al., 2005a)

avec quelques simplifications.

Nos simplifications concernent les différents termes de la fonction de coût et notamment l"énergie

correspondant à la distance entre les points du contour(Edist)). Nous avons choisi de supprimer

cette fonction et d"interpoler les points de façon équidistante après chaque optimisation du

contour. Ceci est possible dans notre algorithme actuel car la recherche du contour ne se fait que

dans une seule direction. En effet, dans l"algorithme de base, il est mentionné que d"abord la zone

de recherche ne s"oriente que dans la direction de la normale (nidans la figure 2) et qu"après plusieurs itérations une recherche est effectuée suivant la tangente (ti). Dans MATTONG la

recherche suivant la tangente est en cours de développement. Cependant, d"après plusieurs tests

effectués sur des images US, l"absence de cette direction de recherche affecte peu la recherche du contour. Enfin, la recherche du contour optimal par programmation dynamique est dans l"algorithme d"origine celui proposé par (Aminiet al., 1990). Dans MATTONG nous avons codé un algorithme de Viterbi (Viterbi, 1967) permettant d"aboutir à des résultats similaires. Nous avons comparé quelques suivis réalisés par EdgeTrak et MATTONG : nous obtenons des contours très similaires ce qui conforte nos choix et notre méthodologie (cf. figure 3).

4 MATTONG - principe de fonctionnement

Dans EdgeTrak, le processus de suivi consiste à annoter manuellement la première image puis à

démarrer le processus d"optimisation sur cette image. Ensuite il est possible de lancer l"analyse de toutes les images automatiquement. Le contour une fois optimisé sur une image est ensuite

propagé sur l"image suivante en tant que contour d"initialisation avant d"être à son tour optimisé.

Sur ce point, le fonctionnement de MATTONG diffère quelque peu de celui de EdgeTrak. Nous

avons remarqué qu"il était bénéfique de procéder en premier lieu à une estimation approximative

de la position du contour avant la phase d"optimisation. Ainsi dans MATTONG il existe deux FIGURE3 - Exemple de contours de langue issus de MATTONG (en vert) et de EdgeTrak (en croix rouge). processus distincts : (1) un processus d"initialisation de toutes les images (2) un processus de localisation précise.

Le premier processus est semi-automatique et est réalisé sur des images dont la résolution est

réduite tandis que le second est entièrement automatique et est appliqué sur les images à pleine

résolution. Dans MATTONG, il est possible à tout moment d"arrêter ou de reprendre l"analyse sans

effectuer aucune action explicite de sauvegarde. Après chaque action MATTONG enregistre les données. Ceci permet également de stopper l"analyse afin d"apporter des corrections manuelles directement en cliquant sur le graphique pour retirer ou ajouter des points sur le contour. Voyons

à présent un peu plus en détail ces deux processus et la façon dont MATTONG gère les données.

Processus 1 : initialisation sur les images réduites Pour la première image d"une série il est nécessaire de tracer manuellement un contour approximatif de la langue en positionnant manuellement des points proches du contour de la langue directement sur l"image. Comme le temps d"exécution de scripts MatLab est relativement long, tout le processus

d"initialisation est effectué sur des images dont la résolution a été réduite. Ceci permet

d"accélérer le processus et d"augmenter la zone de recherche à moindre frais. La zone de recherche est par défaut de+/- 3 pixels dans l"algorithme de suivi du contour de la langue de MATTONG. Par défaut l"image est réduite de 50% ce qui permet ainsi, pour un temps de calcul équivalent, d"étendre cette zone de recherche à+/-6 pixels (théorique).

Le nombre de points définissant un contour est également réduit par rapport à l"algorithme

d"origine. Par défaut ce nombre est de 18 points. Après annotation manuelle, la position de ce contour est optimisée, c"est à dire que l"énergie de ce contour est minimisée. Pour chaque nouvelle image le contour de la langue est initialisé de manière automatique par copie du contour précédent (optimisé) sur l"image actuelle, de la même manière que dans EdgeTrak.

Processus 2 : Localisation

Le processus d"initialisation peut être suffisant car il offre une approximation raisonnable de la position de la langue. Toutefois, afin d"obtenir des contours plus précis, un processus de localisation plus précise est possible. La première étape appelée initialisation nous a permis d"obtenir un contour approximatif qui sera par la suite utilisé comme contour d"initialisation pour chaque image de façon indépendante. Dans ce processus, il n"y a

plus de copie du contour précédent (optimisé) sur l"image actuelle. Ainsi, il s"agit ici d"un

processus entièrement automatique. Ce contour comporte par défaut 33 points et la zone de recherche quant à elle est de+/- 2 points par défaut. Afin d"augmenter la précision des contours issus du processus d"initialisation, ici le suivi est effectué sur les images d"origine (pas de diminution de la résolution). Du fait qu"un contour d"initialisation est

déjà présent et dû à la zone de recherche réduite ceci assure une optimisation efficace

présentant moins de divergence lors du suivi du contour de la langue. Notons que tous les paramètres de recherche ainsi que les coefficients de pondération pour les deux processus sont réglables dans MATTONG via les menus.

Gestion des données par MATTONG

Comme précédemment mentionné, les analyses peuvent être arrêtées et reprises à tout

moment. Dans MATTONG, après chaque modification, un fichier est créé contenant les informations liées aux contours (initialisation et localisation). Ainsi, pour chaque image, après analyse, il existera deux fichiers .mat contenant les informations des contours. Le premier fichier ayant le même nom que l"image en question suivi du suffixe_init.mat et contient les informations du contour d"initialisation. De la même manière le fichier avec le suffixe_track.matcontient les informations sur le contour précis de localisation.

D"autres fichiers peuvent également être présents dans le dossier où se situe les images US

tel qu"un fichierpalate.mat, dont nous parlerons plus tard, qui contient les informations liées à la position du palais. Bien que des tests ont montré que les temps d"accès sont négligeables, une solution future pourra s"orienter vers des fichiers binaires uniques.

L"intégralité de MATTONG n"a pas été codée par nosCi-dessous le détail de ces options d"affichage.

soins. En effet, MATTONG utilise un certain nombre de codes sources disponibles sur internet. Pour respecter le travail de ces personnes, nous détaillons ci-dessous ces scripts en mentionnant les sources et les auteurs. Nous en profitons pour remercier l"ensemble des développeurs qui publient gratuitement leurs codes sur internet permettant ainsi d"aider et de faire avancer un grand nombre de projets. - Interpolation B-splines : (Hunyadi, 2012) - Filtrage d"images US : (Meshral, 2013) - Lecture de fichiers vidéo : (Richert, 2009) - Extraction des pixels inclus dans un polygone : (Engwirda, 2007) - Interpolation 2D équidistante : (D"Errico, 2012) - Clavier virtuel : (Zimmerman, 2012) - Activation d"un objet graphique : (Weber, 2002)

5 MATTONG et ses fonctionnalités

Le premier objectif de MATTONG est de fournir une interface graphique conviviale incluant plusieurs outils pour l"affichage, le tracé de courbes, l"exportation des données ou encore le filtrage des images US. Dans cette partie, nous décrivons ces outils.

Options de visualisation :

Plusieurs options (présentes en dessous de l"image dans l"interface graphique) permettent d"afficher ou non certains détails. Ci-dessous le détail de ces options d"affichage.

-Palais :la référence correspondant à la position du palais peut être définie et affichée

par MATTONG si une image US permet de l"observer. Le menu " Palate » permet de définir et de modifier cette courbe de référence. Les points de ce contour sont enregistrés dans un fichierpalate.mat. Grille :Il est également possible de superposer aux images US une grille angulaire en fonction de la sonde US utilisée. (Dans la version actuelle, cette grille n"est pas encore paramétrable). Visibilité des contours :pendant et après le suivi des contours de la langue, MATTONG permet de personnaliser l"affichage des contours. Ainsi, dans les options d"affichage il est possible d"afficher ou non, les points d"initialisation (en rouge), les points de localisation (en jaune) ainsi qu"une courbe interpolée par B-splines sur le contour de la localisation (en bleu), le palais ou encore la grille. Notons que ces options de visualisation sont à prendre en compte dans les procédures d"exportations décrites par la suite.

Options d"exportation des courbes :

Plusieurs outils permettent d"exporter les données ainsi que de réaliser des copies d"écran permettant l"intégration facile d"images dans des documents scientifiques sont également disponibles. Fichier image :La première des options d"exportation des courbes est l"enregistrement de l"affichage actuel (image+contour(s)+palais+grille) directement en fichier image. -Figure MatLab :Une seconde option permet de dupliquer l"affichage actuelle dans une fenêtre figure de MatLab. Ceci permet ainsi de réaliser toutes les manipulations courantes sur les figures disponibles dans MatLab (ajout de titre, modification des couleurs, légende, etc....) Superposition :Une troisième option, permet de tracer l"ensemble des contours des images sélectionnées dans les options de visualisation sur une seule figure. Cet af- fichage utilise un dégradé de couleurs permettant de différencier les contours des premières images et des dernières images.

Options d"exportation des données :

Même si tous les résultats sont enregistrés dans des fichiers.matpropres à chaque image et chaque processus, MATTONG intègre plusieurs options pour l"exportation des données. Exportation directe dans MatLab :il est possible d"exporter directement les informations des contours ainsi que les images directement dans l"espace de travail MatLab. Fichiers textes :Une autre solution consiste à utiliser les formats d"exportation MAT- TONG. Ces formats sont des fichiers en format texte incluant les données des contours et les noms des images US correspondantes. Deux types de format existent nommés longetshort. Le formatlonginclus des balises permettant d"avoir un format lisible par l"utilisateur. Le deuxième format contient les mêmes informations mais aucune balise n"est présente. L"utilisateur de MATTONG pourra se servir d"un scriptmtg_reader.m fourni dans MATTONG pour lire ces fichiers dans un programme MatLab annexe.

Options de filtrage :

Notre logiciel intègre également un outil de filtrage des images US. Ceci permet soit de réaliser un filtrage directement sur les images avant de réaliser un suivi ou d"enregistrer les images filtrées dans un nouveau dossier permettant ainsi dans certains cas de ne pas trop ralentir l"analyse. Parmi les filtres disponibles, on pourra citer les filtres médians, spectraux ou par ondelettes. Notons ici que les scripts MatLab utilisés pour le filtrage sont issus de (Meshral, 2013).Plus de détails sur ces méthodes de filtrage sont disponibles dans (Juan et Fernández-Caballero, 2009).quotesdbs_dbs23.pdfusesText_29

[PDF] code sportif carambole - Fédération Française de Billard

[PDF] manuel sur le chiffrement des messages climat et climat temp - WMO

[PDF] Stationnement des professionnels mobiles - Parkings de Nantes

[PDF] Nomenclature pour le traitement des déchets

[PDF] Quelques règles typographiques de base - Refer

[PDF] Quelques règles typographiques de base - Refer

[PDF] Quelques règles typographiques de base - Refer

[PDF] Quelques règles typographiques de base - Refer

[PDF] Guide de paramétrage général

[PDF] Dresscode UBS ? l 'attention des collaborateurs PKB - Le Figaro

[PDF] Note technique : Procédures d affectation 2017 Post 3 (gestion

[PDF] vademecum des procedures d orientation et d affectation

[PDF] Documents annexes ? la « circulaire relative ? la mise en #339 uvre de

[PDF] Guide Après la 3e rentrée 2017 - Académie de Créteil - Onisep

[PDF] notice instructions pour APOGEE - fnege