[PDF] Expériences de formalisation d un guide d annotation : vers l

substrat - ResearchGate

deux mAthodes de dAtermination, et dans une seconde M#THODE DES "sin~ ~b" Cette m4thode, qui utilise la contraintes dans plusieurs phases dilfractantes d'un mAme film par exemple,

Gestion des bases de données - pdfbibcom

thode Merise générale traite de l’intégralité de la conception de la base de données : elle ne s’intéresse pas uniquement à la partie correspondant au stockage des données, mais également à leur traitement La méthode Merise considère quatre phases dans la création d’une base de données : 1

SPERMATOZOIDE ET ANALYSE AUTOMATISI~E D veloppement dun syst

Notre m~thode a ~t~ utilis~e pour ~tudier avec plus de pr~cision et d'objectivit~, les ph~- nom~nes de battements ciliaires et flagel- laires Elle nous a permis de comparer ces deux types de battements [11] Nous avons montr~ la similitude de la cin~tique d'~volu- tion des ondes Les phases de formation de

Le polissage sous contraintes - Photoniques

pace entre deux actionneurs Afi n d’ob-tenir la meilleure qualité de correction, les diff érentes surfaces optiques de relai ne doivent pas comporter de défauts plus pe-tits que cet espacement C’est à ce niveau que le polissage sous contraintes inter-vient, grâce à l’excellente qualité de sur-face obtenue

Les capteurs à réseaux de Bragg - Photoniques

les phases de décollage et d’atterrissage Réseaux de Bragg dans l’offshore La fibre optique est présente dans le domaine de l’offshore depuis plusieurs dizaines d’années Son implantation permet de mesurer des pressions, des températures ou des contraintes Le réseau de Bragg permet de monitorer différentes structures telles que des

Expériences de formalisation d un guide d annotation : vers l

contraintes sur les nœuds, sur les traits et sur les relations de dépendances De plus, un motif peut être sous-spécifié et peut également exprimer des contraintes négatives sur le contexte La réécriture de graphes permet, une fois qu’un motif est repéré, de modifier la structure du graphe

THESE DE DOCTORAT DE LÕECOLE NORMALE SUPERIEURE DE CACHAN

Fish combine simultan”ment deux approches de repr”sentation des m”canismes dÕendommagement, une locale et lÕautre globale, pour d”crire les diff”rents modes de d”gradation des

[PDF] LES ÉTAPES DE L 'ALGORITHME DU SIMPLEXE

[PDF] LES ÉTAPES DE L 'ALGORITHME DU SIMPLEXE

[PDF] Simplexe - Méthodes, Techniques et Outils pour le Raisonnement

[PDF] Méthodes d 'intégration numérique

[PDF] Fichier pdf

[PDF] La méthodologie - Vie scolaire

[PDF] FICHE METHODE : APPRENDRE UNE LECON, COMMENT FAIRE?

[PDF] MÉTHODES DE TRAVAIL EFFICACES Étude efficace Méthode d

[PDF] Comment aider mes élèves ? mieux gérer leur travail scolaire ?

[PDF] MÉTHODES DE TRAVAIL EFFICACES Étude efficace Méthode d

[PDF] La démarche HACCP en cuisine de collectivité - Formation Consulting

[PDF] Introduction aux Equations aux Dérivées Partielles - Département

[PDF] ( cae) coûts complets et partiels chapitre 5 comptabilitè - PIIMT

[PDF] Cours analyse coûts-1 - IUT de Bayonne

[PDF] Solutions des exercices Solutions des exercices - Dunod

Expériencesdeformalisation d'unguide d'annotation: versl'annotationagile assistée

BrunoGuillaume

1,2

KarënFort

1,3 (1)LORIA54500 Vandoeuvre-lès-Nancy (2)InriaNancy Grand-Est (3)Universitéde Lorraine

RÉSUMÉ

Nousproposonsdans cetarticleune méthodologie,quis'inspire dudéveloppementagile et quipermettraitd'assister lapréparation d'unecampagned'annotation .Leprincipe consisteà formaliseraumaximum lesinstructionscontenues dansleguide d'annotationafinde vérifier automatiquementsi lecorpusen constructionestcohérent avecleguide encoursd'écriture. Pourexprimerlapartieformelle duguide,nous utilisonslaréécriture degraphes,qui permet dedécrirepar desmotifsles constructionsdéfinies.Cette formalisationpermetde repérerles constructionsprévuespar leguide et,parcontraste, cellesquine sontpascohérentes avecle guide.Encas d'incohérence,unexpert peutsoit corrigerl'annotation,soit mettreàjour leguide etrelancerle processus.

ABSTRACT

Formalizinganannotationguide: someexperimentstowards assistedagileannotation Thisarticlepresents amethodology ,inspiredfrom theagiledevelopment paradigm,thathelps preparinganannotation campaign.Theidea behindthemethodology istoformalize asmuch as possibletheinstructions givenin theguidelines,in ordertoautomatically checktheconsistency ofthecorpus beingannotatedwith theguidelines,as theyarebeing written.T oformalizethe guidelines,weuse agraphrewriting tool,thatallows ustouse arichlanguage todescribe the instructions.Thisformalization allowsusto spottherightfully annotatedconstructions and,by contrast,those thatarenotconsistentwith theguidelines.In caseofinconsistency ,anexpert can eithercorrectthe annotationor updatetheguidelines andrerunthe process. MOTS-CLÉS:annotation,guided'annotation, annotationagile,réécriture degraphes. KEYWORDS:annotation,annotationguide, agileannotation, graphrewriting.

1Introduction

Ilestaujourd'hui unconsensusclair ,non seulementqueles corpusannotéssont indispensables auxoutilsde traitementautomatiquedes langues(T AL)pourleur entraînementetleur éva- luation,maiségalement quel'annotationdoit êtreconsistantepour êtreprofitable(voir ,par exemple(Reidsma etCarletta,2008)).Or, l'obtentiond'uneannotation manuelledequalité requiertl'utilisationd'un guided'annotationsuffisamment completetcohérent (Nédellecetal.,

TALN-RÉCITAL2013,17-21Juin,LesSables d'Olonne

628c?ATALA

2006).Lamise aupointd'un telguideest cependant,commele soulignentSampson(2000)

et(Scottetal.,2012),loin d'êtretriviale. Enoutre,il estrare, unefoisune campagned'annotationterminée, queleguide d'annotationet lecorpusannoté soientcomplètement cohérents,cequi n'estpassans poserproblèmepour les systèmesoules linguistesutilisant lecorpus(voir parexemple(Candito etSeddah, 2012),ence quiconcernele corpusarboré dufrançais).

Unesolutionpour remédieràces deuxdifficultésconsiste àdévelopperle guideet àannoter

lecorpusselon descycles courtsdeprototypage. Cetteméthodologieest appeléeAgileAnnota- tion(VoormannetGut,2008)à l'imagede l'AgileDevelopment(voirfigure1). Ellen'a, ànotre connaissance,étéappliquée quedans unseulcas d'annotationréel(Alex etal.,2010). FIGURE1-Phases del'annotationtraditionnelle (àgauche) etcyclesde l'annotationagile(à droite).Reproduction delafigure2de(V oormannetGut, 2008) Indépendammentdela notiond'annotationagile, nousavionsutilisé laréécriturede graphes pourrechercherdes erreursrécurrentes danslecorpus Sequoia 1 (CanditoetSeddah, 2012).

Cetteapplicationdirecte delaréécriture àladétection d'erreursapermis d'identifierune centaine

d'erreursd'annotationet aconduità lapublicationd'une nouvelleversion(3.3) ducorpus en juillet2012. Nousprésentonsici lesexpériencesque nousavonsmenées plusrécemmentdans lecadre de lacorrectiond'annotations syntaxiques,pour laquellenousavons transformélesinstructions d'unguided'annotation existantenrègles deréécritureappliquées surlecorpus annoté.Ces

expériencesontmontré l'intérêtd'une telleformalisationet nousproposonsdonc sonintégration

dansleprocessus d'annotationmanuelle,ce quiconduiraità lamiseen placed'une annotation agileassistée.

2Formaliser unguided'annotation

Laméthodeque nousproposonsconsiste àtravaillerde façonsystématiqueà partirdu guide d'annotation.Eneffet, pourchaque typed'annotation(pour chaquerelationde dépendance

syntaxiquedansl'exemple utiliséplusloin) leguideénumère lescas oùcetteannotation doitêtre

réalisée.Onuti lisealorsla réécrituredegraphespourrepérerles occurrencesdesannotations

correspondantàchacun descas énumérésdansle guide.Dansun deuxièmetemps,on liste

629c?ATALA

lesannotationsqui n'ontpas étérepéréeslors delapremière phase.Enthéorie, pourchaque

annotationidentifiéepar cetteméthode, seprésentel'un desdeuxcas suivants: -l'annotationest incorrecte,ondoit alorscorrigerle corpus; -l'annotationestcorrecte etellecorrespond àuncas d'usagequin'a pasété identifiéparle rédacteurduguide, ondoitalors mettreleguide àjour. Évidemment,dansle casoùle guideestmis àjour, ilfaut relancerleprocessus pourmettreen

évidenced'éventuellesnouvelles incohérencesentre leguideet lecorpus.La principaledifficulté

danslamise enplacede cetteméthoderéside danslepassage delaversion usuelledu guideàsa versionformaliséeen termede réécrituredegraphes.

2.1Guided'annotation etimplicite

Unguided'annotation estrédigépar deshumainspour deslecteurshumains. Plusprécisément, ilestrédigé pardes expertspourdes lecteursplusou moinsspécialistesen fonctiondela tâche d'annotation.Leguide reposedonc souventsurdes informationsimplicites.L 'introductiondécrit

généralementlecadre théoriquedanslequel l'annotationestréalisée. Cecadrepermet dedonner

lesprincipesgénéraux quis'appliquent àl'ensembledu guide.Ilfaut, danslasuite dudocument,

quidécritdes partiesplus spécifique sdel'annotation, connaîtreceséléments générauxpour

interpréterlesinformations correctement. Dansleguide (Canditoetal.,2009),il estexpliqué,d'une partquela fonctionA-OBJ(figure 2) concernedesobjets indirectsen "à»et,d'autrepart quecettefonction peutêtreréalisée par unpronomclitique. Toutlecteur francophonesaitque, danslecasdelaréalisation clitique, laprépositionn'est pasprésente.Cette informationn'estpas dansleguide maiselle doitêtre rendueexplicitedans larègle. Danscetexemple, ilestfacile deconstruirela bonnerègle,mais engénérall'information impliciteest pluscompliquéeà formaliser.

2.2Limitesde laformalisation

Ilestbien évidemmentimpossible deformalisercomplètement leguidesous formederègles. En

effet,dansle cascontraire, celasignifieraitque l'annotationpeut-êtrefaite defaçoncomplètement

automatiquesansavoir recoursà unjugementhumain. Parexemple, danslecas delafonction A-OBJ(cf. figure2),leguideindique qu'unobjetindirect introduitparla préposition"à»peut- êtreannotépar unerelation A-OBJentrele verbeetla préposition,mais peutaussidans certains casêtreannoté commeun locatif(avecla relationP-OBJ_LOC). Lechoixentre l'unedesdeux annotationssefait àl'aide d'untestbasé surlacliticisation ousurla formeinterrogative.On nepeutdonc pasautomatiquement détecteruneerreur d'annotationquiconsiste àutiliserla relationA-OBJau lieudeP -OBJ_LOCoul'inverse.

3Expériences

Nousdécrivonsici unepremièreexpérience d'applicationdenotre méthodologiesurun corpuset leguideassocié.

630c?ATALA

3.1CorpusSequoia

Ilexistepeu deressourcesannotées syntaxiquementpourle français.Lecorpus arborédu français(Abeilléetal.,2003),ou FrenchT reebank(FTB),existe depuisunedizaine d'années maisiln'est paslibrement accessibleetredistribuable. L'andernier ,uncorpus comparableauFTB maislibrementaccessible aété proposé,lecorpus Sequoia(Canditoet Seddah,2012).Celui-ci contientenviron3 000phrasesprovenant dequatresources différentes(Wikipédia, Parlement

européen,EstR épublicainet Emea).Cesphrasesontétéannotées enconstituants.L 'annotation

enconstituantsa ensuiteété convertieenune annotationendépendances. L'annotationen dépendancesviséeest décritedansle guide 2 (Canditoetal.,2009).

3.2Réécriture degraphes

Pourformaliserlesinformationsdu guide,nousutilisons GREW(Guillaumeetal.,2012),un outilderéécriture degraphes spécialisépour lesapplicationsen TAL.En effet,GREWpropose unlangagede descriptionriche quipermetde repérerautomatiquementun motifdegraphe dansunensemble dephrases.Dans unmotif, onpeutexprimer descombinaisons complexesde contraintessurles noeuds,sur lestraitset surlesrelations dedépendances.De plus,unmotif peutêtresous-spécifié etpeut égalementexprimerdes contraintesnégativessur lecontexte. Laréécriturede graphespermet,une foisqu'unmotif estrepéré,de modifierla structuredu graphe.Ici,on n'utiliseracettefonctionnalité quepourmarquer chaqueoccurrencereconnue (à l'aidedesuffixes okoufailsurlesétiquettes dedépendances). GREWdisposeégalementd'un mécanismedemodules quipermetd'appliquer successivement plusieursensemblesde règlesderéécriture. Dansnotreapplication, onutiliseradeux modules: lepremierpour repérerles occurrencescorrectesdes dépendancesetun secondpourmettre en évidencelesdépendances restanteset doncconsidéréescomme incorrectes.

3.3Unex empledeformalisation :lafonctionA-OBJ

Lasectiondu guidespécifiqueà larelationA-OBJ estreproduitedans lafigure 2,ci-dessous.

Engénéral,quelques itérationssontnécessaires pourcodercorrectement lespartiesimplicites ou

lespartiesdécrites ailleursdans leguide.

1.Unetraductionnaïve desinformationsdu guidenousamène àdéfinir4 règles: unepour

chacunedesréalisations possiblesde l'objetindirect: unnom,un pronomclitique,un pronomnon-clitiqueou unepropositioninfinitive.

2.Sil'objetindirect estunclitique, laprépositionn'est pasprésente( "Illui parle.»);ilfaut

doncmodifierla règlecorrespondante.

3.Encasd'élision "au» ,lelemme restebien"à»maislacatégorie estP +Detnon pasP; il

fautgénéraliserles règles.

4.Parcontre,encasd'élisi on"auquel» ;lelemme n'est"à»mais"auquel» etlacatégorie

P+PRO;ilfautunecinquième règle.

631c?ATALA

3.5 La fonction A-OBJ Les objets indirects en à , notés A-OBJ, sont des compléments obligatoires soit nominaux ou pronominaux (catégorie P P), soit cl itiques (CLO) , soit des infinitives phrastique s (VPinf) introduites par à. Le test pour identifier les A-OBJ est la cliticisation par lui, leur. (56) Il ressemble à Martin => A-OBJ(ressemble-1,à), OBJ(à,Martin-3) (57) J'encourage Marie à venir => A-OBJ(encourage-1, à), OBJ(à,venir-4) La cliticisation en y indique généralement un locatif sauf dans certains cas où on notera A-OBJ : (58) Jean pense à Marie => A-OBJ(pense-1,à), OBJ(à,Marie-3) (59) Jean va à Paris => P-OBJ_LOC(va-1,à), OBJ(à,Paris-3) Car on a pas Où pense Jean ? mais bien Où va Jean ? FIGURE2-Extrait duguided'annotation :la fonctionA-OBJ

5.Pourlesclitiques,leguide demandela catégorieclitiqueobjet (avecletrait s=obj),mais

lecorpu scontientdesrelationsA-OBJdontledépendantest unclitiqueréfléchi (avec letraits=refl):"jeme posedesquestions »;cetteannotation estcorrecte; ilfautdonc mettreàjour leguideet ajouterune règlepource cas.

Aufinal,on obtientdonc lessixmotifs suivants:

nominalpronominal"à»ou"au» pronominal"auquel» /0123 123
01/23 /23 /0)12 ,-./0 -./01 ,$./0 12345
345
L'applicationdecesmotifssur les3203 phrasesdeSequoia donneles résultatsci-dessous 3 "à»ou"au» "auquel» objetréflexif nbd'occurrences476173841687 Ilrestealors cinqoccurrencesde larelationA-OBJ quinecorrespondent àaucune desrègles ci-dessus.Trois decesoccurrencescorrespondentàune erreurd'annotation: -uneerreur dePOS: "[...]onnecondamne pasàmort [...]»avec"mort» adjectif;

-danslaconstruction "répondreà côtédela question» ,legroupe prépositionnel"àcôté dela

question»estuncomplément circonstancieldemanière, ondoitdonc avoirlarelation MOD;

-utilisationdela préposition"auprèsdu »danslaconstruction "serenseigner auprèsducomité »:

l'argumentduverbe estun P-OBJintroduit parlepréposition "auprèsde »;

3.Tous lesrésultatssontdisponiblessur: http://wikilligramme.loria.fr/doku.php?id=taln_2013

632c?ATALA

Lesdeuxautres occurrencessont correctesmaismériteraient defigurerd'une façonoud'une autredansle guide: -ledépendantde laprépositiona unPOSinattendu :parexemple ET(POSpourétiqueter les motsd'origineétrangère) dans"[...]délivréàThe MedecineCompany [...]»; -legouverneur delarelation A-OBJestune coordination; Onpeutfacilement imaginerletype deprécisionsqu'il estnécessaired'apporter àcette partiedu guideetdonc letypede modificationsqu'ilfaudra apporterauxrègles àlaprochaine étapepour tenircomptedes deuxdernierspoints.

4Méthodologieproposée

L'expériencedécriteci-dessusa étéréaliséesur uncorpuset songuidefigé :leguide n'apasété

misàjour depuisplusieursannées etl'annotation ducorpusSequoia estterminéedepuis plusd'un an.Par ailleurs,leguiden'estpas completetil restedessections quinesont pascomplètement rédigées,notammentà proposde lacoordination.Le corpusn'estdonc pastoujoursannoté demanièreconsistante, notammentence quiconcerneles phénomènesnon finalisésdansle guide.Lecorpus Sequoia,auquel nousnousintéressons, estannotéen dépendancessyntaxiques, maisl'annotationde départetcelle surlaquelleles développeursducorpus travaillentest une annotationenconstituants, etla conversiondesconstituants verslesdépendances estréaliséede manièreautomatique.Cela ajouteune difficultédansla tâchedecorrections ducorpus: quand uneerreurd'annotation estdétectéedans lesdépendances,il fautretrouverl'origine del'erreur danslesconstituants oudans laconversion.

4.1Intégrationdans leprocessusd'annotation manuelle

Lesexpériencesque nousavons menéesnousont convaincusquenotre outilderéécriture de graphespeutêtre unalliéprécieux danslarecherche decohérenceentre leguide etlecorpus. S'ilestintéressant del'utilisersur desdonnéesstatiques, nouspensonsqu'il aun rôleencoreplus importantàjouer surdesdonnées enconstruction.Nous proposonsdoncd'utiliser cetyped'outil trèstôtdans leprocessusd'annotation, notammentaumoment delacréation duguide. Dansl'idéal,chaque applicationde laréécriturede graphespermetde repérerdeserreurs d'annotationetdes erreurs,desmanques oudesimprécisions dansleguide. Onpeut donc imaginerunprocessus commecelui décritdansle schémadela figure3qui représenteunpas ducyclede développementmenant delaversion iduguideet ducorpusà laversioni+1de ceux-ci.Par soucidesimplicité,leschéma ci-dessousnefait pasintervenirde façonexplicite letravailde conversiondu guideenrègle deréécriture.Ce travailn'estpour autantpastrivial, commenousl'avons vusur notreexempled'annotation syntaxique.

4.2Miseen oeuvre

Laméthodologied'annotation agiledécrite ci-dessuscoûtecher etnepeut probablementpas êtreappliquéetout aulongd'une campagnedegrande envergure.Cependant,il estpossible (et souhaitable)dela mettreenoeuvre lorsdela phasedepréparation dela campagne,enparticulier

633c?ATALA

!(%0

1((%"(*

12)%(-

1((%"(*

3"#$%

1((%"(*

4'()"*

/56 #56

7#*%898/'"(

7#*%898/'"(

;<3=%* ;<3=%* #56 FIGURE3-Une itérationduprocessus d'annotationagile

lorsdela miseau pointduguide, réaliséeenparallèle del'annotationd'une mini-référence(Fort,

2012).Sila mini-référencese doitd'êtrereprésentative ducorpus,sa taillevalargement dépendre

descontraintespratiques delacampagne (coût,disponibilitédes experts).Il enva demêmepour lenombred'itérations ducycled'annotation agile. Pendantlaphasede production,durantlaquelle lesannotateurstravaillent surl'ensembledu corpus,cetteméthodologie peutsa nsdoute continueràêtre utilisée,maisavecuneduréede cyclebea ucouppluslongue.Lerepéraged'erreursparréécrituredegraphesest alorsunoutil

supplémentaire(encomplément d'uneévaluationrégulière, voir,là encore,(F ort,2012))pour le

gestionnairedela campagne,qui luipermetd'être alertéauplus tôtencas deproblèmedans l'annotation.

5Conclusionet perspectives

Nousavonsproposé uneméthodologiepermettant d'assisterl'annotationagile lorsd'unecam-

pagned'annotation,à l'aided'un outilderéécriture degraphes.Si nousavonsobtenu desrésultats

intéressantslorsdes expériencesprésentées ici,ilreste àvérifierl'utilisabilité dusystèmedans le

cadred'unecampagne d'annotationréelle, c'est-à-diredel'intégrer dansuncycle d'annotation. Nouscomptonsdonc appliquercetteméthodologie danslesmois quiviennent,pour lacréation delamini-référence etlamise aupoint duguide,dans lecadred'une campagned'annotationen dépendancessyntaxiquesprofondes ducorpus Sequoia. Pourd'autrestypesdecampagnes d'annotation(parexemple, sémantiqueoudiscursive), la réécrituredegraphes n'estsans doutepasl'outil leplusadapté. Pourautant, uneassistanceà l'aided'outilsT AL,même frustres,pourraitprofiteràl'annotationagile, dontleprincipal écueil estlecoût.

634c?ATALA

Remerciements

Noustenonsà remercierFlorianBesnard, étudiantàl'École desMinesde Nancy, quiaparticipé lorsdeson stageàla conversiond'unepartie duguideen règlesderéécriture.

Références

ABEILLÉ,A.,CLÉMENT,L.et TOUSSENEL,F. (2003).Buildingatreebankfor French.InABEILLÉ,A., éditeur:Treebanks,pages165 -187.Kluwer, Dordrecht. ALEX,B.,GROVER,C.,SHEN,R.et KABADJOV,M.(2010). Agilecorpusannotation inpractice: An overviewofmanual andautomaticannotation ofCVs.InProceedingsof theF ourthLinguistic AnnotationWorkshop (LAW),pages29-37, Uppsala,Suède. AssociationforComputational

Linguistics.

CANDITO,M.,CRABBÉ,B.et FALCO,M.(2009). Dépendancessyntaxiquesde surfacepourle français.Rapporttechnique, UniversitéP aris7. CANDITO,M.et SEDDAH,D.(2012). LecorpusSequoia :annotationsyntaxique etexploitation pourl'adaptationd'analyseur parpontlexical. InActesde Traitement AutomatiquedesLangues

Naturelles(TALN) ,Grenoble,France.

FORT,K.(2012). Lesressourcesannotées, unenjeu pourl'analysede contenu:vers uneméthodologie del'annotationmanuelle decorpus.Thèsede doctorat,UniversitéP arisXIII,LIPN, INIST-CNRS. GUILLAUME,B.,BONFANTE,G.,MASSON,P., MOREY,M.et PERRIER,G.(2012). Grew:un outilde réécrituredegraphes pourle TAL.InActesde Conférenceannuelle surleT raitementAutomatique desLangues(T ALN),Grenoble,France. NÉDELLEC,C.,BESSIÈRES,P., BOSSY,R.,KOTOUJANSKY,A.et MANINE,A.-P. (2006).Annotationgui- delinesformachine learning-basednamed entityrecognitionin microbiology.InetC.NÉDELLEC, M.H.,éditeur :Proceedingsofthe Dataand textminingin integrativebiologywor kshop ,pages

40-54,Berlin,Allemagne.

REIDSMA,D.et CARLETTA,J.(2008). Reliabilitymeasurement withoutlimits. Computational

Linguistics,34(3):319-326.

SAMPSON,G.(2000). Theroleof taxonomyinlanguage engineering.PhilosophicalTransactions of theRoyal SocietyofLondon.SeriesA:Mathematical, PhysicalandEngineering Sciences,358(1769):

1339-1355.

SCOTT,D.,BARONE,R.et KOELING,R.(2012). Corpusannotationas ascientifictask. In InternationalConferenceon LanguageR esourcesandEvaluation ,Istanbul,T urquie. VOORMANN,H.et GUT,U.(2008). Agilecorpuscreation. CorpusLinguisticsand LinguisticTheory,

4(2):235-251.

635c?ATALA

quotesdbs_dbs18.pdfusesText_24