Multimodaalse diskursuse analüüs

Peamised teadusdistsipliinid jätsid pikka aega tähelepanuta inimestevahelise suhtluse multimodaalse olemuse. Uurimisel keskenduti ühele tähendust loovale vahendile (edaspidi ka TLV) uurimisalal (nt keeleteadlane vaatas, kuidas kaks inimest omavahel verbaalselt suhtlevad, kuid ei arvestanud muude TLV-dega, nagu nt kehaliigutused, hingamine või kõnepausid). Kui veel 20. sajandil olid eri valdkondade teadlased ühe TLV spetsialistid ning selliseid vahendeid uuriti sageli lahus, siis nüüd püütakse kõigile tähendust loovatele vahenditele (liiklusmärkidest kuni klassikalise muusikani) ehitada ühte teoreetilist raamistikku (Kress ja Leeuwen, 2001). Just 21. sajandi esimesel kümnendil on hakatud plahvatuslikult huvi tundma suhtluse multimodaalse külje vastu.

Tuntud sotsiaalsemiootik Kay O’Halloran (2011) peab multimodaalsust uurimisalaks (ingl domain of enquiry), kus arendatakse teooriaid ja lähenemisi spetsiifilise multimodaalse uurimistöö jaoks. Bezemer ja Jewitt (2009:180) kirjeldavad multimodaalsust kui „rakenduslikku ala, mitte teooriat“. Multimodaalse diskursuse analüüsiga (edaspidi ka MDA) tegelejad on pärit erinevatest distsipliinidest ning huvitatud, et tundma õppida teiste valdkondade teadmisi, teooriaid ja metodoloogiaid.

21. sajandi algusest peale on ilmunud hulk teoseid ja artikleid, mille pealkirjas või sisus sisaldub sõna multimodaalne. Osa autoreid määratleb ennast otsesõnu multimodaalse diskursuse analüüsiga tegelejateks. Laiemas tähenduses võib MDAga tegelejateks lugeda ka teadlasi, kes püüdlevad oma uurimustes suhtluse terviklikuma analüüsi poole, arvestades, et inimesel on tähenduse loomiseks mitmeid vahendeid (nt suulises suhtluses peale verbaalse väljenduse ka kehaliigutused, lõhn, riietus).

Multimodaalsuse uuringute alusepanijateks peetakse peamiselt sotsiaalsemiootika esindajaid Gunther Kressi (Suurbritannias) ja Theo van Leeuwenit (Austraalias) ning nende töid 1980ndatel ja 1990ndatel. 20. sajandi lõpus ja 21. sajandi alguses hakkasid teadlased ja uurimisrühmad üle maailma ennast määratlema kui MDAga tegelejad. Koolkonniti on kasutusel erinevad mõisted.

Tähendust loovaid vahendeid kutsutakse olenevalt koolkonnast semiootilisteks ressurssideks (ingl semiotic resources), moodusteks (ingl modes) või modaalsusteks (ingl modalities). Gunther Kress ja Theo van Leeuwen ning teisedki autorid (nt Kay O’Halloran, Victor Lim Fei, Sigrid Norris) kasutavad sõnu semiootiline ressurss ja moodus. Semiootiline ressurss on üldisem kategooria kui moodus. Moodus on kasutusel selleks, et eristada semiootilisi ressursse, mis on sotsiaalselt ja kultuuriliselt kujundatud (Kress, 2010). Mooduseks võib nimetada nt keelt kui kõnet ja keelt kui kirja, kujutist (ingl image), liikuvat pilti (ingl moving image), žeste (Kress, 2010:79).

O’Halloran defineerib semiootilised ressursid kui ressursid, mis sensoorsete modaalsuste kaudu ühinevad multimodaalseteks tekstideks, diskursusteks ja sündmusteks, mida kutsutakse omakorda multimodaalseteks nähtusteks (O’Halloran, 2011). Sellisteks semiootilisteks ressurssideks võivad olla nt keel, kujutis, muusika, žestid, arhitektuur. Sensoorsed modaalsused on nt nähtav, kuuldeline, puuteline, lõhna-, maitse- ja kinesteetiline modaalsus.

Jens Allwood (Rootsis) on tuntud multimodaalse diskursuse analüütik, kes esindab Põhja-Euroopa maade koolkonda, kuhu kuuluvad samuti nt Elisabeth Ahlsén, Kristiina Jokinen, Costanza Navarretta ja Patrizia Paggio. Jens Allwood eristab kahte tüüpi modaalsusi: tajumodaalsusi (ingl modalities of perception) ja esiletoomise modaalsusi (ingl modalities of production) (Allwood, 2003:134). Ta ütleb, et inimesed kasutavad modaalsusi informatsiooni jagamiseks ning teevad seda eeskätt kahe peamise esiletoomise mooduse – kõne ja kehaliigutuste abil. Kui põhimodaalsused on nähtav, kuuldeline, puuteline, lõhna- ja maitsemodaalsus, siis allmodaalsustena (ingl submodalities) nimetab Allwood värvi, temperatuuri, kuju ja liigutust, propriotseptsiooni. Allwood ja Ahlsén toetuvad Charles Sanders Peirce’i märgiteooriast pärinevale märkide tüpoloogiale ning leiavad, et ikoon ja indeks on peamiselt mitteverbaalsed (st žestid) ja sümbolid on teostatud nii häälega (ingl vocal verbal) kui ka žestidena (ingl gestural verbal) (Ahlsén ja Allwood, 2013).

Multimodaalse suhtluse uurijad leiavad, et

• inimesed kasutavad semiootilisi ressursse selleks, et luua märke (nt mingi sõna, kehaliigutuse, värvi kasutamine);
• inimestel on võimalik valida, milliseid semiootilisi ressursse mingil ajahetkel mingis olukorras kasutada;
• inimesed konstrueerivad semiootiliste ressursside kasutamisel tähendust;
• semiootilised ressursid on suhtlusolukorras omavahel seotud ning nad loovad koos tähenduse. 

Semiootilisteks ressurssideks on suulises  silmast silma suhtluses nt sõnad, grammatika, kehaliigutused ja -asendid, prosoodilised, paralingvistilised, prokseemilised väljendusvõimalused, riietus, lõhn; kirjalikus suhtluses sõnad, fotod, joonistused, joonised, käekiri, allajoonimine, kujundus, värvid. Semiootiliseks ressursiks võib pidada ka muusikat, liiklusmärke, kinematograafiat, majade arhitektuurilist lahendust linnas, traditsioonilisi roogi. Suuline ja kirjalik suhtlus esinevad mõnes suhtlusolukorras ka koos (nt loengus õppejõud žestikuleerib ja räägib, aga ka kirjutab tahvlile).

Lisaks üldistele diskursusanalüüsi põhimõtetele leiavad multimodaalse diskursuse analüüsiga tegelejad, et

• kõiki semiootilisi ressursse saab ja tuleb uurida;
• semiootilisi ressursse tuleb uurida omavahelistes seostes, sest nad konstrueerivad koos tähendust;
• inimesed konstrueerivad tähenduse semiootiliste ressursside valimise ja paigutuse abil multimodaalses tervikus;
• iga semiootiline ressurss teostab suhtlustegevust omal moel kogu multimodaalses tervikus;
• uurida tuleb ka seda, millised semiootilised ressursid millises olukorras on kasutusel.

Multimodaalse suhtluse uuringuid kasutatakse neljal moel (Bezemer ja Jewitt, 2012):

• tegeletakse semiootiliste ressursside kogumise, dokumenteerimise ja süsteemse kataloogimisega, et koostada semiootiliste ressursside, organiseerituse põhimõtete ja kultuuriliste viidete kogud;
• uuritakse, kuidas inimesed semiootilisi ressursse kindlates kontekstides kasutavad ja kuidas inimesed neist räägivad, neid õigustavad ja kritiseerivad;
• panustatakse uute semiootiliste ressursside avastamisse ja olemasolevate semiootiliste ressursside arendamisse (nt digitaalsed tehnoloogiad ja semiootiliste ressursside disainimine – nt heli);
• panustatakse digitaalsete andmete ja keskkondade uurimismeetoditesse ja analüüsi, pakutakse uusi meetodeid visuaalsete andmete kogumiseks ja analüüsimiseks.

Suulise suhtluse uurijad kasutavad audio- või audiovisuaalsalvestisi. Materjal võib olla n-ö eelnevalt toodetud – tele- ja raadiosaated, filmid, videomaterjal internetis – või autentne ja uurijate endi salvestatud materjal reaalsetest suhtlusolukordadest. Sellised autentsed suhtlusolukorrad on nt vestlused kohvikus, koolitunnid, ajakirjanduslikud intervjuud, arstivisiidid, arhitektide tööalased vestlused. Audiovisuaalse materjali analüüsil jälgitakse auditiivset modaalsust (sh prosoodiat, paralingvistikat, kõnepause) ja visuaalset modaalsust (nt liigutusi, ruumi kasutamist e prokseemikat, puudutust, esemete kasutamist). Käesolev õppematerjal on mõeldud audiovisuaalse materjali kirjeldamise ja analüüsimise õppimiseks. Siin jäävad käsitlemata võimalused nt lõhna ja maitse analüüsimiseks.

Ülikoolide juures töötavad uurimisrühmad koguvad audio- ja audiovisuaalse materjali korpustesse. Nii on näiteks Põhja-Euroopas tuntud Põhjamaade Multimodaalse Korpuse Analüüsi NOMCO projekt, mille juht on Jens Allwood. Projektiga on seotud Göteborgi, Helsingi ja Kopenhaageni ülikool. Projekti eesmärgiks on tegeleda suulise suhtluse korpuse arendamise ja analüüsiga. Korpus koosneb inimestevahelise või inimese ja arvuti vahelise suhtluse salvestistest, mis on tarkvara abil mitmel tasandil märgendatud. Korpus võimaldab uurida käežeste, pealiigutusi, miimikat ja kehaasendeid silmast silma suhtluses. Üks korpuse põhilisi eesmärke on arendada multimodaalse suhtluse mudeleid, et disainida suhtlevaid roboteid ja arendada õppimisvõimelisi tehnoloogiaid (ingl machine learning technologies). Multimodaalset korpust luuakse taani, rootsi, soome ja eesti keeles.

Eestis loodi Tartu Ülikooli juures 2009. aastal multimodaalse suhtluse uurimise grupp (MUSU). Uurimisrühm alustas 2009. aastal interaktiivsete suhtlussituatsioonide korpuse (ISU) loomist. Korpus sisaldab nt audiovisuaalseid materjale koolitundidest, vestlusi vanausulistega Peipsi ääres, suhtlusolukordi Patau sündroomiga inimesega, kelle kõnevõime on kahjustatud. Korpus ei ole avalik, sest see sisaldab isikute eraelu puudutavaid andmeid.

Audio- ja audiovisuaalse materjali märgendamiseks on arendatud tarkvara, nt ELAN, TRANSANA, ANVIL. Need programmid võimaldavad vaadata videot korduvalt video käiku aeglustades või uuesti algusesse pöörates. Näiteks vabavarana saadavas programmis ELAN saab sisestada konkreetse märgi teostuse hetke sünkroonselt videopildiga. See tähendab, et videopildi all on märgendusrida, kuhu on võimalik märkida ajalise täpsusega nt mingisuguse fraasi lausumise algus ja lõpp. Kui video käivitada, siis hakkab ka märgendusreal liikuv joon näitama, milline konkreetne suhtlustegevus parajasti toimub.

Audiovideomaterjali märgendamiseks jälgitakse iga semiootilise ressursi kasutamist eraldi. Näiteks märgendatakse kõigepealt sõnad, siis märgendatakse rõhutatavad kohad, seejärel kõnepausid, siis käeliigutused jne. Iga semiootilise ressursi märgendamise jaoks lisatakse märgendusalale uus rida. Märgendamise täpsusaste sõltub uurimisküsimusest. Näiteks võib kirjeldada eraldi ridadel ühe ja teise käe liikumist ning eristada ühe žesti puhul mitut žesti teostamise etappi. Samuti on võimalik kirjeldada kogu žesti, mis on teostatud mõlema käega (nt käte laiutamine).

Semiootiliste ressursside integreeritud esituseks paberkandjal kasutatakse ka vestlusanalüüsi transkribeerimismeetodit, kus on loodud spetsiaalne märgisüsteem hääle väljendusvõimaluste ülesmärkimiseks. Kehaliigutused ja ‑asendid ning ruumis liikumine märgitakse tavaliselt eraldi topeltsulgudesse (vt lähemalt: vestlusanalüüs). Näiteks Rummo ja Tenjes (2011: 239) artiklis on esitatud Patau sündroomiga 17aastase inimese vestlus oma emaga. Transkriptsioonis on topeltsulgudes kirjeldatud nii kehaliigutused kui ka uurija kommentaarid kõnevõime tugeva kahjustusega noore inimese suhtlustegevuste kohta:

1 E: mis kuupäev täna on
2 N: appil ?
(( Näitab pika nina märki ja naeratab. ))
Tõlge: aprill
3 V: $aprill$
4 E: j(h)aa aga tegelikult mitmes juuni on
5 N: (( Naeratab naljast aru saades, lükkab juukseid üle pea. ))
6 N: (( Keerab korraks natuke pead, näitab, et ta mõtleb. ))
7 E: kuusteist jah
8 E: kuusteist juuni
9 N: (( noogutab ))
(…)

Kehaliigutuste kirjeldamiseks paberkandjal kasutavad uurijad mitmeid viise:

• kirjeldavad liigutusi verbaalselt;
• loovad lühenditega süsteemi kehaliigutuste suuna, kiiruse, ulatuse, korduvuse ja kehaosa teostatud kuju või asendi ülesmärkimiseks;
• esitavad liigutused joonistustena, millele on märgitud nooltega liikumise trajektoor;
• esitavad liigutused fotodena videolt – üksiku foto koos verbaalse kirjeldusega või fotorea järjestikustest kaadritest, foto asemel kasutavad ka joonistust;
• kohandavad viipekeele transkribeerimissüsteemi kuuljate inimeste suhtlusele.

• Suhtlussündmuse kui terviku analüüsi seisukohast on oluline kirjeldada kõikide suhtluses osalejate tegevusi. Osalejate tegevused toimuvad samal ajal ja seetõttu on vaja spetsiaalseid märke. Näiteks Ingerpuu-Rümmeli (2012: 18–19) artiklis on esitatud suhtlusepisood keeletunnist, milles osalevad 10 üliõpilast, üks õpetaja (ja üks filmiv uurija). Tegevuste kattuvuse näitamiseks on kasutatud nurksulgusid (Ingerpuu-Rümmel, 2012: 18–19):

1. Õ: Diana kuidas see järgmine lause on? olgugi?
         ((vaatab H poole ja siis töövihikusse, mida käes hoiab))
2. H: olgugi et see oli lihtsalt eee
3. Õ: [((tõstab pilgu ja vaatab H poole))]
    E: [°suurepärane°
         ((vaatab H ja Õ poole)) ((p käsi lehvitab näo ees edasi-tagasi, küünarnukk lauale toetatud))]
4. Õ: [noo mis sinna sobiks nendest sõnadest?]
         ((pilk püsib H-l))
    E: [((tõstab kätt, mis läheb üle ringutuseks, ja tõmbab käe tagasi))]
5. H: tööpakkumine
         ((vaatab Õ poole))  
6. Õ: [ei aga mis seal peaks nüüd] olema mingi [[selline sõna mille: mille: ee =
         ((koputab v käe sõrmedega avatud vihikusse, pilk liigub ruumis teistele ÜÕ-le))]]
    G: [((näitab pastakaga H vihikus mingit kohta))]
    E:                                                                   [[((hakkab sõrmedega kiiresti vehkima))]]
    Õ: [[= teine sõnapool] liitsõna mis lõpeb sõnaga pärane]]
         ((pilk liigub H-le, v käelaba lõikab 4 korda))
    G: [((näitab pastakaga uuesti H vihikus mingit kohta))]
    E: [[((painutab pöidlaga ükshaaval sõrmi ja tõmbab huuled sissepoole pingule, siis peidab pöidla rusikasse))]]
    D: [((vaatab H poole ja siis Õ poole))]
(…)

Mitme inimese samaaegselt kasutuses olevate semiootiliste ressursside tegevuse esitamine ühtse tekstina on mõnikord peaaegu võimatu. Nii on multimodaalse suhtluse uurijad vahel otsustanud kirjeldada semiootilisi ressursse eraldi ja erinevaid transkribeerimissüsteeme kasutades. Heaks näiteks on Kressi, Jewitti, Ogborni ja Tsatsarelise (2001) teos, milles analüüsitakse loodusteaduse tundi. Kress jt (2001) esitavad mitu tabelit erinevate semiootiliste ressursside kirjeldamiseks ja nende seoste näitamiseks. Sellised semiootiliste ressursside kasutamise samaaegsust näitavad tabelid sisaldavad näiteks

• 1) joonist õpetaja keha asukohast ruumis, 2) tema kehaliigutuste ja –asendite kirjeldust ning 3) õpetaja ja õpilaste verbaalset väljendust (Kress jt, 2001:34);
• 1) õpetaja pilgu ja näoliigutuste kirjeldust, 2) kasutatavate objektide nimetusi, 3) käte ja käsivarte liigutuste jooniseid koos verbaalsete selgitustega (Kress jt, 2001:35);
• 1) mingi tegevuse toimumishetke algusi, 2) mitme inimese liigutuslike tegevuste kirjeldust ja 3) mitme inimese verbaalseid väljendusi (Kress jt, 2001:37).

Semiootilised ressursid võivad transkriptsioonides olla esitatud erineva täpsusastmega olenevalt uurimistöö fookusest. Näiteks O’Hallorani artiklis (2011:17) on esitatud transkriptsioonitabel telesaatest, milles osalevad intervjueerija ja saatekülaline. Selles transkriptsioonitabelis võib näha, kuidas kehaliigutuste kirjeldamisele on pühendatud mitu rida – eraldi rida on pühendatud pilgule, kehaasendile ja žestile. Kaameratöö esitamiseks on kaks rida – kaamera nurk ja kaadri suurus. Kehaliigutustest ja kaameratööst annavad aimu ka transkriptsiooni ülemisel real esitatud fotod kaadritest. Artiklis toodud näites ei tule peale sõnalise väljenduse ja intonatsioonimuutuste (need on esitatud ühe tekstina) esile muud häält puudutavad semiootilised ressursid.

Ruumi kirjeldamise puhul tehakse sageli jooniseid mööbli ja esemete paiknemisest ruumis ning kirjeldatakse verbaalselt suhtluses osalejate liikumist ruumis. Veel tehakse jooniseid inimeste liikumisest ruumis, kus inimese liikumine on märgitud joontega (vt nt Lim Fei, 2011: 289–290). Ingerpuu-Rümmeli (2012:17) artiklis, mis puudutab õppejõu ja üliõpilaste vahelist suhtlemist võõrkeeletunnis, on esitatud õpperuumi plaan koos suhtluses osalejate põhiasukohtadega ja kaamerate asetusega.

Multimodaalse analüüsi terviklikkuse eesmärgil lisatakse materjalidele fotosid, jooniseid või kirjeldusi esemetest, mida inimesed suhtluse ajal kasutavad. Nii on nt Eesti autorid Eva Ingerpuu-Rümmel (2011) ja Krista Mihkels (2013) klassiruumi suhtlust käsitlevas doktoritöös kasutanud transkriptsioonide juures videopildist tehtud fotosid, millel on näha suhtluses osaleja kehaliigutuse toimumise haripunkt.

Multimodaalse diskursuse analüüs on diskursusanalüüsi allharu ja nii kaasneb suuremate uurimistööde (nt doktoritöö, paarisajaleheküljeline teos) koostamisega ka laiema konteksti uurimine ja selle analüüsi esitamine. Näiteks Lim Fei on klassiruumi suhtlust puudutavas doktoritöös kirjutanud ka õppekava analüüsi (Lim Fei, 2011).

Artiklina esitatud juhtumiuuringuid nimetatakse mikroanalüüsiks ning need võimaldavad tuua esile suhtluses olulisi elemente. Näiteks Eesti autorid Rummo ja Tenjes (2011) esitavad artiklis katkendid suhtlusolukordadest Patau sündroomiga inimesega, kellele suhtlusmodaalsuste kasutamine on keerukas. Autorid esitavad artiklis kaks suhtlusepisoodi, milles tulevad selgesti esile Patau sündroomiga inimese „AJA mõistest arusaamise ja mõiste väljendamise võime“ (Rummo ja Tenjes, 2011: 231).

Näidistranskriptsioon vestlussaate põhjal

Üks audiovisuaalse materjali allikaid on telesaated. Stuudios salvestatud vestlussaateid on võimalik transkribeerida tabelina. Õpiobjektis esitatud transkriptsiooninäites on kasutatud lõiku ETV 16. septembri 2014 saatest „Vabariigi kodanikud“.

Tabeli esimeses veerus on rea numbrid, mis on vajalikud selleks, et viidata analüüsi käigus konkreetsele suhtlustegevusele. Teises veerus võib esitada suhtlustegevuste toimumise aja. Aega on võimalik tähistada erineva täpsusastmega ja ka vahemikena. Kolmandas veerus on osalejate nimed, mis on rea poolest kohakuti viienda ja kuuenda veeru suhtlustegevuste kirjeldusega. Neljandas veerus esitatud kuvatõmmistel on võimalik näha staatiliselt inimese kehaliigutusi ja –asendeid, inimeste asukohta ruumis, ruumi kujundust, objekte, kaameratööd jmt. Viiendas veerus on esitatud sõnaline ja hääleline väljendus. Siin on välja toodud just suulisel suhtlemisel kasutatav sõnaline väljendus, mitte kirjas esitatud sõnad. Hääle väljendusvõimalustena võivad viiendas veerus olla kirjeldatud näiteks kõnetempo, rõhud, pausid, hääle kõrguse muutumine jne. Hääle väljendusvõimaluste transkribeerimiseks on võimalik kasutada näiteks Jeffersoni (2004) transkriptsioonimärke. Kuuendas veerus on esitatud kehaliigutuste ja –asendite kirjeldused, mille täpsusaste sõltub uurimisvajadusest ja neljandas veerus nähtavatest tegevustest.

Veerge saab lisada ka n-ö alateemade kaupa. Näiteks võib eristada näo-, käeliigutused ja muud kehaliigutused ning –asendid. Saadetes kasutatava arvutigraafika on võimalik esitada eraldi veerus, kui see ei ole kuvatõmmisel selgesti näha. Stuudiot, objekte, saate formaati puudutava kirjelduse saab kirjutada sidusa tekstina.

Vabariigi kodanikud, 16. septembri 2014 saade – VAATA NÄIDET (pdf).

Ahlsén, E., Allwood, J. (2013). What’s in a gesture. On verbs, nouns, actions and objects as reflected in gestures of persons with and without aphasia. J. Allwood, E. Ahlsén, P. Paggio,  C. Navarretta ja K. Jokinen (toim), NEALT 2012. Proceedings of the 4th Nordic Symposium on Multimodal Communication, Nov. 15-16, Gothenburg, Sweden, (lk 13–20). http://www.ep.liu.se/ecp/093/003/ecp12093003.pdf (kasutatud detsembris 2014)

Allwood, J. (2003). Cooperation and flexibility in multimodal communication.  M. Rector, I. Poggi ja N. Trigo (toim), Gestures. Meaning and Use (Proceedings) (lk 133-142), Oporto: Edições Universidade Fernando Pesso.

Bezemer, J. ja Jewitt, C. (2009). Multimodal analysis: Key issues. L. Litosseliti (toim),

Research Methods in Linguistics (lk 180-197), London, New York: Continuum.

Bezemer, J. ja Jewitt, C. (2012). What is multimodality?

http://eprints.ncrm.ac.uk/2812/ (kasutatud augustis 2014).

Ingerpuu-Rümmel, E. (2012). Teadmise esiletulemine võõrkeeletunni multimodaalses suhtluses / Displaying knowledge in the multimodal communication of a foreign language learning classroom. Eesti ja soome-ugri keeleteaduse ajakiri ESUKA / Journal of Estonian and Finno-Ugric Linguistics JEF, 3 (2), 9–30

http://jeful.ut.ee/public/files/Ingerpuu-Rummel%209-30.pdf (kasutatud novembris 2014).

Kress, G, Jewitt, C.,  Ogborn, J. ja  Tsatsarelis, C. (2001). Multimodal teaching and learning: The rethorics of the science classroom. London, New York: BookEns Ltd, Royston, Herts.

Kress, G. ja Leeuwen, T. van (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold.

Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. London, New York: Taylor and Francis.

Lim Fei, V. (2011). A systemic functional multimodal discourse analysis approach to pedagogic discourse. A thesis submitted for the degree of doctor of philosophy. Department of English Language and Literature. National University of Singapore.

O’Halloran, K. L. (2011). Multimodal discourse analysis. K. Hyland ja B. Paltridge

(toim), Companion to Discourse (lk 120-137). London & New York: Continuum.

http://multimodal-analysis-lab.org/_docs/pubs14-OHalloran(in%20press%202011)-Multimodal_Discourse_Analysis.pdf (kasutatud augustis 2014).

Mihkels, K. (2013). Keel, keha ja kaardikepp: õpetaja algatatud parandussekventside multimodaalne analüüs. Tartu: Tartu Ülikooli Kirjastus.

Rummo, I. ja Tenjes, S. (2011). AJA mõistestamine Patau sündroomiga subjekti suhtluses. Eesti Rakenduslingvistika Ühingu Aastaraamat, 7, 231–247.

Bergmann, K., Aksu, V. ja  Kopp, S. (2011). The Relation of Speech and Gestures: Temporal Synchrony Follows Semantic Synchrony. Proceedings of the 2nd Workshop on Gesture and Speech in Interaction. Bielefeld, Germany.

Ingerpuu-Rümmel, E. (2012). Teadmise esiletulemine võõrkeeletunni multimodaalses suhtluses / Displaying knowledge in the multimodal communication of a foreign language learning classroom. Eesti ja soome-ugri keeleteaduse ajakiri ESUKA / Journal of Estonian and Finno-Ugric Linguistics JEF, 3(2), 9–30

http://jeful.ut.ee/public/files/Ingerpuu-Rummel%209-30.pdf (kasutatud novembris 2014).

Kress, G., Jewitt, C., Ogborn, J. ja Tsatsarelis, C. (2001). Multimodal teaching and learning: The rethorics of the science classroom. London, New York: BookEns Ltd, Royston, Herts.

Kress, G. ja Leeuwen, T. van (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. London: Arnold.

Kress, G. (2010). Multimodality: A Social Semiotic Approach to Contemporary Communication. London, New York: Taylor and Francis.

O’Halloran, K. L. (2011). Multimodal discourse analysis. K. Hyland ja B. Paltridge

(toim), Companion to Discourse (lk 120-137), London and New York: Continuum

http://multimodal-analysis-lab.org/_docs/pubs14-OHalloran(in%20press%202011)-Multimodal_Discourse_Analysis.pdf (kasutatud augustis 2014).

Rummo, I. ja Tenjes, S. (2011). AJA mõistestamine Patau sündroomiga subjekti suhtluses. Eesti Rakenduslingvistika Ühingu Aastaraamat, 7, 231–247.

Tenjes, S., Rummo, I. ja Praakli, K. (2009). Kommunikatiivse situatsiooni dünaamiline dimensioon. H. Metslang, M. Langemets, M.-M. Sepper ja R. Argus (toim) Eesti Rakenduslingvistika Ühingu aastaraamat (lk 267-287), Tallinn: Eesti Keele Sihtasutus.