Artikkelissa tarkastellaan verbaalisen ja visuaalisen kielen yhteistyötä audiovisuaalisessa multisemioottisessa tekstissä. Tarkastelun kohteena on 40 haastattelu-uutista, jotka on lähetetty Yleisradion puoli yhdeksän uutisissa. Haastattelu-uutisesta analysoidaan tarkemmin uutistoimittajan puhumaa selostusta ja sen oheista kuvaa – jaksoa, joka edeltää haastateltavan puhetta kuvatilassa. Aihetta lähestytään teoreettisesti ja metodologisesti systeemis-funktionaalisen (SF) kieliteorian ja siihen läheisesti liittyvän visuaalisen suunnittelun kieliopin keinoin. Artikkelissa keskitytään SFteorian metafunktioista tekstuaalisuuteen ja vastaavasti visuaalisen suunnittelun kieliopin sommitteluun.
Analyysi osoittaa, että televisiouutisten verbaalinen ja visuaalinen kieli toimivat saumattomassa yhteistyössä siten, että molemmilla on omat tehtävänsä. Verbaalinen kieli välittää pääosin informaation, mutta kohtauksen kuvalla on merkityksenannossa keskeinen asema. Informaationkulussa verbaalisen informaatioyksikön teema–reema-rakenteen vaihtelu lankeaa yksiin visuaalisen informaatioyksikön tutun ja uuden kanssa, kun kuvassa havainnollistetaan viestiä käyttämällä sommittelun rajausta. Jos selostuksen teema–reema-rakenteen aikana kuvassa esiintyy kohde, jolla on visuaalista huomioarvoa, kuvan elementit korostavat sitä toistamalla mainitun teeman aihetta, mutta reeman sanomaa ei erikseen visualisoida. Multisemioottisessa, audiovisuaalisessa tekstissä voidaan verbaalisen kielen leksikaalisen koheesion ohella puhua visuaalisesta koheesiosta. Kuvan sommittelussa käytetään toistoa fokusoimalla samoja kuvaelementtejä ja rajataan eri osia kokonaisuuksista. Yhdeksi haastatteluuutisen erityispiirteeksi osoittautuu demonstratiivipronomini tämä, erityisesti paikallissijaiset muodot tässä ja tästä. Demonstratiivin korrelaatti voi audiovisuaalisen tekstin sisällä sijaita paitsi verbaalisessa selostuksessa myös suoraan kuvan elementissä tai toiminnossa, jota korostetaan rajauksella.
Artikkeli osoittaa, että television haastattelu-uutinen on konventionaalinen ja professionaalinen teksti, joka on rakenteeltaan vakiintunut. Sen välttämättömiä rakenneosia ovat uutistenlukijan ingressistä ja toimittajan puheen sanan ja liikkuvan kuvan yhteistyössä muodostuvat jaksot, jotka päättyvät studion ulkopuolisessa tilassa toteutettuun haastatteluun. Jaksot rakentuvat pienistä yksityiskohdista, joilla jokaisella on merkityksensä ja funktionsa uutiskokonaisuudessa.
Forming the structure of a multisemiotic text: analysis of televised news interviews
This article deals with the fusion of verbal and visual language in audiovisual and multisemiotic texts. The analysis focuses on forty news interviews broadcast during the eight-thirty evening news on Yleisradio (the Finnish Broadcasting Company). The reporter’s speech and its enclosed frame, i.e. the sequence which precedes the interviewer’s speech, are here analysed in close detail. The subject is approached theoretically and methodically using the principles of of systemic-functional grammar (SF) and of the closely related theory of visual design grammar. This article focuses on the textuality of SF theory’s metafunctions and on the design of visual design grammar respectively.
The analysis shows that both the verbal and visual language of a news broadcast function in collaboration, both having their own unique roles. The verbal language is mainly responsible for transmitting information, whereas the associated visual scenes also play a major part in providing meaning. Within the flow of information, the interplay of the theme and rheme is also manifested on screen, whereby new information presented verbally is subsequently represented visually as new elements that can be highlighted and topicalised through the judicious use of framing and cropping. If a visually noteworthy element appears during the theme-and-rheme structure of the narrative, the elements of the enclosed frame indicate the subject of a given theme by repeating it. The rheme message is not separately visualised. When discussing the audiovisual text, we can talk not only about the lexical cohesion of verbal language but also about visual cohesion. In composing enclosed frames, for instance, repetition can be used in focusing the same visual elements or cropping out certain parts of a wider picture. A specific characteristic of the verbal language in news interviews seems to be the use the demonstrative pronoun tämä (‘this’) and especially the use of its local cases tässä (‘here’) and tästä (‘from here/about this’).
In an audiovisual text, the antecedent of the demonstrative pronoun can be located not only in the narrative but also directly within the elements of the enclosed frame or in functions highlighted in the enclosed frame by framing. The article shows that television news interviews form a conventional and professional text with an established structure. Their essential parts are the periods that consist of the newsreader’s introduction, the sequences consisting of the reporter’s words, and the moving images that end up in an interview outside the studio.
A Case Study Color as a Visual Language: Focused on TV Commercial