2.2 Fragmentti 14

: Fragmentti 14, sovitettu Hayles-katkelmasta 12

Ohimennen mainitut kysymykset ovat tässä opinnäytteessä useasti osoittautuneet tärkeiksi. Tässä vastineessani fragmentti 14:ään käsittelenkin lukemista, aihetta, joka näyttää olevan toissijainen DAR:n sovituksessa, mutta – mielenkiintoista kyllä – keskeinen tämänkertaisessa Hayles-katkelmassa (ks. sovitettu Hayles-katkelmasta 12). Ajatusviivojen sisällä DAR ottaa esille ”yhdessä synteettisten äänten kanssa lukemisen”. Tällä hän viittaa tutkimuksen ensimmäisessä taiteellisessa osassa, love.abz:ssä, harjoiteltuihin ja esitettyihin lukemisen käytäntöihin, joissa inhimilliset esiintyjät tekevät yhteistyötä digitaalisten kanssaesiintyjiensä (tässä tapauksessa synteettisten äänten) kanssa uusien tai aiemmin luotujen draamallisten tekstien lukemisessa.

Tämä on kuitenkin vain yksi esimerkki tämän tutkimuksen puitteissa harjoitetuista ja esitetyistä lukemisen käytännöistä kuten tämän opinnäytteen edellisistä osista käy ilmi. Ottaen mallia DAR:stä ja Haylesistä haluan nyt keskittyä nimenomaan lukemiseen. Taustalla on ajatus, että lukeminen ja kirjoittaminen ovat itse asiassa erottamattomia tehtäviä love.abz:ssä ja yleisemminkin.

Ensimmäinen taiteellinen osa: love.abz (Kiasma-teatteri, 2013)

Video 2.2.1 FI. Ensimmäisen taiteellisen osan love.abz:n esittely. Ks. myös love.abz produktiotiedot.

Kuten yllä olevasta esittelyvideosta ilmenee, lukeminen on love.abz:ssä kehittämämme kirjoitusmetodin ytimessä, sillä esiintyjät kirjoittavat suhteessa koneavusteisesti tai itsenäisesti lukemiinsa heräteteksteihin (nähdäksesi esimerkin tällaisesta herätetekstistä ks. video 2.2.2). Kuten video 2.2.1 FI:ssä mainitaan, esityksessä heräteteksteinä toimivat suomenkielisestä näytelmästäni Rakkauden ABZ:sta (Huopaniemi 2015FI) koneellisesti edestakaisin käännetyt eli luupatut fragmentit. (Toisessa taiteellisessa osassa (love.abz)³:ssa heräteteksteinä taas toimivat esiintyjien harjoituksissa kirjoittamien tekstifragmenttien luupatut versiot, jotka ovat jo huomattavasti etäämmällä prosessin tekstuaalisesta lähtöpisteestä eli näytelmästäni, ks. 3.4).

Video 2.2.2 Esimerkki ensimmäisessä taiteellisessa osassa love.abz:ssä käytetystä herätetekstistä.

Esityksellisen tilanteen hahmottamiseksi on olennaista huomata, että herätetekstit esitetään ennen kirjoittamista joko pelkästään synteettisten äänten tai sekä synteettisten että inhimillisten äänten toimesta. Esityksissä kirjoitetut draamalliset fragmentit niin ikään luetaan heti kirjoittamisen jälkeen (love.abz:ssä tietokoneen ja (love.abz)³:ssa inhimillisten esiintyjien toimesta). Lukeminen ja kirjoittaminen muodostavat näin ollen syklisen ryhmäkäännösprosessin, jossa valitusta alkupisteestä lähtien synnytetään yhä uusia käännöksiä ja uudelleenkirjoituksia. Prosessi rinnastuu siihen, mitä Lori Emerson kutsuu kirjoittaminenlukemiseksi (vrt. engl. readingwriting): ”Verkon kautta kirjoittamisen käytäntö, verkon, joka seuratessaan, indeksoidessaan ja algoritmisoidessaan jokaisen klikkauksen ja jokaisen tekstinpalasen jonka siihen syötämme itse jatkuvasti lukee kirjoitustamme ja kirjoittaa lukemistamme” (Emerson 2014, xiv). Edellyttäen että esityksellinen rakenne pysyy ennallaan, tämä prosessi voi jatkua loputtomiin.

Mukautuva lukeminen

Millaista mainittu esityksellinen lukeminen on? Miten se vertautuu muunlaiseen lukemiseen? Onko kyseessä inhimillinen vai koneellinen lukemisen muoto? Vai jokin niiden sekamuoto?

Kuvaan taiteellisissa osissa harjoitettua esityksellistä lukemista yksityiskohtaisemmin 2.7:ssä. Tässä yhteydessä haluan sen sijaan esittää siitä muutamia yleisempiä huomioita Haylesin lukemista koskevan pohdinnan valossa. Kirjansa kolmannessa luvussa ”How We Read: Close, Hyper, Machine” (”Miten luemme: lähi, hyper, kone”) Hayles nimittäin tarjoaa välineitä näiden ja muiden lukemista koskevien kysymysten käsittelemiseen.

Haylesin tarkastelun lähtökohta on digitaalisen median vaikutus lukemiseen aikana, jolloin – ainakin kehittynyttä teknologiaa omaavissa yhteisöissä – luetaan enemmän erilaisilta näytöiltä kuin koskaan aikaisemmin. Miten lisääntynyt digitaalinen lukeminen on muutettavissa lisääntyneeksi yleislukukyvyksi, Hayles kysyy. Taustalla on tutkimusten osoittama lukemisen kriisi, tarkemmin ottaen se että painetun tekstin lukeminen vähenee ja luetun ymmärtäminen heikkenee. (Hayles 2012, 55–56.)

Vastatakseen näiden muutosten aiheuttamaan haasteeseen Hayles kysyy, miten rakennamme sillan lisääntyneen (ja oletettavasti parantuneen) digitaalisen lukemisen ja painetun median lukemisen välillä. Lähiluvulla (engl. close reading) Hayles viittaa keskittyneeseen, suhteellisen pitkäkestoiseen, yksityiskohtaiseen lukemiseen, joka opitaan (painettujen) tekstien lukemisen – toisin sanoen harjoittelun – kautta. Lähiluku muodostaa lukemisen perinteisen perustan niin humanistisissa tieteissä kuin taiteen tutkimuksessakin (ja tietysti monin paikoin myös taiteellisessa tutkimuksessa). (Hayles 2012, 57–59.)

Hyperlukemisella Hayles taas tarkoittaa lukijaohjattua, näytöltä tapahtuvaa, tietokoneavusteista lukemista. Käytännössä aina kun etsimme tietoa internetistä tai muusta digitaalisesta verkosta harjoitamme hyperlukemista. Haylesin mainitsemia hyperlukemisen muotoja ovat hakukonehaut, avainsanoilla siivilöiminen, hyperlinkit, lukaiseminen, ”näykkiminen” (yksittäisten katkelmien poimiminen pidemmästä tekstistä), pirstominen, rinnastaminen (usean ikkunan auki pitäminen yhtä aikaa mahdollistaen poikkilukemisen eri tekstien välillä) ja skannaaminen (selaaminen, lähellä lukaisemista). (Hayles 2012, 61.)

Hayles muistuttaa, että hyperlukeminen on opittava taito siinä missä lähilukukin. Se stimuloi eri aivotoimintoja kuin painetun tekstin lukeminen. Hyperlukemisessa lukemisesta tulee pikemminkin päätöksentekotilanne, sillä näytöltä lukiessamme olemme jatkuvasti näennäisen pienten mutta seurauksiltaan merkittävien valintojen äärellä: yhdenkin klikkauksen myötä saatamme menettää (ainakin hetkellisesti) yhteyden lukemaamme tekstiin ja joutua kasvotusten täysin toisenlaisen sisällön kanssa. (Hayles 2012, 62.)

Kukaties seurauksena tästä suuremmasta suhteellisesta muutosalttiudesta ja nopeatempoisuudesta hyperlukeminen on usein huolimatonta, huomion ylläpitäminen kun vaatii hypertekstuaalisessa ympäristössä huomattavaa itsekuria. Lisäksi tutkimukset ovat osoittaneet, että hyperlukeminen ei välttämättä asetu ongelmattomasti lähilukemisen rinnalle, mikä liittyy siihen tapaan jolla se koulii tai mukauttaa aivojamme (ks. 2.1). Jatkuvassa päätöksentekotilassa oleminen kehittää työmuistiamme, ja meistä tulee entistä tehokkaampia mikrotason päätöksentekijöitä. Hyperlukeminen ei kuitenkaan välttämättä tue samalla tavalla tiedon pitkäkestoista omaksumista, pitkäkestoista muistia. Hyperlukeminen saattaa näin ollen muuttaa aivojen rakennetta tavalla, joka itse asiassa tekee lähiluvusta vaikeampaa (mikä liittyy myös tapaan jolla se muuttaa lukemisen lineaarisuutta). (Hayles 2012, 62.)

Näistä vakavasti otettavista riskeistä huolimatta Hayles peräänkuuluttaa laajempaa lukustrategioiden valikoimaa, joka kattaisi niin lähiluvun kuin hyperlukemisenkin muodot ja joka mahdollistaisi niiden keskinäisten suhteiden entistä paremman hahmottamisen ja hallitsemisen. Hyperlukeminen on tullut jäädäkseen ja monin paikoin siitä on tullut normi. Haylesin mukaan se on strateginen reaktio informaatiokyllästeiseen mediaympäristöömme ja palvelee toisenlaisia tarkoitusperiä kuin lähiluku. (Hayles 2012, 61.)

Hybridilukeminen

love.abz/(love.abz)³:ssa (2.2FI1) harjoitettu esityksellisen lukemisen käytäntö on lähiluvun ja hyperlukemisen sekamuoto, sillä se yhdistää keskittyneen, sisäistävän lukemisen näytöltä tapahtuvaan nopeampaan näykkimiseen, herätteiden paikantamiseen. Kannustan esiintyjiä etsimään teksteistä jotakin, vaikka miten pienen yksityiskohdan tahansa, joka ruokkii heidän kirjoittamistaan – sen sijaan, että yrittäisivät ottaa (usein vaikeaselkoisia, epämuodostuneita) tekstejä kokonaisuudessaan haltuun. Näin ollen sysään heitä hyperlukemisen suuntaan. Sisäistämättä mitään henkilökohtaisesti merkityksellistä esiintyjät tuskin kuitenkaan pystyisivät kirjoittamaan heräteteksteistä, mistä syystä tämä lukemisen-kirjoittamisen käytäntö pysyy lähiluvun tuntumassa (2.2FI2).

Tässä käytännössä voi myös olla piirteitä kolmannesta Haylesin käsittelemästä lukemisen muodosta, konelukemisesta, lukevathan esiintyjät monessa tapauksessa yhdessä koneen synteettisten lukijaäänten kanssa, vaikkakaan eivät yleensä samanaikaisesti. Konelukemisella Hayles tosin tarkoittaa ihmisen avustamaa konelukemista erotukseksi hyperlukemisesta, joka on koneavusteista inhimillistä lukemista (jälkimmäisen soveltuessa paremmin tämän tutkimuksen taiteellisten osien tarkasteluun). (Hayles 2012, 70.) Näin ollen minun projektini vain sivuaa konelukemista, aluetta jonka esityksellistä potentiaalia on syytä tutkia tarkemmin tulevaisuudessa.

Varsinaisessa konelukemisessa algoritmeja käytetään analysoimaan inhimillisen käsityskyvyn ylittävien tekstipaljouksien kaavoja tai malleja. Yksinkertaisimmillaan tämä voi tarkoittaa sanafrekvenssien eli sanojen määrällisten esiintymisten laskemista annetusta tekstistä tai tekstijoukoista. Kehittyneemmissä konelukemisen muodoissa etsitään ja verrataan fraaseja ja aiheklustereita. Tehokkaampi luonnollisten kielten prosessointi sekä koneoppimisen ja todennäköisyyspohjaisen päättelyn kehittyminen ovat mahdollistaneet konelukemisen entistä laajemman käytön, ja sen muodot kehittyvät edelleen sitä mukaa kun algoritmit muuttuvat entistä oppimiskykyisemmiksi ja monikäyttöisemmiksi. (Hayles 2012, 70.) Digitaalisen taiteellisen tutkimuksen kontekstissa kysymys kuuluu, voidaanko konelukemista soveltaa taiteellisen tutkimuksen tekoon – ja jos, niin miten.

Viitteet

2.2FI1
Käytän tutkimuksen taiteellisista osista yhteisnimitystä love.abz/(love.abz)³ silloin, kun viittaan niiden yhteisiin piirteisiin tai osiin.

2.2FI2
Väitöstutkimuksessaan ”Reading Digital Poetry – Interface, Interaction, and Interpretation” Matti Kangaskoski ehdottaa lähi- ja hyperlukemisen leikkisää yhdistämistä. Kangaskoskelle ”hyperlähilukeminen” ja ”lähihyperlukeminen” viittaavat lukemiseen, joka tutkii hyperlukemista läheltä. (Kangaskoski 2017, 68.)

love.abz produktiotiedot
Työryhmä: Otso Huopaniemi (suunnittelu ja toteutus), Anna Maria Häkkinen (esitys), Leo Kirjonen (esitys), Alexander Komlosi (esitys), Teemu Miettinen (esitys), Heikki Paasonen (tila- ja valosuunnittelu), Joonas Pehrsson (äänisuunnittelu)
Esityspaikka: Kiasma-teatteri, Helsinki
Esitysajankohta: helmi-maaliskuu 2013
Esityskielet: suomi, englanti
Rahoitus: Taideyliopiston Teatterikorkeakoulu, Suomen Kulttuurirahaston Uudenmaan maakuntarahasto, Samuel Huberin Taidesäätiö ja Taiteen edistämiskeskus

2.2 Fragment 14

: Fragment 14, adapted from Hayles passage 12

Issues mentioned in passing have proven to be of importance in this thesis. In this response to fragment 14, I deal with reading, a topic secondary in DAR’s adaptation, but—interestingly enough—central to the corresponding Hayles passage (see adapted from Hayles passage 12). Within dashes DAR brings up the act of “reading along with synthetic voices.” By this, they make reference to reading practices rehearsed and performed in love.abz, the first artistic part of this research, in which human performers collaborate with their digital co-actors (synthetic voices, in this case) in the reading of new or previously created dramatic texts.

However, this is only one example of a reading practice rehearsed and performed within the framework of this research, as the preceding parts of this thesis indicate. Taking my cue from DAR and Hayles, I would now like to focus specifically on reading. The underlying idea is that reading and writing are in fact inseparable tasks in love.abz and more generally.

First artistic part: love.abz (Kiasma Theater, 2013)

Video 2.2.1 EN. Introduction to first artistic part, love.abz. See also love.abz production info.

As the introductory video above demonstrates, reading is at the heart of the writing method developed in love.abz, as the performers write in relation to stimulus texts that they read either independently or in tandem with a computer (for an example of such a stimulus text, see video 2.2.2). As is mentioned in video 2.2.1 EN, these stimulus texts are algorithmically back-and-forth translated or looped fragments of my Finnish-language play Rakkauden ABZ (“An ABZ of Love”) (Huopaniemi 2015EN). (In the second artistic part, (love.abz)³, we instead use looped versions of texts created in rehearsals by the performers themselves, texts that are, for this reason, already significantly further removed from the textual starting point of the process, my play.)

Video 2.2.2 An example of a stimulus text used in the first artistic part, love.abz.

To picture the performance situation, it is essential to note that the stimulus texts are presented before the writing, either by the human performers alone or in collaboration with the synthetic voices. The text fragments created in the performances are also read, immediately after the writing (by computer voices in love.abz and by the human performers in (love.abz)³). Reading and writing therefore form a cyclical group translation process, in which more and more translations and rewrites are created from the chosen starting point. This relates to what Lori Emerson calls readingwriting: “The practice of writing through the network, which as it tracks, indexes, and algorithmizes every click and every bit of text we enter into the network, is itself constantly reading our writing and writing our reading” (Emerson 2014, xiv). Provided that the performative structure stays intact, this process can go on endlessly.

Adaptive Reading

What sort of performative reading is the aforementioned? How does it compare to other types of reading? Is it a human or machinic form of reading? Or a hybrid?

I describe in more detail the performative reading practiced in the artistic parts of this research in section 2.7. Here, instead, I would like to point out a few more general considerations in light of the discussion on reading in Hayles. In the third chapter of her book, “How We Read: Close, Hyper, Machine,” Hayles offers tools for reflecting on these and other questions concerning reading.

The starting point of Hayles’s examination is the impact of digital media on reading at a time when—at least in communities possessing advanced technology—more reading is happening off of different kinds of screens than ever before. Hayles’s concern is, how increased digital reading can be turned into better overall literacy. The crisis of reading shown by studies—or more specifically, the decrease in reading of print media, and the decline in reading comprehension—is the immediate backdrop here. (Hayles 2012, 55–56)

In order to meet the challenge these changes pose, Hayles asks how to bridge between increased (and presumably improved) digital reading and print literacy. By close reading she refers to focused, relatively long-term, detailed reading that is learned through the reading of (printed) texts, through practice that is. Close reading forms the traditional basis of reading for the arts and humanities (and, of course, in many cases for artistic research). (Hayles 2012, 57–59)

Hyper reading, on the other hand, is reader-controlled, screenic, computer-assisted reading. In practice, whenever we are searching for information on the Internet or some other digital network we are hyper reading. Among the examples of this form of reading that Hayles cites are search engine queries, filtering using a keyword, hyperlinking, skimming, “pecking” (picking individual snippets from a longer text), fragmenting, juxtaposing (keeping multiple windows open at the same time while cross-reading between different texts), and scanning (close to skimming). (Hayles 2012, 61).

Hayles points out that hyper reading, like close reading, is a skill that must be learned. It stimulates different brain functions than the reading of printed text. In hyper reading, reading is rather a decision-making situation. When reading from a screen we are constantly confronted with apparently small and yet significant choices: one click might banish (at least momentarily) the connection we have with the text we are reading and cause us to be confronted with content of a totally different nature. (Hayles 2012, 62)

Perhaps as a result of this higher relative mutability and fast tempo, hyper reading is often sloppy, as maintaining attention in a hypertext environment requires considerable self-discipline. In addition, studies have shown that hyper reading does not necessarily work well in conjunction with close reading, due to the manner in which it retrains or repurposes our brains (see 2.1). Being in constant decision-making mode develops our working memory. We become more efficient micro-level decision-makers. Hyper reading does not, however, necessarily support long-term acquisition of knowledge, long-term memory, in the same manner. Hyper reading may thus alter the structure of the brain in a way that actually makes close reading more difficult (which is also related to the way it changes the linearity of reading). (Hayles 2012, 62)

Despite these risks—which are obviously to be taken seriously—Hayles calls for a wider range of reading strategies, covering both forms of close reading and hyper reading, that would allow for a better understanding and command of their mutual relations. Hyper reading is here to stay, and in many instances it has become the norm. For Hayles, it is a strategic reaction to our information-laden media environment, one that serves different purposes than close reading. (Hayles 2012, 61)

Hybrid Reading

The practice of performative reading in love.abz/(love.abz)³(2.2EN1) is a cross between close and hyper reading, as it combines focused, internalizing reading with faster screenic “pecking,” pinpointing stimuli. I encourage the performers to look for something in the (often arcane, deformed) texts—no matter how small a detail—that feeds their writing, instead of trying to get a grip of their entirety, thus pushing them more in the direction of hyper reading. Without having internalized something of personal significance from the texts, however, the performers would hardly be able to write from them, which is why this reading-writing practice remains in the vicinity of close reading (2.2EN2).

In this practice, there may also be features of the third type of reading Hayles deals with, machine reading, as the performers often read with the synthetic voices of the computer, although usually not in unison. However, by machine reading Hayles refers to human-assisted machine reading in contrast to hyper reading, which is machine-assisted human reading (the latter pertaining more to the artistic parts of this research). (Hayles 2012, 70) My project, therefore, only touches on machine reading, an area whose performative potential needs to be explored further in the future.

In machine reading proper, algorithms are used to analyze patterns and models in text quantities that are too large for human comprehension. At its simplest, this can be the calculating of word frequencies in a given text or sets of texts. In more advanced forms of machine reading, phrases and subject clusters are searched for and compared. More efficient natural language processing, along with developments in computer learning and probabilistic reasoning have allowed for wider use of machine reading, and its forms continue to evolve as algorithms acquire further learning capacities and become more versatile. (Hayles 2012, 70) In the context of digital artistic research, the question arises whether machine reading can be used for the purposes of artistic research and, if so, how.

Notes

2.2EN1
When referring to features or parts present in both, I use the common name love.abz/(love.abz)³ of the artistic parts of the research.

2.2EN2
In “Reading Digital Poetry—Interface, Interaction, and Interpretation,” Matti Kangaskoski suggests the playful conflation of close and hyper reading. For Kangaskoski, “hyper close reading” and “close hyper reading” “designate a reading that investigates the performance of hyper reading closely.” (Kangaskoski 2017EN, 68)

love.abz production info
Working group: Otso Huopaniemi (concept and direction), Anna Maria Häkkinen (performance), Leo Kirjonen (performance), Alexander Komlósi (performance), Teemu Miettinen (performance), Heikki Paasonen (spatial and lighting design), Joonas Pehrsson (sound design)
Venue: Kiasma Theater, Helsinki, Finland
Performance dates: February-March 2013
Languages: English, Finnish
Supported by: University of Arts Helsinki (Theatre Academy), Finnish Cultural Foundation, Uusimaa Regional Fund, Samuel Huber Art Foundation and the Arts Promotion Center Finland