2.1 Fragmentti 13

Tämän neliosaisen opinnäytetyön toisen osan ensimmäisessä fragmentissa, fragmentti 13:ssa, digitaalinen taiteellinen tutkija (engl. lyhenne DAR) päättää vaihtaa keskustelun suuntaa. Kuten N. Katherine Hayles tekee kirjansa How We Think – Digital Media and Contemporary Technogenesis (2012) toisella sivulla, DAR:kin kääntyy fragmentti 13:ssa tarkastelemaan digitaalisen teknologian käytön vaikutuksia aivojen toimintaan. Tämä teko – Haylesin tekstuaalinen jäljittely – on suoraa jatkoa DAR:n tämän työn ensimmäisessä osassa, Prologissa, aloittamalle Hayles-sovitukselle.

DAR näyttää olevan johdonmukainen yrityksessään seurata Haylesin antamaa mallia etääntyen tästä vain silloin kun hänen taiteellinen praktiikkansa antaa aihetta väliintulolle. Asemapaikastaan Haylesin ja lukijan välillä DAR siten suorittaa ei vain Haylesin uudelleenmuotoilua tai kielensisäistä käännöstä (2.1FI1), vaan uudelleenkirjoitusta tai – ottaakseni jo esiin käsitteen johon palaan hetken kuluttua – uusiokäyttöä. Kuten sanottu, tässä kuten muissakin yhteyksissä DAR lähestyy aihetta (verkottuneiden teknologioiden käytön vaikutuksia aivojen toimintaan) käytännön eli oman praktiikkansa kautta. Niinpä hänen monialainen asiantuntemuksensa asettuu Haylesin eri tavoin monialaisen asiantuntemuksen rinnalle.

Nauru ja muut ruumiilliset vaikutukset

Lähestyäkseni fragmentti 13:a haluan puuttua kahteen sen varhaisemmassa versiossa esiin tulevaan käännösasiaan (vrt. fragmentti 13 vuodelta 2017 kuvassa 2.1.1 olevaan vuodelta 2016 peräisin olevaan versioon). Varhaisemmassa käännösversiossa tulee nimittäin esiin humoristinen yksityiskohta, jonka johdosta on syytä tehdä ensin yleisempi huomio: tässä opinnäytetyössä esiintyvien käännöskuvien (tai -laatikoiden, kuten niitä kutsun) ja videotekstien tarkoitus on korostaa algoritmisen käännöksen keskeistä roolia tässä tutkimuksessa. Koska katseella on ajan myötä taipumus hypätä algoritmisten käännösten yli, kuten omasta kokemuksestani tiedän, on huomio kiinnitettävä niihin uudelleen. Näin on ainakin kahdesta eri syystä: 1) algoritmiset prosessit ja niiden tulokset muuttuvat jatkuvasti ja 2) vain pysymällä niiden läheisyydessä – tai vaikutuspiirissä – on mahdollista tutkia algoritmisten prosessien vaikutuksia.

Tässä tarkoituksessa siteeraan DAR:n suomenkielisen Hayles-sovituksen englanninkielistä algoritmista käännöstä: ”Even the activities related to the use of the most prosaic computer, such as fingertip and moving the trackpad or double clicks, has been shown to cause significant changes in brain function” (ks. kuva 2.1.1). Käännösalgoritmit ovat vaihtaneet adjektiivin paikkaa niin, että ”prosaic” (”arkipäiväisen” asianmukainen englanninnos) ei enää viittaa tietokoneen käyttöön liittyviin toimintoihin vaan tietokoneeseen itseensä. Lisäksi käännösohjelma on lisännyt aiheettoman ”and”-sanan siihen virkkeen osaan, jossa näitä toimintoja kuvataan katkaisten omituisesti ”fingertipin” ja ”moving the trackpadin” yhteyden.

Näin ollen tässä algoritmisen käännöksen esimerkkitapauksessa meille jäävät arkipäiväinen tietokone, sijoiltaan siirretty sormenpää ja tietokoneen käyttöön liittyviä toimintoja, joiden on ”todettu aiheuttavan merkittäviä muutoksia aivojen toiminnassa” (2.1FI2). Tärkeämpää on, mitä käännös näyttää antavan ymmärtää: mitä jännittävämpi ja epätavallisempi tietokone – eli mitä vähemmän proosallinen –, sitä suurempi sen vaikutus aivojen toimintaan. Sen sijaan, että yrittäisin vahvistaa tai kumota tätä väitettä viittaan ilmiöön joka on käynyt ilmeiseksi tämän tutkimuksen kuluessa: algoritmiseen käännökseen liittyy erityinen huumori ja monitahoinen nauru, joka tuo ruumiin ja ruumiillisuuden mukaan kirjoitus- ja lukemisprosesseihin.

Se, miten tämä nauru syntyy, toisin sanoen miten algoritmisen käännösprosessin todistaminen vaikuttaa aivoihimme – tarkemmin ottaen sen kielikeskuksiin eli Brocan ja Wernicken alueisiin – olisi kiehtova lähtökohta verkottuneen teknologian vaikutuksia hermostoomme käsittelevään monialaiseen tutkimukseen. Tässä yhteydessä voin tuoda esiin havaintoni, että nauru näyttää laukaisevan kaikkeen ihmisen ja teknologian väliseen vuorovaikutukseen liittyvää mutta erityisesti kielellisellä alueella korostuvaa jännitettä. Algoritmisten käännösprosessien seuraaminen synnyttää monenlaista naurua. Miltei pakonomaisen, jopa uuvuttavaksi käyvän, kyyneleet silmiin tuovan ja leukaperät kipeyttävän naurun lisäksi olen kokenut ja erilaisissa yleisöissä havainnut myös rauhallisempaa, hillitympää naurua.

Tämä jälkimmäinen naurun muoto muistuttaa vitsin synnyttämää naurua, minkä takia se tuottaa tuttuuden tunnetta ja psykofyysistä rentoutuneisuutta. Tällä jännityksestä vapautumisen kokemuksella on puolestaan se vaikutus, että algoritmiset mediat – koneellinen kääntäminen ja puheentunnistusteknologia tämän tutkimuksen tapauksessa – alkavat tuntua tutuilta, kumppaninomaisilta, jopa inhimillisiltä (2.1FI3). Multimediaalinen opinnäytteeni tarjoaa lukija-katsojalle mahdollisuuden havainnoida tässä kuvatun kaltaisia naurun muotoja ja algoritmisen käännöksen muita ruumiillisia vaikutuksia omakohtaisesti.

Kuvien ja videoiden kautta lukija-katsojalla on mahdollisuus kokea joiltain osin tutkimuksen taiteellisissa osissa esillä olleiden kirjoitus- ja lukemisprosessien kaltaisia prosesseja. Tällä tavalla opinnäytetyö jatkaa ja laajentaa taiteellisten osien työtä toisessa kontekstissa (ks. 3.1). Psykofyysiset vaikutukset ovat mielestäni samanlaisia molemmissa tapauksissa. Kuvat ja videot eivät siis ole pelkästään – tai edes ensisijaisesti – dokumentaatiota, vaan kutsuja astua algoritmien edellä mainittuun vaikutuspiiriin.

Mukauttaminen

Toinen käännöskysymys, johon fragmentti 13 antaa aihetta liittyy käännökseeni Haylesin katkelmasta (ks. sovitettu Hayles-katkelmasta 11). Huomioni kiinnittyy Haylesin alkutekstissä käyttämään ”repurpose”-verbiin, joka perusmerkitykseltään tarkoittaa ”käyttää uuteen tarkoitukseen” tai ”mukauttaa käytettäväksi eri tarkoitusta varten”. Suoranaista vastinetta verbille ei suomen kielessä ole, mutta näiden käännösten lisäksi on ehdotettu seuraavia: ”kierrättää”, ”ottaa parempaan käyttöön”, ”muuttaa” ja ”muuntaa”. Myös ”uudelleen ohjaamista” ja ”uudelleen yhdistelemistä” on ehdotettu. Ehdottamani ”mukauttaa” on sekin kompromissi, joka käännetään sanoilla ”adapt” tai ”assimilate” (assimiloida eli yhtäläistää, samankaltaistaa, mukauttaa, sulauttaa; biologiassa yhteyttää).

Kääntämisen vaikeuttakin tärkeämpää on kysyä, mihin Hayles sulkumerkkeihin sulkemallaan verbillä viittaa. Hayles kirjoittaa, että tavanomaiset tietokoneen käyttöön liittyvät toiminnot ”saattavat olla tavattoman tehokkaita uudelleenkoulimaan (tai tarkemmin ottaen: mukauttamaan) hermopiirejämme” (Hayles 2012, 2, painotus lisätty). ”Uudelleenkoulia” ja ”mukauttaa” -verbien välinen merkitysero on minusta huomattava (vrt. engl. ”retraining” ja ”repurposing”).

Mihin erilaisiin tai uusiin tarkoituksiin vuorovaikutuksemme verkottuneen teknologian kanssa on hermostoamme koulimassa tai jopa mukauttamassa? Jos oma teknologian käyttömme on tämän muutosprosessin alullepanija ja syy, kuka tai mikä itse asiassa koulii tai mukauttaa ketä tai mitä? Mitkä ovat kehityksen seuraamukset?

Viimeistään tässä vaiheessa vaikuttaisi selvältä, että DAR:n Haylesin kirjasta ja kirjalla suorittaman tekstuaalisen sovituksen lisäksi on käynnissä toinen, rinnakkainen ja perustava mukauttaminen, nimittäin biologinen, evolutionistinen adaptaatio, mihin Hayles viittaa teknogeneesin käsitteellä (2.1FI4), ihmisen ja digitaalisen teknologian keskinäisellä, vastavuoroisella evoluutiolla (Hayles 2012, 10). Tässä tutkimuksessa teknogeneesiin liittyvä kysymys koskee sitä, jos ja miten verkottuneen, ohjelmoitavan teknologian laajamittainen käyttö uudelleenkoulii ja mukauttaa meitä, tutkimuksen kirjoittamiseen osallistuvia inhimillisiä toimijoita ja toisaalta miten me omalla toiminnallamme muokkaamme teknologiaa (ks. 3.5).

Viitteet

2.1FI1
Kirjoituksessaan ”On Linguistic Aspects of Translation” (suomentamaton) Roman Jakobson käsittelee kolmea kääntämisen lajia: 1) ”intralingual translationia” eli kielensisäistä kääntämistä, jossa sanallisia merkkejä tulkitaan toisilla, samaan kieleen kuuluvilla merkeillä; 2) kieltenvälistä eli varsinaista kääntämistä, jossa sanallisia merkkejä tulkitaan toisen kielen avulla; ja 3) intersemioottista käännöstä, jossa sanallisia merkkejä tulkitaan ei-verbaalisen merkkijärjestelmän avulla (ja kaiketi myös toisinpäin) (Jakobson 1971FI, 261).

2.1FI2
Trujillon ymmärrettävyysasteikolla – väline, jota käytetään arvioimaan konekäännöksen tuloksia – tämä esimerkki voisi sijoittua kategoriaan 3: ”Lauseen perusvaikutin on selvä, mutta joissakin yksityiskohdissa on epäselvyyttä johtuen kielioppi- ja sanavalintaongelmista. Lauseen merkityksen selventämiseksi olisi tarkasteltava alkukielistä lausetta.” Parhaassakin tapauksessa se voisi sijoittua viisikohtaisen asteikon kategoriaan 2: ”Lauseen merkitys on selvä, mutta kieliopissa, sanankäytössä ja tyylissä on joitakin ongelmia, minkä takia kokonaislaatu on heikompi kuin 1.” (Tobin 2015, 102.)

2.1FI3

Tuttuuden vaikutelma ja “inhimillisyys” ovatkin tutkimusaiheita ihmisen ja robottien vuorovaikutusta tutkivalla robotiikan alalla (engl. human-robot interaction) (ks. esim. M. Kim et al. 2011FI, 24).

2.1FI4
Olen kääntänyt englanninkielisen technogenesis-termin ”teknogeneesiksi” seuraten muiden genesis-päätteisten termien vakiintuneita suomennoksia: ontogenesis | ontogeneesi (yksilönkehitys), phylogenesis | fylogeneesi (lajin- tai suvunkehitys). Teknogenia olisi toinen suomennosvaihtoehto.

2.1 Fragment 13

With fragment 13, the first fragment of the second part of this four-part thesis, the Digital-Artistic-Researcher (DAR) changes the direction of the discussion. Like N. Katherine Hayles does on page two of her book How We Think—Digital Media and Contemporary Technogenesis (2012), DAR too turns to consider the effects of the use of digital technologies on brain activity. This act of mimicking Hayles textually is a direct continuation of DAR’s Hayles adaptation in the first part of this work, the Prologue.

DAR seems to be consistent in their attempt to follow Hayles, diverging from her only when their artistic practice gives cause for intervention. From their post in between Hayles and the reader, DAR is thus performing not only a rewording or an intralingual translation of Hayles (2.1EN1), but a rewrite or—to take up a concept I will return to shortly—a repurposing. As has been said, here, as in other instances, DAR approaches the subject (the effects of the use of networked technologies on the brain) through practice, i.e. their own artistic practice. Thus, their multidisciplinary expertise positions itself alongside Hayles’s differently multidisciplinary expertise.

Laughter and Other Physical Effects

In order to approach fragment 13, I want to tend to two translation issues that an earlier version of it gives rise to (cf. fragment 13 from 2017 and the version from 2016 in fig. 2.1.1). First, however, owing to a humorous detail that appears in the earlier version of the translation, a more general note is in order: in this thesis, the purpose of the translation images—or translation boxes, as I refer to them—, as well as the video texts, is to emphasize the key role of algorithmic translation in this study. Since, over time, the gaze has a tendency to pass over algorithmic translations, as I know from my own experience, attention has to be refastened on them. This is for at least two different reasons: 1) algorithmic processes and their results are constantly changing and 2) only by staying in close proximity to them—or within their sphere of influence—is it possible to study their effects.

With this in mind, I quote the algorithmic English translation of DAR’s Finnish adaptation of Hayles’s passage: “Even the activities related to the use of the most prosaic computer, such as fingertip and moving the trackpad or double clicks, has been shown to cause significant changes in brain function” (cf. fig. 2.1.1). In this translation, the translation algorithms have changed the place of the adjective, so that “prosaic” (an accurate translation of the Finnish “arkipäiväinen”) no longer refers to the activities related to the use of the computer, but to the computer itself. In addition, the translation program has added a gratuitous “and” in the part of the sentence describing these activities, strangely disconnecting “the finger tip” from “moving the trackpad.”

Thus, in this example of algorithmic translation, we are left with a mundane computer, a displaced fingertip, and computer-related activities that have “been shown to cause significant changes in brain function” (2.1EN2). More importantly, the translation seems to imply that the more exciting and unusual the computer—i.e., the less prosaic—the greater its effect on brain functioning. Instead of trying to corroborate or refute this statement, I will refer to a phenomenon that has become evident over the course of this research: algorithmic translation gives rise to a particular humor and a complex laughter, which brings the body and corporality into the writing and reading processes.

How this laughter is created or, in other words, how witnessing an algorithmic translation process affects our brains—more specifically, its language centers, the Broca and Wernicke areas—would be a fascinating starting point for multidisciplinary research into the impact of networked technologies on the nervous system. In this context, I can point out that the laughter seems to defuse the tension related to all interactions between humans and technologies, but especially that involving language. Witnessing algorithmic translation processes produces many different types of laughter. In addition to the almost compulsive and, ultimately, exhausting laughter that brings tears to the eyes and causes the jaw muscles to ache I also have experience of a calmer, more restrained laughter, both personally and in audiences I have observed.

This latter form of laughter resembles that produced by a joke, which is why it produces a feeling of familiarity and psycho-physical relaxation. The effect of this release of tension, in turn, is that the algorithmic media—machine translation and speech recognition technology, in this case—begin to feel familiar, companion-like, even human (2.1EN3). This multimedia thesis gives the reader-viewer the opportunity to observe the forms of laughter described here, as well as the other physical effects of algorithmic translation, on their own.

By viewing the images and videos, the reader has the opportunity to experience processes that are, in part, akin to the writing and reading processes in the artistic parts of the research. In this way, the thesis continues and extends the work of the artistic parts in another context (see 3.1). The psychophysical effects are, in my experience, similar in both cases. The images and videos are thus not merely—or even primarily—documentation, but invitations to enter into the above-mentioned close proximity with translation algorithms.

Repurposing

The second translation question fragment 13 gives rise to has to do with my Finnish translation of the corresponding Hayles passage (see sovitettu Hayles-katkelmasta 11). My attention is drawn to Hayles’s use of the verb “repurpose,” which in its basic meaning refers to “being used for a new purpose” or “adapting for use in a different purpose.” In Finnish, there is no direct equivalent for the verb, and my suggestion “mukauttaa” is a compromise that actually translates as “adapt” or “assimilate.”

Even more important than noting the difficulty of translation, however, is asking, what the use of the verb—which Hayles encloses in brackets—suggests. Hayles writes that everyday activities related to computer use “may be extraordinarily effective in retraining (or more accurately, repurposing) our neural circuitry” (Hayles 2012, 2, emphasis added). The semantic difference between “retraining” and “repurposing” strikes me as significant.

For what new or different purposes are our interactions with networked technologies retraining or even adapting our nervous systems? If our own use of technology is the initiator and cause of this process, who or what is, in fact, retraining or repurposing whom or what? What are the implications of this development?

By this stage, at the latest, it would seem evident that in addition to the textual adaptation DAR is performing on and from Hayles’s book, there is another, parallel, and fundamental adaptation taking place, namely a biological, evolutionary adaptation, which Hayles calls technogenesis: the mutual, reciprocal evolution of humans and digital technologies (Hayles 2012, 10). In this research, the question of technogenesis concerns if and how the extensive use of networked, programmable technology retrains and repurposes us, the human actors involved in the writing of the research, and how we modify technology through our own actions (see 3.5).

Notes

2.1EN1
In “On Linguistic Aspects of Translation,” Roman Jakobson describes three kinds of translation: “1) Intralingual translation or rewording is an interpretation of verbal signs by means of other signs of the same language. 2) Interlingual translation or translation proper is an interpretation of verbal signs by means of some other language. 3) Intersemiotic translation is an interpretation of verbal signs by means of signs of nonverbal sign systems” (Jakobson 1971, 261).

2.1EN2
On Trujillo’s intelligibility scale—a tool used to evaluate the results of machine translation—this example could belong in category 3: “The basic thrust of the sentence is clear, but you are not sure of some detailed parts because of grammar and word usage problems. You would need to look at the original source language sentence to clarify the meaning.” At best, it might be seen to belong in category 2 on the five-point scale: “The meaning of the sentence is clear, but there are some problems in grammar, word usage and/or style, making the overall quality less than 1.” (Tobin 2015, 102)

2.1EN3

Familiarity and “humanness” are, indeed, research topics in the field of human-robot interaction (see, for example, M. Kim et al. 2011, 24).
Fragment(ti) 12Fragment(ti) 14