Ajat muuttuvat, muuttuvatko menetelmät?

Koko dokumentti sivutettuna

Kirjoittaja: Kirsti Pohjanpää on tilastopäällikkö Tilastokeskuksen Elinolot-yksikössä. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 4/2009.

Tilastojen ajallinen vertailtavuus on tärkeää, mutta tiedonkeruumenetelmän muuttaminen aikakausien muuttuessa ei kuitenkaan välttämättä heikennä saatujen tulosten laatua. Menetelmäeroja tulkittaessa on hyvä muistaa, että välineet ja maailma, jossa niitä käytetään, eivät ole nykyisin samoja kuin vielä parikymmentä vuotta sitten.

Surveytiedonkeruilla on pitkä historia. Suomessa Vera Hjelt (1857-1947) keräsi tietoja työläistalouksista jo sata vuotta sitten, ja tilastovirasto teki ensimmäisen otostutkimuksen 1950-luvulla. Surveytutkimukset ovat sosiaali- ja elinolotilastojen elinehto, sillä useita keskeisiä henkilöitä tai kotitalouksia koskevia tietoja ei saada rekistereistä.

Ensimmäiset tiedonkeruut olivat käyntihaastatteluja, ja niitä seurasivat postikyselyt. Puhelinhaastattelujen valtakausi alkoi 1970-luvulla Yhdysvalloissa ja ajoittuu meillä suurelta osin 1980- ja 1990-lukuihin. Tietokoneet ovat olleet tilastohaastattelijoiden arkea jo yli kymmenen vuoden ajan.

Monimenetelmäisyys (mixed mode) ja webtiedonkeruut ovat tulleet surveytutkimuksien tiedonkeruuperheeseen uuden vuosituhannen alettua. Muutoksiin ovat antaneet vauhtia tiedonkeruukustannusten kasvu, vastauskadon lisääntyminen ja tiedonkeruuprosessin nopeuteen liittyvät vaateet. Myös vastaajat odottavat nykyaikaisia menetelmiä; lyijykynät ovat hukassa, eikä tuntemattomiin numeroihin vastata.

Monimenetelmäisyys tarkoittaa sitä, että tutkimuksen tiedonkeruussa käytetään kahta tai useampaa eri tiedonkeruutapaa. Webtiedonkeruilla puolestaan tarkoitetaan internetissä täytettävien lomakkeiden avulla tehtäviä surveytiedonkeruita. Viimeksi mainittuja ei pidä sekoittaa täysin ilman otosta toteutettuihin "villeihin" internetkyselyihin ja -äänestyksiin, joilla kartoitetaan kansan tahtoa (esim. Ilta-Sanomat 2.11.2009: "Pitäisikö reseptivapaita lääkkeitä saada Suomessa ruokakaupasta?") Tilastokeskuksen tiedonkeruut - edes netissä tehdyt - eivät perustu edustavuuden kannalta kyseenalaisiin menetelmiin (vrt. Kuuselan artikkeli tässä numerossa).

Menetelmien vaikutuksista monenlaista tietoa

Tiedonkeruumenetelmän vaihtaminen ei ole ongelmatonta, kuten Ahola (2009) muistuttaa, sillä ajallinen vertailtavuus on tilastoissa keskeistä. Käsitykset tiedonkeruumenetelmän vaikutuksista saatuihin tutkimustuloksiin kuitenkin vaihtelevat. Osa 2000-luvulla toteutetuista menetelmätutkimuksista antaa viitteitä siitä, että eri tiedonkeruumenetelmillä saadaan hiukan erilaisia vastausjakaumia (esim. Fricker ym. 2005, Wang ym. 2005). Useimmiten selkeitä menetelmäeroja on havaittu arkaluontoisia asioita kysyttäessä (esimerkiksi vastaajan huumeiden käyttö).

Toisaalta on myös joukko tutkimuksia ja tutkijoita, joiden mukaan menetelmäerot eivät ole niin suuria kuin aikaisemmin on luultu. Tällaisia tuloksia esittää esimerkiksi de Leeuw (2008). Alkoholin käyttöä tutkineet Greenfield ym. (2000) menevät askelen pidemmälle ja toteavat, ettei tuloksissa ole kovin paljon tiedonkeruumenetelmän aiheuttamia eroja. Joitakin eroja on, mutta lopputuloksen kannalta ne eivät ole kovin järisyttäviä, toteaa osa tutkijoista (esim. Brener ym. 2006, De Leeuw ym. 2008, Voogt - Saris, 2005).

Sivun alkuun

Tutkijoiden ammattitaito auttaa menetelmäkarikoissa

Osittain menetelmäerot johtuvat siitä, että tutkijat eivät osaa irrottautua tiedonkeruumenetelmän perinteisestä käyttötavasta (Dillman ym. 2009), eikä niitä saada aidosti integroitua yhteen aikakausien ja tutkimusilmapiirin muuttuessa. Menetelmäerot ovat hallittavissa hyvällä lomakesuunnittelulla ja tutkijoiden ammattitaidolla. Tutkijoiden on tapauskohtaisesti ratkaistava, mihin suuntaan vaaka kustannusten, kadon ja menetelmäerojen pohdinnassa saa kallistua (De Leeuw 2008).

Jotta useampia eri tiedonkeruumenetelmiä ja varsinkin webtiedonkeruuta hyödyntävissä tutkimuksissa onnistuttaisiin välttämään menetelmäkarikot, joutuvat tutkijat painimaan erityisesti vastausskaalojen ja vastaamisohjeiden kanssa (esim. Dillman ym. 2009).

Tutkimusympäristönä internet poikkeaa käynti- ja puhelinhaastatteluista kahdella tapaa. Ensinnäkin internetissä vastaaja antaa vastaukset lomakkeelle itsekseen, eikä haastattelija ole huolehtimassa kysymysten esittämisestä ja vastausten kirjaamisesta. Toiseksi webvastaaja näkee sekä kysymykset että niihin liittyvät vastausvaihtoehdot. Puhelinhaastattelun vastaajalla ei ole lainkaan näköhavaintoa, ja käyntihaastatteluissakin näköön perustuvien elementtien hyödyntäminen on vähäistä. Sen sijaan puhelin- ja käyntihaastattelut edellyttävät vastaajilta hyvää muistikapasiteettia.

Sivun alkuun

Mikä on paras menetelmä?

Uudella menetelmällä saatujen tulosten poikkeamat vanhasta tulkitaan usein mieluiten virheiksi. Erilaisten tulosten pohjalta emme kuitenkaan voi suoralta kädeltä tietää, mikä menetelmistä on paras (Biemer - Lyberg 2003). Sosiaalitieteissä ja haastattelututkimuksissa totuus on usein vaikeasti mitattavissa ja vielä vaikeammin todennettavissa.

Jos meillä on tiedossa totuus, esimerkiksi äänestystulos, voidaan tiedonkeruun onnistumista peilata suhteessa siihen. Voogt ja Saris (2005) vertasivat hollantilaisten todellista äänestyskäyttäytymistä haastattelututkimuksella (postikysely sekä puhelin- ja käyntihaastattelu) saatuihin tietoihin. Tutkijoiden loppupäätelmä oli, että menetelmiä yhdistämällä (mixed mode) voi saada todellisuutta paremmin kuvaavia estimaatteja juuri siksi, että katoon jäävien osuus pienenee.

Eräät tutkimukset osoittavat, ettei webtiedonkeruu ainakaan huononna saadun aineiston laatua. Asenteita ja tietämistä mittaavassa tutkimuksessa webvastaajat antoivat puhelimessa vastanneita harvemmin en osaa sanoa -vastauksia. Lisäksi he vastasivat kysymyksiin ylipäätään useammin (pienempi eräkato) ja asennekysymyksiin yhtenäisemmin sekä onnistuivat antamaan tietokysymyksiin enemmän oikeita vastauksia - mikä voi olla yhteydessä weblomakkeen pidempään vastaamisaikaan. (Fricker ym. 2005.)

Tiedonkeruumenetelmän vaihtaminen ei siis välttämättä huononna laatua.

Sivun alkuun

Menetelmä on kiinni ajassa

Ihminen vastaa kyselyyn tiettynä aikana ja tietyssä yhteiskunnallisessa kehitysvaiheessa. Jos 1950-luvun kansalaiselle olisi tehty puhelinhaastattelu, olisi tiedonkeruumenetelmän vaikutus jo puhelimien harvinaisuudesta johtuen varmasti ollut eri luokkaa kuin 1980-luvulla.

Vastaavasti 1980-luvulla havaitut menetelmäerot eivät välttämättä heijastu samanlaisina tällä vuosituhannella, ja vastaavalla tavalla osa nykyisin havaittavista menetelmäeroista saattaa vanhentua teknologian nopean kehityksen ja esimerkiksi internetosaamisen lisääntymisen ansiosta.

Kun haaveena on siirtyä kohti kustannustehokkaampia ja modernimpia tiedonkeruita, on siirtymävaiheeseen ja -valmiuteen satsattava menetelmävaikutuksia tutkimalla. Kustannustehokkuus ei koskaan tule ilmaiseksi, eikä kaikki vanha ole tänään hyödynnettävissä, joten myös uutta tutkimusta aiheesta tarvitaan.

Sivun alkuun

Kuinka suomalaiset pärjäävät netissä?

Tutkijoiden tulee huolehtia siitä, että mikään väestöryhmä ei jää tutkimuksien ulkopuolelle tiedonkeruumenetelmän takia. Internetin osalta tilanne paranee koko ajan. Vähiten nettiä käyttävien eli 60 vuotta täyttäneiden suomalaisten internetin käyttö on lisääntynyt noin viiden prosenttiyksikön vuosivauhtia koko 2000-luvun (Tilastokeskuksen Tieto- ja viestintätekniikan käyttötutkimus).

Kun lisäksi alle 40-vuotiaista selvästi yli 90 prosenttia, nelikymppisistä lähes 90 prosenttia ja 50-59-vuotiaistakin kolme neljästä käyttää internetiä, ei mielestäni ole syytä liikaa huolestua väestöryhmittäisistä eroista tietotekniikkataitojen ja käytön suhteen 2010-luvun Suomessa. Myös koulutustaustaan perustuvat erot tietotekniikan osaamisessa ja käytössä ovat supistuneet tällä vuosikymmenellä - tietoa asiasta saa esimerkiksi Tilastokeskuksen Aikuiskoulutustutkimuksesta 2006 (Pohjanpää ym. 2008).

Sivun alkuun

Katse tulevaisuuteen

Kattavuusongelmien takia web ei vielä tänä päivänä voi olla ainoa tiedonkeruumuoto henkilöpohjaisissa surveytutkimuksissa. Uskon kuitenkin, että ensi vuosikymmenellä web tulee olemaan keskeinen tiedonhankinnan väline muiden välineiden rinnalla. Internet- ja tietokonevarantojen kehitys on yhtä huimaa kuin osaamisen kasvu on ollut. Tilastokeskuksen kuluttajabarometrin mukaan vuonna 1997 vain 1,4 prosenttia kotitalouksista omisti laajakaistayhteyden, mutta elokuussa 2009 laajakaistoja oli jo kolmella kotitaloudella neljästä.

Tietoja keräävän organisaation on katsottava eteenpäin. Tiedonkeruumenetelmien vaihtamisesta aiheutuvien vertailtavuusongelmien korostamisessa on vaarana, että monta mahdollisuutta jää hyödyntämättä eikä ympäristön muutoksiin osata reagoida. Menetelmien vaikutuksia tuloksiin ei saa ohittaa, mutta uudet menetelmät ovat ennen kaikkea mahdollisuuksia, joihin on syytä tutustua. Kuten Aholakin (2009) toteaa, tarvitsemme lisää tietoa eri menetelmien yhdistämisestä.

Lähteet:

Ahola, A. 2009. Monta menetelmää, monenlaisia vastauksia. Hyvinvointikatsaus 2/2009.
Biemer, P. P. - Lyberg, L. E. 2003. Introduction to Survey Quality. A John Wiley & sons Publication. Hoboken, New Jersey.
Brener, N. D. - Eaton, D. K. - Kann, L. - Grunbaum, J. A. - Gross, L. A. - Kyle, T. M. - Ross, J. G. 2006.The Association of Survey Setting and Mode with Self-Reported Health Risk Behaviours Among High School Students. Public Opinion Quarterly 3.
De Leeuw, E. D. 2008. Choosing the Method of Data Collection. Teoksessa International Handbook of Survey Methodology. Toim. E. D. de Leeuw - J. J. Mox - D. A. Dillman. European Association for Methodology Series. Lawrence Erlbaum Associates.
De Leeuw, E. D. - Hox, J. P. - Dillman, D. A. 2008. Mixed-mode Surveys: When and Why. Teoksessa International Handbook of Survey Methodology. Toim. E. D. de Leeuw - J. J. Mox - D. A. Dillman. European Association for Methodology Series. Lawrence Erlbaum Associates.
Dillman, D. A. - Smyth, J. D. - Christian, L. M. 2009.Internet, Mail and Mixed-Mode Surveys: The Tailored Design Method. 3rd ed. John Wiley & Sons Inc, New Jersey.
Fricker, S. - Galesic, M. - Tourangeau, R. - Yan, T. 2005. An Experimental comparison of Web and Telephone surveys. Public Option Quarterly 3.
Greenfield, T. K. - Midanik, L. T. - Rogers, J. D. 2000. Effects of telephone versus face-to-face interview modes on reports of alcohol consumption. Addiction 95.
Pohjanpää, K. - Niemi, H. - Ruuskanen, T. 2008. Osallistuminen aikuiskoulutukseen. Aikuiskoulutustutkimus 2006. Koulutus 2008. Tilastokeskus. Helsinki.
Voogt, R. J. J - Saris, W. E. 2005. Mixed Mode Designs: Finding the Balance Between Nonresponse Bias and Mode Effects. Journal of Official Statistics 3.
Wang, Y. - Lee, C. - Lew-Ting, C. - Hsiao, C. K. - Chen, D. - Chen, W. J. 2005. Survey of substance use among high school students in Taipei: Web-based questionnaire versus paper-and-pencil questionnaire. Journal of Adolescent Health 37.

Hyvinvointikatsauksen artikkeleita ja muita kirjoituksia saa siteerata lähde mainiten. Kokonaisen kirjoituksen lainaamiseen tulee saada kirjoittajan lupa. Kirjoittajat kirjoittavat omissa eivätkä Tilastokeskuksen nimissä.

Päivitetty 15.3.2010