Alkukeväästä 2020 lähtien mielipidekyselyt ovat aktiivisesti seuranneet suomalaisten suhtautumista koronaepidemiaan ja yrityksiin hallita sitä. Näyttävä gallupjournalismi on tarjonnut kansalaisille mahdollisuuden verrata omia ajatuksiaan muiden suomalaisten käsityksiin. Samalla se on pakottanut julkisen vallan käyttäjät tietosiksi yleisen mielipiteen liikkeistä tässä poikkeuksellisessa tilanteessa.
Näin mielipidekyselyjen tilaajat, niitä toteuttavat tutkimuslaitokset ja tuloksia julkistavat joukkoviestimet ovat merkittävä osa poliittista järjestelmää. Siksi niiden toiminnalta pitäisi edellyttää luotettavuutta ja läpinäkyvyyttä. Tämän suhteen on toivomisen varaa. Seuraavassa muutama esimerkki.
Helsingin Sanomat on suomalaisen gallupjournalismin uranuurtaja. 75 vuotta sitten se osallistui aktiivisesti Suomen Gallup oy:n perustamiseen. Tämän vuoden varhaisesta keväästä lähtien lehti on seurannut kansalaisten reaktioita koronaan ja hallituksen ja pääministeri Sanna Marinin toimintaan sen torjunnassa. Kyselyt on toteuttanut Kantar TNS oy. Se on maan suurin mielipide- ja markkinatutkimuslaitos ja jatkaa Suomen Gallupin toimintaa muutaman fuusion jälkeen.
Helsingin Sanomien 17.11. julkaiseman uutisen mukaan tyytyväisyys Mariniin näyttää hieman vähentyneen alkukeväästä. Tyytyväisyyden tasosta uutinen antaa valitettavasti virheellisen kuvan. Tämä johtuu siitä, että käytetyn kysymyksen sanamuoto on epäonnistunut, eikä tätä oteta uutistekstissä huomioon.
”Perussuomalaisten äänestäjistä 27 prosenttia oli hyvin tyytymättömiä ja 33 prosenttia melko tyytymättömiä” kerrotaan uutisessa. Tehdyssä kyselyssä ei kuitenkaan ollut tällaisia vastausvaihtoehtoja. ”Erittäin tyytyväisen” ja ”melko tyytyväisen” vaihtoehdoiksi tarjottiin ”ei kovin tyytyväinen” ja ”ei lainkaan tyytyväinen”.
Se, että ei ole tyytyväinen, ei välttämättä merkitse tyytymättömyyttä. Se voi tarkoittaa myös neutraalia tai välinpitämätöntä suhtautumista Marinin koronatoimiin. Vastaus ”ei kovin tyytyväinen” kertoo itse asiassa jonkin asteisesta tyytyväisyydestä.
Tulokset olisivat toisenlaisia, jos esitetyn kysymyksen vaihtoehdot olisi rakennettu symmetrisiksi, eli erittäin ja melko tyytyväisen vastinpariksi olisi tarjottu vaihtoehtoja ”erittäin tyytymätön” ja ”melko tyytymätön”.
Kysymyksen epäonnistunut muotoilu menee tutkimuslaitoksen piikkiin. Tulosten virheellisestä tulkinnasta vastaa osaltaan myös lehden toimitus.
Samaan tutkimusaineistoon perustuvassa uutisessa 21.11. Helsingin Sanomat kertoi kasvomaskien käyttämisestä ja koronaviruksen aiheuttamasta huolesta. Uutisen ”faktalaatikossa” annettiin muutamia tietoja tutkimuksen tekemisestä. Siinä muun muassa kerrottiin virhemarginaalin olevan ”noin 3,1 prosenttiyksikköä suuntaansa”. Se jää mainitsematta, että tuon suuruinen virhemarginaali koskee vain koko aineistosta laskettuja prosenttilukuja. Jutussa kuitenkin vertailtiin ikäryhmiä, eri puolueiden kannattajia ja eri puolilla Suomea asuvia. Ryhmäkohtaiset virhemarginaalit ovat paljon suurempia, esimerkiksi vertailtujen puolueiden kohdalla noin 2–3-kertaisia koko aineistoon verrattuna.
HS-gallup-logon alla julkaistuissa uutisissa tarjotaan varsin niukasti välineitä tulosten luotettavuuden arvioimiseen. Virhemarginaali kyllä yleensä mainitaan, mutta sen merkitystä ei avata. Kokonaan jää kertomatta, että otoksen edustavuuteen ja aineiston keruutapaan liittyvät virhemahdollisuudet ovat moninkertaisia virhemarginaalin arvioimaan satunnaisvirheeseen verrattuna.
Uutisten faktalaatikoissa ja tutkimuslaitoksen verkkosivuilla ilmoitetaan, että Gallup Kanavan verkkopaneelilla koottu aineisto edustaa 18–79-vuotiaita mannersuomalaisia. Edustavuutta perustellaan sillä, että paneelia muodostettaessa pyritään saamaan eri väestöryhmät mukaan oikeissa suhteissa. Mahdollisia vinoutumia korjataan vielä analyysivaiheessa painottamalla väestöryhmien osuuksia vastaamaan yhteiskunnan todellisuutta.
Epäilemättä näiden operaatioiden jälkeen tutkimusaineistossa on oikeassa suhteessa naisia ja miehiä, eri ikäisiä, eri puolilta maata olevia maalaisia ja kaupunkilaisia, eri sosiaaliryhmiä edustavia ja eri puolueiden kannattajia. Se ei kuitenkaan riitä.
Kantar kertoo verkkosivuillaan, että Gallup Kanavan paneelissa vastausprosentti on 80. Mutta sitä ei kerrota, kuinka suuri osa kysytyistä kieltäytyy osallistumasta paneeliin. Heitä on epäilemättä kymmeniä prosentteja.
Tulosten luotettavuuden kannalta olisi tärkeää pohtia, ovatko paneelista pois jääneet ja vastaamasta kieltäytyneet arvoiltaan, asenteiltaan ja käyttäytymiseltään samanlaisia kuin kyselyyn vastanneet. Edustavatko aktiiviset osallistujat myös digipudokkaita, marginaaliryhmiä, omia mielipiteitään vähätteleviä ja niitä, jotka suhtautuvat epäluuloisesti koko gallupinstituutioon?