R-ekosysteemi avoimelle julkishallinnon datalle ja laskennalliselle yhteiskuntatutkimukselle

TCWR-seminaari
7.3.2014 Turussa

Markus Kainu
tohtorikoulutettava
Sosiaalitieteden laitos, Turun yliopisto
Aleksanteri-instituutti, Helsingin yliopisto

1. Miksi?
2. Mikä rOpenGov?
3. Mitä rOpenGov:n avulla voi tehdä?
4. Miten osallistua projektiin?

(Gary King (2014, p. 166), the director of the Institute for Quantitative Social Science at Harvard University)

an important driver of the change sweeping the field is the enormous quantities of highly informative data inundating almost every area we study.

In the last half-century, the information base of social science research has primarily come from three sources: survey research, end-of-period government statistics, and one-off studies of particular people, places, or events.

In the next half-century, these sources will still be used and improved, but the number and diversity of other sources of information are increasing exponentially and are already many orders of magnitude more informative than ever before.

1. Paradigmaattinen käänne yhteiskuntatieteissä

• Suljettu data ja räätälöidyt työkalut =>
• avoin data ja joustavat työkalut

2. Laskennallisten menetelmien kasvava merkitys

• Uusia sovelluksia lainaamalla muiden tieteenalojen menetelmistä
  • sequence analysis (genomics) -> Social sequence analysis
  • networks analysis (computer science) -> Social network analysis
  • spatial inference (geography) -> Spatial econometrics

Tarve edistää yhteistyötä tietojenkäsittelytieteiden ja yhteiskuntatieteiden välillä, jonka myötä

• pääsy uusiin datalähteisiin ja datojen analysointi yksinkertaistuu
• työvaiheiden dokumentointi paranee ja avautuu
• läpinäkyvyys ja toistettavuus paranee (validiteetin ja reliabiliteetin näkökulma)
  • For quantitatively oriented manuscripts that utilize real or simulated data, authors are strongly encouraged to offer their data and code online to other researchers. (Sociological Science)
• otetaan käyttöön uusia julkaisuformaatteja ja saadaan lisänäkyvyyttä tutkimukselle
• laajempia vaikutuksia yhteiskuntaan, kuten päätöksentekoon, kansalaistieteeseen, datajournalismiin, opetukseen

rOpenGov on yhteisövetoinen ekosysteemi avoimen julkishallinnollisen datan ja laskennallisen yhteiskuntatutkimuksen R-paketeille.

Suomessa ja maailmalla nopeasti lisääntyvät hallinnollisen ja muun avoimen datan virrat ovat erityisen kiinnostavia yhteiskuntatieteiden, datajournaslimin ja kansalaisten osallistumisen näkökulmasta, mutta laskennalliset työkalut näiden datavirtojen hyödyntämiseen vielä ovat puutteellisia.

rOpenGov-projektissa kehitetään yhteisövetoista skaalautuvaa ohjelmistoekosysteemiä tavoitteena valjastaa avoimen laskennallisen analyysin ja uusien datalähteiden potentiaali yhteiskuntatieteiden käyttöön.

Projekti ottaa oppia biotieteiden menestyksekkäiden ekosysteemiprojektien kuten Bioconductor:in tai rOpenSci:n kokemuksista.

rOpenGov on yhteisöllinen projekti, joka rakentuu ydintiimistä, pakettien kehittäjistä ja pakettien käyttäjistä.

Käyttäjäyhteisö koostuu akateemisista tutkijoista, opiskelijoista, datajournalisteista, kansalaistieteilijöistä ja muista kiinnostuneista.

Ydintiimin palvelee kehittäjiä ja käyttäjiä ylläpitämällä infrastruktuuria, arvioimalla uusia paketteja ja laatimalla suosituksia pakettien toiminnalle. Ydintiimin jäsenillä on laskennallisten tai yhteiskuntatieteiden koulutus:

• Leo Lahti (Univ. Helsinki, Finland and Wageningen Univ., Netherlands)
• Juuso Parkkinen (Aalto Univ., Finland)
• Joona Lehtomäki (University of Helsinki, Finland).
• Markus Kainu (University of Turku, Finland)

Tilastolliset ja graafiset menetelmät. Projekti pyrkii tarjoamaan yhteiskuntatieteille relevantteja laskennallisia työkaluja R-kielen täydentämiseksi tältä osin. Erityisesti rOpenGov tarjoaa työkaluja uusien datalähteiden käyttöön.

Dokumentaatio. Projektissa uskotaan että korkealaatuinen dokumentaatio ei ole vain hyvä kehittämistrategia vaan myös ehdoton edellytys sille että uudet työkalut otetaan käyttöön. Jokainen rOpenGov-paketti sisältää vähintää yhden vignetin (ohjedokumentti R-projektissa), jossa esitellään tehtäväkältöisesti, läpinäkyvästi ja toistettavasti kuvaus paketin toiminnallisuudesta ja mahdollisuuksista. Pakettien ensisijaiset vignetit käännetään automaattisesti online-ohjeiksi rOpenGov:n verkkosivuille.

Skaalautuvuus. rOpenGov on jaettu ohjelmistoalusta joka mahdollistaa laajennettavien, skaalautuvien ja keskenään yhteensopivien ohjelmistojen ripeän kehittämisen. Yksittäinen tutkija ei kykene tuottamaan näin monipuolisia työkaluja kuin mitä on tarpellista uusien datalähteiden potentiaalin hyödyntämiseksi.

Avoin lähdekoodi. rOpenGov on ja tulee aina olemaan 100 % avoimen lähdekoodin projekti. Projektissa käytetään laajasti git:iä ja Github:ia versionhallintaan and yhteistyöhön. Kaikki paketit julkaistaan avoimen lähdekoodin lisensseillä, jotta käyttäjillä ja kehittäjillä olisi pääsy algoritmeihin sekä niiden sovelluksiin, ja että kansainvälinen tiedeyhteisö voi omistaa tutkimuksen tekemiseen vaadittavat ohjelmistot.

Toistettava tutkimus. Projektissa pyritään edistämään tutkimuksen toistettavuutta tarjoamalla työkaluja ja työvirtoja, jotka ovat helposti sovitettavissa erilaisiin tutkimuskysymyksiin erilaisissa tutkimusasetelmissa. Yhdenmukaisen käyttöliitymän äänestysdataan sekä taloudellisiin ja sosiaalisiin indikaattoreihin on yksi esimerkki tästä. Tämän kaltainen rakenne tekee analyyseistä suoraviivaisempia ja ymmärrettävämpi, kun dataa ei kerätä ja käsitellä erikseen jokaisella kertaa.

Avoin kehitystyö. Projektissa käyttäjiä rohkaistaan astumaan kehittäjien rooliin, joko kehittämällä rOpenGov-yhteensopivia paketteja tai pakettien dokumentaatiota. Lisäksi rOpenGov tarjoaa foorumin ryhmien ja projektien yhteistyölle, joilla on yhteisiä tavoitteita ohjelmistojen kehityksessä. Tällainen yhteistyö voi myös auttaa tutkijoita oppimaan lisää laskennallisten ja tilastollisten menetelmien yhteiskuntatieteellisista sovelluksia.

1. Pääsy dataan
   • ohjelmoinnillinen pääsy datalähteisiin
   • läpinäkyvä ja valmiiksi tehty datojen prosessointi
   • datakatalogit
   • harmonisoidut datarakenteet
2. Datan analysoiminen
   • räätälöytyjä analyysialgoritmejä yhteiskuntatieteelliseen dataan
   • analyysitapojen standardisoiminen

rOpenGov perustuu tilastolliseen R-ohjelmointikieleen.

R on korkean tason tulkattava ohjelmointikieli, jolla on helppo testata uusia laskennallisia menetelmiä.

Olioperusteinen rakenne mahdollistaa moninaisten ja kompleksisten yhteiskuntatieteellisten tutkimusongelmien mallintamisen ja ratkaisemisen.

Valtaosa projektin komponenteista jaetaan R-paketteina. Näin käyttäjillä on mahdollisuus käsitellä, analysoida ja raportoida datoja ja tutkimuksen tuloksia.

Projektiin ovat tervetulleita myös tukipalveluja ja metadataa tarjoavat paketit.

Yleisperiaate on että pakettien julkaisuversiot jaetaan CRAN-verkoston kautta ja kehitysversiot rOpenGov:n Github-organisaation kautta.

Projektin kieleksi on valittu R-kieli muuan muassa siksi että se tarjoaa:

1. vakiintuneen järjestelmän ohjelmistojen paketoimiselle,
2. monipuoliset mahdollisuudet automatisoituun dokumenttien luomiseen,
3. verkossa olevan datan tehokkaaseen hyödyntämiseen sekä
4. tuen moninaisten tilastollisten simulointien ja mallintamisten tekemiselle sekä
5. tämänhetkistä huipputasoa edustavat graafiset graafiset ominaisuudet.

R:n puolesta puhuu lisäksi kielen ympärillä vaikuttava vahva ekosysteemi ja käyttäjäyhteisö.

Lisäksi R on projektin tekijöille tutuin kieli ja sillä on vahvat näytöt samankaltaisista yhteisöllisistä projekteista muilta laskennallisten tieteiden aloilta.

Samalla projektissa pidetään tarkkaa silmällä muiden ohjelmointikielien ja niiden ekosysteemien kehitystä, kuten Python- ja Julia-kielten, ja kielipolitiikkaa voidaan tulevaisuudessa laventaa.

• Sotkanet
• sorvi
• datavaalit
• rustfare
• SmarterPoland

• rqog
• r.eusilc
• psData

• R-ohjelmointi.org
• Cross Validated: Resources for learning R
• UCLA: Resources to help you learn and use R
• Johns Hopkins University: Data Science

• Google+
• IRC (ropengov@Freenode)
• rOpenGov blog
• Twitter
• Liity ropengov-forum@googlegroups.com sähköpostilistalle

Rufus Pollock 4.3.2014 in Al Jazeera

Big Data smacks of the centralization fads we've seen in each computing era. The notion that there's more data than we can process - something which has - no doubt - always been true, year on year, since computing began - has been dressed up as the latest trend, complete with associated technology must-haves.

Meanwhile, a much more important story, the real revolution, is being overlooked: the mass democratisation of the means of access, storage, and processing of data. This story isn't about large organisations running parallel software on tens of thousands of servers, but about more people than ever being able to collaborate effectively around a distributed ecosystem of information, an ecosystem of Small Data.