Haluaisitko hyödyntää internetin loputtomia tietomassoja? Kiinnostaisivatko trendit, mutta saatavilla on vain nykytilanteen kuvaus? Kuka Solutiven konsulteista on kovin pyöräilijä? Lue lisää, niin saat vastauksia kaikkiin näihin pulmiin! 

 

Data avuksi pyöräilyyn – mutta miten? 

Solutiven ahkerat pyöräilijät osallistuivat tänäkin vuonna perinteikkääseen KilometrikisaanTässä leikkimielisessä kilpailussa ketkä tahansa voivat organisoitua joukkueisiin, kerryttää koko tiimin kilometripottia ja kisata muita innokkaita vastaan. Luonnollisesti hurjin kamppailu käydään oman joukkueen kesken – mikä on sisäinen nokittelujärjestys, ja kuka vie kotiin sen kirkkaimman palkintosijan? 

Koska panokset ovat kovat, menestyksen avaimina on hyvän kunnon lisäksi myös uudenmukaiset välineet – ja kilpailijatieto. Myös tässä kontekstissa datan hyödyntämisellä voi saada epäreilua etumatkaa: Voinko tuudittautua nykyiseen johtoasemaani, vai onko pahimmalla kilpailijallani tapana kirjata useita pyöräilypäiviä kerralla, jolloin sijoitukset voivat muuttua kertaheitolla? Kuinka paljon minun tulisi kiristää tahtia, jotta nousisin yhden sijoituksen ylöspäin perustuen keskimääräisiin matkoihin per päivä? 

Kilometrikisa.fi -sivusto tarjoaa vain nykyhetken tulostiedot, joten Solutiven datafanaatikkojen vaatima tarkempi analyysi oli mahdoton toteuttaa sen perusteella. Jotain oli keksittävä. 

 

Kilometrikisa.fi-sivuston-nykyhetkeen-perustuvaa-tilastotietoa

Kilometrikisa.fi -sivuston nykyhetkeen perustuvaa tilastotietoa

 

Automatisoi nettirutiinit 

Ratkaisu ongelmaan oli hakea ja tallentaa Kilometrikisa.fi-verkkosivujen tulostiedot tasaisin väliajoin. Siten esimerkiksi joka päivä noudettu data muodostaa yhdessä pidemmän historian. 

Datan hakemiseen käytettiin web scraping -menetelmiä. Tiivistettynä tämä tarkoittaa, että verkkosivuilla ei vieraile ihminen, vaan ohjelmoitu ohjelma. Samalla nettisivun lähdekoodi voidaan ottaa talteen. Lähdekoodi sisältää esimerkiksi nettisivulla normaalisti näkyvät elementit, kuten tekstit ja linkit, ja sen seasta voidaan poimia kulloinkin kiinnostava data – edelleen ohjelmallisesti.  

Samaa ajatusta vie askeleen pidemmälle selainautomaatio (browser automation). Tällöin ohjelma voi käynnistää nettiselaimen, esimerkiksi Chromen, ja käyttää samoja nettisivun nappeja ja muita interaktiivisia elementtejä kuin ihminen. Käytännössä mikä tahansa toiminto, jonka ihminen toistaisi samanlaisena kerrasta toiseen, voidaan automatisoida. Rajapintojen puuttuminen tai tiedon hakeminen sisäänkirjautumisen takaa eivät ole enää ongelmia. Onpa yksi solutivelainen toteuttanut koodinpätkän, joka käy automaattisesti hakemassa poljetut kilometrit omasta Sports Tracker-profiilista, ja täyttää niiden perusteella Kilometrikisan seurantalomakkeen! Vastaavasti voisi esimerkiksi kerätä kilpailevien verkkokauppojen hintatietoja eli tehdä ”hintarobotin”, seurata Suomen asuntomarkkinoita tallentamalla myynti- tai vuokrailmoituksia alan sivustoilta tai vaikkapa automatisoida selainpohjaisen CRM-järjestelmän toimintaa. 

>> Lue lisää datapalveluistamme

 

Pilvestä vetoapua toteutukseen 

Käytetyiksi teknologioiksi valikoituivat Python-ohjelmointikieli, jonka koodia ajetaan modernisti Amazon Web Services (AWS) pilvipalveluihin kuuluvalla Lambda-alustalla. AWS:n vahvuuksiin kuuluu, että käyttäjän ei tarvitse murehtia laitteistosta tai ohjelmistoista, vaan kaikki on heti valmiina. Lisäksi Lambda tarjoaa anteliaasti ensimmäiset miljoona koodinajokertaa täysin ilmaiseksi joka kuukausi, mikä riittää juuri ja juuri tällaiseen kerran päivässä päivittyvään projektiin. 😉 

Kilometrikisa.fi -sivulta napattu lähdekoodi tallennetaan sellaisenaan AWS:n S3-tiedostovarastoon. Tämän jälkeen toinen Python-ohjelma käy poimimassa olennaisimmat tiedot lähdekoodista ja tallentaa ne edelleen Google Sheets-palveluun. Datan pohjalta tehdyt visualisoinnit julkaistiin maksuttomalle Tableau Public-alustalle, jossa koko maailma pystyi seurata Solutiven joukkueen etenemistä. Tableau Public osaa virkistää datan Google Sheets-palvelusta joka päivä, joten tilanne pysyi aina tuoreena. 

Tämän vuoden kilpailu on nyt päättynyt. Mutta kuka onkaan Solutiven kovin fillaroija? Katso interaktiivinen visu klikkaamalla alla olevaa kuvaa! 

 kuka-on-solutiven-kovin-pyöräilija

 

Blogin seuraavassa osassa perehdytään Kilometrikisa-datan pohjalta tehtyyn seurantadashboardiin. Osa 2 sisältää vinkkejä viimeistellyn ja toimivan dashboardin tekemiseen, joten pysy kuulolla! 

Get Free Widget