AWS reInvent on tapahtuma joka kokoaa yhteen kymmeniä tuhansia datafanaatikkoja ympäri maailmaa oppimaan uutta AWS:n pilvipohjaisten dataratkaisujen aiheista, sekä kuulemaan tulevista uutuuksista. Tänä vuonna konferenssi järjestettiin Las Vegasissa 30.11.-3.12.2019 ja osallistujia oli huimat 65.000! Konferenssiin osallistui myös Markus, joka toimii Solutivella dataratkaisuihin keskittyvän tiimin vetäjänä. Lue Markuksen kuulumiset ja tärkeimmät nostot reissulta!


Päivä 1 – koneoppimista ja AWS-infran evoluutio

Koneoppimisen bootcamp - SageMaker

Amazon Web Servicen (AWS) yli kahdestasadasta palvelusta monet eivät suoranaisesti tule vastaan, kun keskitytään analytiikkaan liittyvien palvelujen rakentamiseen. Prediktiivisiin mallien luomiseen, harjoittamiseen ja hyödyntämiseen tarkoitetussa SageMaker palvelussa sitä vastoin ollaan sen ytimessä. Pääsin jonottamalla koneoppimisen bootcampille, jossa tätä palvelua ja siihen liittyviä aihealueita käytiin koko päivä läpi. Koulutus sisälsi nopeahkon, mutta onnistuneen läpikäynnin keinoälystä yleensä, varsinaisesti kuitenkin keskittyen koneoppimisen soveltamiseen. AWS:n alustan komponentit, kuten eri ML:n kanssa käytettävät instanssityypit ja niiden käyttövinkit käytiin läpi sopivalla tarkkuustasolla. Sagemakerin käyttöä käytiin sitten yksityiskohtaisemmin läpi. Sagemaker nivoo yhden paketin alle monia käytettäviä palveluja ja helpottaa koko prosessin hallintaa. Valmiit, dokumentoidut esimerkkimallit erilaisista soveltamiskohteista teki yleisössä vaikutuksen ja toi runsaasti lisäkysymyksiä. Valmiit datasetit ja mahdollisuus itse muokata mallia, sekä käsiteltävää dataa nopeuttaa Sagemakerin oppimista huomattavasti. Sagemakerin valmiiksi opetetut ja paketoidut mallit ovat tutustumisen arvoisia, jos koneoppiminen ei ole vielä kovin tuttua. Näistä lisää tietoa sivulta https://aws.amazon.com/sagemaker/# (menusta kohta AI/ML Services).

Pohjoismaiden tapaaminen

Illalla oli Nordic-tapaaminen, jossa oli mukava tavata useamman asiakkaamme henkilöitä. Vinkkejä konferenssin sisällöstä ja AWS:n käytöstä vaihdettiin puolin ja toisin. Monen mielestä nämä keskustelut ja luodut yhteistyöverkot ovat yksi tärkeimmistä anneista. Tapahtuman suosio oli yllättänyt järjestäjätkin, sillä tilojen kapasiteetti oli ylärajoilla.

Keynote Peter DeSantis

Tapaamisesta pikavauhtia illan keynoteen, jonka piti AWS:n infrastruktuurista vastaava johtaja Peter de Santis. Sisältönä oli aika pitkälle viime vuosina alustassa tehtyjen kehityskohteiden esittely. Varsinkin verkkoinfrassa tehdyt edistysaskeleet, kuten omaa tuotantoa olevat verkkoliikenteen prosessointiin tarkoitetut piirit ja uusittu verkkoprotokolla tekivät vaikutuksen. Tämä mahdollistaa supertietokoneiden haastamisen skaalautuvuudessa. Esimerkkinä tästä on kansainvälisen autoliiton (FIAn) Formula 1 -autojen mallinnukset, joilla autojen rakentamisen sääntöjä muuttamalla saadaan niiden ominaisuudet optimoitua siten, että ohittaminen helpottuu ja katsojat ovat tyytyväisempiä. Koneoppiseen GPU-optimoidut ja verkkoinfrastruktuuria paremmin hyödyttävät uudet instanssityypit mahdollistavat skaalautumisen ja nopeuttavat merkittävästi raskaiden mallien laskentaa ja ovat muutamassa vuodessa kehittyneet huimasti. Pienempien konesalikapasiteettia tarjoavien yritysten on kyllä vaikea kilpailla tällä saralla, mutta meidän, analytiikkaa hyödyntävien yritysten kohdalla kustannussäästöt ja parantunut prosessointitehokkuus on toki hieno juttu.

Kuva1-PeterDeSantis

Katso Peterin keynote: https://www.youtube.com/watch?v=GPUWATKe15E

 

Päivä 2 – Andy Jassyn tuotejulkistukset ja serverless-teema

Keynote Andy Jassy

Aamu lähti käyntiin AWS:n toimitusjohtajan Andy Jassyn keynotella. Kolmen tunnin sessiossa käytiin aika tiiviiseen tahtiin tuotealueittain tapahtunutta kehitystä. Tuotteisiin oli tullut vuoden aikana 2500 erilaista uutta ominaisuutta. Suurimman vaikutuksen teki Sagemakerin eli koneoppimiseen keskittyneen palvelun nyt julkaistut ominaisuudet. Näitä oli myös lukumääräisesti eniten. Sagemaker Studio on uusittu käyttöliittymä, jossa voidaan hallita koko koneoppimisen prosessia, ja etenkin sen loppupäätä tuotannon monitorointia ja validointia myöten. Autopilot-ominaisuus, joka valitsee automaattisesti prediktiiviset muuttujat ja ajaa lukuisia malleja eri parametreillä vaikuttaa mielenkiintoiselta, varsinkin kun lopputuloksena saadut mallit eivät jää mustaan laatikkoon vaan niitä voidaan tutkia yhtä yksityiskohtaisesti, kuin manuaalisesti kehitettyjä malleja.

Kuva2-SageMaker-Studio

 

Andy Jassyn ansioksi voi kyllä lukea esiintymistaidon lisäksi mahtavan muistin; hän lateli ulkomuistista tuotteiden uudet ominaisuudet, avainkumppanit ja -asiakkaat, ja monet muut detaljit. Show oli videoseinineen ja livebändeineen tuhatpäisen yleisön edessä vaikuttava elämys.

 

Kuva3-Andy-Jassy

Katso Andyn keynote: https://www.youtube.com/watch?v=7-31KgImGgU

 

Toiseksi tämän päivän teemaksi olin valikoinut serverless-arkkitehtuurin ja erityisesti sen hyödyntämisen muuttuvien käyttötarpeiden kanssa. Tähän olikin ohjelmassa hyvä luento, jossa käytiin esimerkkien avulla erilaisia tarpeita ja ratkaisumalleja läpi. Käyttämällä eri palvelujen vahvuuksia, voidaan usea muuttuva tarve hoitaa lisäämällä uusi palvelu ilman, että olemassa oleviin komponentteihin tarvitsisi tehdä muutoksia. AWS:n valmiita palveluita käyttämällä voidaan keskittyä varsinaisen ongelman ratkaisemiseen, kun peruskomponentit saadaan helposti käyttöön. Monoliittisten ratkaisujen purkaminen pienemmiksi, asynkronisiksi palveluiksi on järkevää monesta syystä. Näistä ratkaisuista lisätietoa löytyy täältä: https://aws.amazon.com/serverless/ .

SageMaker Studio

Osaan sessioista oli jonottamassa runsaasti enemmän väkeä, kuin tilat antoivat myötä. Itsekin jouduin pettymään yhden mielenkiintoisen session kanssa, mutta vasta julkaistuihin Sagemakerin ominaisuuksiin keskittynyt luento sattui yllättäen naapuritilaan. Nämä sessiot ilmestyvät ohjelmaan vasta, kun niihin liittyvät tuotejulkistukset on tehty ja tästä syystä moni ei ollut näistä tietoinen. SageMaker Studio on siis preview:ssä, mutta huikeat ominaisuudet löytyvät jo nyt. Onneksi melkein kaikki sessiot videoidaan. Sagemakeriin liittyviin tallennuksiin pääset helpoiten linkillä: https://www.youtube.com/channel/UCdoadna9HFHsxXWhafhNvKw/search?query=sagemaker

LakeFormation – datalake hallintaa yhdellä välineellä

Viimeisenä oli Lake Formation -palveluun liittyvä workshop, jossa rakennettiin MySQL kannasta integraatio AWS S3 palveluun, luettiin data sieltä AWS:n Athena kantaan ja lopuksi vielä tehtiin sentiment-analyysi, jonka tulokset talletettiin Glue jobilla myös Athenaan. Varsinainen ETL-osuus tehtiin Gluen visuaalisella editorilla valmiita komponentteja käyttämällä. Lake Formation mahdollistaa hyvin yksityiskohtaisen käyttöoikeuksien hallinnan, joka on helpommin ylläpidettävissä, kuin IAM:in kautta tulevat oikeudet. Workshop oli rakennettu taidokkaasti ja mikä parasta, osallistujat pystyivät luomaan saman harjoitteluympäristön omalle AWS-tilille valmiiden Cloud Formation -skriptien avulla ja näin pääsevät rauhassa tutkimaan rakennettua ratkaisua.

Workshopista ei ole videointia, mutta toinen hyvä sessio tähän LakeFormation -palveluun löytyy täältä: https://youtu.be/Wk9Hf4cwUFM

 

Päivä 3 – asiakastarinat ja trendit

Kolmas päivä AWS:n reInvent tapahtumassa alkoi minun osaltani mielenkiintoisella koneoppimiseen liittyvällä asiakastarinalla. ProSiebenSat.1 yrityksessä oli tarpeen yhdistää valtava määrä ostotapahtumia (asiakaskonversiota) tv- ja webmainontaan. Siihen ei niinkään koneoppimista tarvita, mutta dataa analysoimalla he kehittivät mallin, joka pystyi mainoksen esityksen ajankohdasta, kohdeyleisöstä, ja muista vastaavista tiedoista ennakoimaan konversion määrää ts. kuinka kannattavaa mitäkin mainosta on milloinkin esittää. Seuraavana askeleena he pystyivät paremmin suunnittelemaan, mitä mainoksia kannattaa lähettää milläkin kanavalla ja lopulta kääntämään koko suunnittelunsa perustumaan näille prediktiivisille malleille. Varsinaisesti mallin luominen ei niinkään ollut ongelma, vaan kuinka mallia saadaan joustavasti muutettua tai kehitettyä alati muuttuvassa ympäristössä. DevOps:ista MLOpsiin siis. Hieno ja innostava esitys koko prosessin näkökulmasta ja nimenomaisesti markkinoinnin alueelta. Tallenne tästä sessiosta ja kelattuna suoraan tuohon asiakasesimerkkiin: https://youtu.be/2RSCsgqyKmU?t=1463


Toisena esityksenä oli katsaus tämän hetken analytiikkatrendeihin. Datan määrän huikeasta kasvusta ei nyt kukaan luultavasti ylläty, mutta datan prosessoinnissa SSD-levyjen ja verkon nopeus on kuudessa vuodessa karkeasti laskien 12-kertaistunut, kun taas CPU/muistin nopeus on "vain" kaksinkertaistunut. Pullonkaula on siis siirtynyt toisaalle. Toinen selkeä trendi on perinteisimpien BI-analytiikkaratkaisujen väheneminen, jossa on omissa siiloissaan ERP/CRM/OLTP datawarehouse ja rinnalla web/mobiili/sensoridatoille erillinen DW. Näiden erillisten ratkaisujen sijaan datalaket ovat yleistyneet kovaa vauhtia. Ne pystyvät palvelemaan monia analytiikkatarpeita joustavasti. Redshiftin osalta on tapahtunut merkittävää kehitystä, joka ei varsinaisissa keynote-puheenvuoroissa ole noussut esiin. Uusia ominaisuuksia on tullut yli 200 viimeisen 18 kk aikana, kuten Redshift RA3 instanssit, federoidut kyselyt, sekä Advanced Query Accelerator. Yksi mielenkiintoisimmista uutuuksista meidänkin paljon käyttämään Athena-palveluun on nämä federoidut kyselyt. Käytännössä se tarkoittaa sitä, että Athena ei lue datoja enää pelkästään S3:sta, vaan siihen voidaan Lambdan kautta linkittää muitakin datalähteitä, kuten DynamoDB:tä, Redshiftiä, RDS:ää ja muita tietokantoja. Lista ei kuitenkaan lopu näihin, vaan myös CloudWatch, Redis, EMR tai muut palvelut yhtä hyvin voivat olla osa Athenan kyselyä.

Tähän viimeisimpiin analytiikan trendeihin liittyvä sessiotallenne löytyy täältä: https://youtu.be/j5QVCFNN4ns

 

Päivä 4 – koneoppimista radalla, arkkitehtuuria konesalista

Deepracer-kilpailu

Viimeinen varsinainen seminaaripäivä polkaistiin käyntiin AWS Deepracer -radalla. Polttomoottorien sijaan sähkömoottorilla toimivia pienoisautoja ohjaavat prediktiiviset mallit, joita kilpailijat ovat viritelleet toimimaan oikein erilaisissa mutkissa yrittäen saada auton mahdollisimman nopeasti radan ympäri. Finaali oli kolmen kisaajan kesken. Näitä malleja voi kuka vain kehittää virtuaaliautoilla tai vaikka tilaamalla oikean auton, jos hommasta innostuu enemmän. Joka tapauksessa oikein mielenkiintoinen ja helppo tapa tutustua oppivien mallien rakentamiseen. https://aws.amazon.com/deepracer/

Konesalissa tapahtuu

Werner Vogelin eli AWS:n teknologiajohtajan keynote käsitteli AWS:n kehitysaskeleita viime vuosilta.

Kuva4-Werner-Vogel

Zen virtualisointialustan parantaminen eriyttämällä verkko-, tallennus- ja tietoturvaominaisuudet erillisille piireille ei parantanut pelkästään suorituskykyä vaan lisäksi mahdollistivat tietoturvan kannalta oleellisia "vain luku" rajauksia. Palvelujen, kuten EBS:n, pilkkominen pienemmiksi kokonaisuuksiksi rajoittaa virhetilanteessa ongelman laajuutta. Yleisesti samaa logiikkaa noudattamalla voidaan sovelluksista tehdä toimintavarmempia pilkkomalla ne sirpaleiksi (shard). Koodisäiliöt (containers), joita esim. Fargate-palvelu käyttää, on saatu puristettua yhä pienempään pakettiin karsimalla minimiin ne käyttöjärjestelmän osat, joita säiliöissä ei käytetä. Lisäksi yhdessä Nitroksi kutsutun verkkoarkkitehtuurin kanssa niiden suorituskyky on saatu hyvin lähelle ilman virtualisointia toimivien palvelimien kanssa. Hienoa kehitystä serverless-ratkaisujen näkökulmasta!

Huikeat asiakaspuheenvuorot

Vogelin esitys oli aika teknologiapainotteinen, kuten teknologiajohtajan puheenvuoron nyt voi olettaakin. Luulisin, että yleisöstä pienempi osa pysyi mukana, sillä aika syvälle sukellettiin. Asiakasesimerkit sitä vastoin olivat aihealueiltaan varsin helposti ymmärrettäviä. Volkswagenin tuotantoratkaisujen, Amazonin verkkokaupan logistiikan, Saildronen mertenkartoitusprojektin, sekä erään yrityksen vaarallisten aineiden turvallisen käsittelyn esittelyt olivat vaikuttavia. Valtavia datamääriä, hienoja yksittäisiä ratkaisuja ja kuvantunnistamisen, sekä keinotodellisuuden yhdistämistä. Nämä vielä oli saatu käyttäjän kannalta toimiviksi sovelluksiksi ja helposti ymmärrettäviksi visualisoinneiksi. Kaupassakäynnin tulevaisuutta edustava Amazon Go:n eli Amazonin vähittäiskaupan esimerkki oli myös huikea! Tekniikan sovellettavuus vasta paljastaa sen todellisen arvon ja näissä esimerkeissä koneoppimisen hyödyntäminen oli oleellisessa osassa.

Varsin viihdyttävä Werner Vogelin keynote: https://youtu.be/OdzaTbaQwTg

Rajapinnat, dataviihdettä parhaimmillaan

Koko viikon viihdyttävimmästä esityksestä vastasi kuitenkin Eric Johnson aiheena "I didn't know Amazon API Gateway did that". Vaikka API-rajapinnoista ei niin olisi kiinnostunutkaan, niin talk show:n elementtejä sisältänyt esitys kannattaa vilkaista malliksi hyvästä alustuksesta. Melkein vetää vertoja meidän Solutiven Jannelle 😊. Kaverilta löytyy hyviä serverless-aiheisia videoituja esityksiä enemmänkin, jos nämä kiinnostavat. Kyseinen sessio löytyy tästä: https://youtu.be/yfJZc3sJZ8E

Jonotusko tylsää?

Konferenssin massiivisesta yli 65000 osallistujan koosta johtuen järjestelyt olivat mittavat. Henkilökuntaa oli joka nurkassa opastamassa ja ohjaamassa. Tästä huolimatta sessioihin joutui jonottamaan, kun paikkaa ei ollut ehtinyt/ymmärtänyt/muistanut varata. Jonotus oli monesti tunnin luokkaa. Se ei yleensä haitannut, kun avasi suunsa ja kyseli vieruskavereilta jotain aiheeseen liittyvää. Tätä kautta yleensä kehkeytyi varsin mielenkiintoisia keskusteluja joko AWS:än liittyen tai sitten jostain ihan muusta.

Sessioiden tallenteet ja yhteenveto

Olen tässä linkitellyt esittelemieni sessioiden tallenteita. Kaikkia 3000+ sessiota ei varmaan videoitu, mutta valtava määrä mielenkiintoista sisältöä löytyy AWS Events:in Youtube-kanavalta: https://www.youtube.com/channel/UCdoadna9HFHsxXWhafhNvKw/videos

Kokonaisuutena kohtuullisen raskas, mutta erittäin mielenkiintoinen ja innostava viikko. Niin paljon tapahtuu kehitystä ja uusia innovaatioita, joita voimme hyödyntää työssämme. Toivottavasti saitte jotain virikettä omaan työpäivään ja ehkä näemme seuraavassa tapahtumassa!

 

Avainsanat: AWS, Data

Get Free Widget