Posts tagged Re:Invent
AWS-ceo Jassy deelt 5 plannen voor developers

In Las Vegas vindt jaarlijks in november het AWS re:Invent plaats. Ook de achtste editie van dit Amazon Web Services-evenement - grootschaliger dan ooit met ruim 52.000 bezoekers en duizenden verschillende workshops, talks en sessies verspreid over zeven hotels - staat in het teken van product- en feature-lanceringen en kennisdeling. Jeroen Jacobs, cloudconsultant bij Oblivion Cloud Control, is ter plaatse en doet als Computable-expert dagelijks verslag. Dag 3.

De derde re:Invent-dag is een dag met veel grootste aankondigingen. Hoogtepunt op deze dag is dan ook de keynote van AWS-ceo Andy Jassy. Hij startte door te benadrukken hoe belangrijk de ‘builders’ (developers) voor organisaties zijn en hoe serieus Amazon de behoeften en feedback van zijn ontwikkelaars neemt. 

Hij vervolgt zijn verhaal met dat AWS wil uitblinken, niet alleen in de breedte van het dienstenaanbod maar vooral ook diepgang van de diensten. Andere cloudproviders gaan lang niet zo diep, builders weten dat en kiezen daarom consequent voor AWS. Hierbij haalt hij voorbeelden aan waaronder de s3 intelligent tiering die AWS maandag lanceerde, wat nu naar eigen zeggen werelds eerste machine learning gedreven object storage is.

Vervolgens structureert Jassy zijn keynote langs vijf sentimenten van ‘builders’ (developers) van waaruit tientallen bekendmakingen worden gedaan.

I want it all and I want it now

Builders willen diensten direct en breed kunnen inzetten en dat start bij storage. ‘AWS raises the bar for storage’, stelt de ceo. Binnen het storage-portfolio zitten zowel blockstorage, fileshare als object storage-diensten. De eerste aankondiging die de directeur doet is dat begin 2019 een nieuwe storage class, glacier deep archive genaamd, beschikbaar komt. Dit moet een tape-alternatief gezien worden kost 1.01 dollar per Terabyte per maand. Dit is volgens Jassy een gamechanger in voor archivering.

Naast AWS EFS, wat NFS-gebaseerde bestandsdeling aanbiedt, lanceert AWS nu ook AWS FSx for Windows Fileserver. Een volledige managed-dienst die we hadden gehoopt en verwacht, gezien 57,7 procent van IaaS Windows workload op public cloud op AWS is gehost. Binnen de FSx-dienst werd ook AWS FSx for Lustre aangekondigd; een file systeem voor high performance computing en machine learning-workloads waar een hoge throughput is vereist.

The right tools for every builder

Het tweede sentiment is de juiste tools om snel te kunnen starten. AWS lanceert een nieuwe dienst AWS Control Tower. Dit biedt gebruikers de mogelijkheid om multi-account landing zone te implementeren en beheren. Control Tower omvat best practice blueprints rondom accounts, authenticatie, configuratie, cloudtrail, identity & access-manager over meerdere accounts, virtual private cloud (vpc)-setup, een account factory en Guardrailes. De staat van de landing zone wordt weergeven in een dashboard. 

AWS Security Hub is een vijfde aankondiging die Jassy deed. Dit is een centrale plek om alle AWS security en compliancy controls te beheren. Tot slot kondigt AWS Lakeformation aan. Hiermee kunnen builders naar eigen zeggen in korte tijd een datalake optuigen, inclusief bijbehorende security policies.

(Database) Freedom

AWS-ceo Andy Jassy kondigt tijdens AWS re:Invent Timestream

Sentiment drie is database vrijheid (freedom). Jassy stelt dat gesloten database-oplossingen met licentiepraktijken en technische lock ins als Oracle en Microsoft zijn langste tijd hebben gehad. De tendens is naar opensource. AWS zet in op opensource met onder andere Aurora (re:Invent 2017). Ook is de trend het afstappen van relational databases, mede door andere performance-eisen in hedendaagse applicaties. 

DynamoDB is de belangrijke noSQL-oplossing van AWS, maar het is soms lastig om de juiste hoeveelheid read en write-capaciteitsunits te voorspellen. de aangekondigde AWS Read Write capacity on demand-oplossing moet hier antwoord op bieden.

Voor internet of things (IoT)-cases, waar miljoenen apparaten data verzamelen, lanceert Amazon Timestream. Dat is een nieuwe timeseries database. Timestream heeft performance, is naar eigen zeggen tot duizend keer sneller en kost 10 procent van een relationele database.

Specifiek voor blockchain-toepassingen is AWS QLDB aangekondigd; een Quantum Ledger Database. Dit is een managed blockchain ledger database met centrale regie. Immutable, snel en transparent. Als tweede blockchain-dienst wordt nog AWS Managed Blockchain bekend gemaakt. Hiermee kan snel een Hyperlegic fabric of Etherium blockchain worden opgezet en beheerd.

Little less conversation, little more action please

Minder praten, meer doen. En dan zeker op het gebied van machine learning (ml). Machine learning wordt al veel toegepast op AWS met de P3(dn) instance types. In de machine learing-frameworks is TensorFlow de meest gebruikte. AWS heeft nu de tensorflow geoptimaliseerd om hogere efficiency halen. Met AWS elastic inference levert AWS GPU-acceleratie on demand, in combinatie met EC2 om de GPU-capaciteit alleen te betalen wanneer deze daadwerkelijk nodig is. AWS belooft hiermee een kostenbesparing van 75 procent. In 2019 komt AWS nog met AWS Inferentia, een door Amazon ontwikkelde HPC Machine Learning chip. Deze gaat efficiency bieden.

Tijdens re:Invent 2017 lanceerde AWS Sagemaker als kerndienst om machine learning toegankelijk te houden voor een grote groep. Builders zijn enthousiast over de algoritme modellen en vandaag komt daar een AWS Marketplace for machine learning bij. Hier zijn al meer dan 150 algoritmes beschikbaar.

Voor ml is training van het algoritme belangrijk. Maar dat is intensief werk. Hiervoor lanceert AWS SageMaker Ground Truth: een machine learning datalabeling-dienst in twee varianten. Autolabling of uitgevoerd door mensen (Mechanical Turk). Ook werd Sagemaker RL nog gelanceerd voor reinforcement models. Een speelse oplossing rondom reinforcement learning in de vorm van een elektrisch aangedreven speel auto genaamd AWS Deepracer. Doel is om ontwikkelaars op een speelse manier met reinforcement learning te laten kennismaken en experimenteren. Daarmee wordt ook direct een AWS deepracer sports league afgekondigd.

Een andere dienst op het gebied van machine learning is AWS Textract, een hele OCR++ service die de layout van een webpagina, formuliervelden en soorten input herkent. Verder kan Amazon Personalize in webwinkel-apps worden toegepast om persoonlijke aanbevelingen te tonen. Tot slot lanceerde AWS nog Amazon Forecast en Amazon Timeseries forecasting.

Should I stay or should I go now

Should I stay or should I go now wordt gerelateerd aan van on premise naar de cloud. Eerder deze week zijn wederom aankondigingen gedaan als de SFTP gateway welke inzetten op de hybride integratie. En ook al langer zijn diensten als Storage GW, direct connect en vorig jaar het partnership met VMware on AWS onderdeel van deze hybrid oplossingen. 

Tijdens de keynote kwam VMware-ceo Pat Gelsinger op het podium. Hieruit komen de volgende aankondigingen. Op korte termijn heeft elke AWS Region VMware on AWS beschikbaar. Ook kondigt AWS voor 2019 AWS Outputs aan. Outputs is een rack appliance waarmee je AWS uitbreidt naar je datacenter. Eigenlijk vergelijkbaar als Microsoft met Azure Stack doet. Gelsinger vult tijdens de keynote aan dat AWS Outputs ook de optie heeft om VMware cloud on AWS outpost te draaien.

Developers onder de indruk

Tijdens de lunches en breaks verder op de dag sprak ik met diverse mensen waaronder, enkele developers uit de UK, die waren enthousiast over de nieuwe diensten rondom machine learning. En ook ik ben onder de indruk van de golf aan mooie aankondigingen. Morgen maar eens kijken of ik kan deelnemen aan een van de sessies van de vandaag gelanceerde diensten en de komende weken maar eens verder in verdiepen. Vandaag nam ik zelf nog deel aan een IoT leaders-workshop en een talk omtrent de eerder deze week gelanceerde dienst AWS Ground Station.

(Dit artikel verscheen eerder in Computable in November 2018)

AWS innoveert zijn basisdiensten

In Las Vegas vindt jaarlijks in november het AWS Re:Invent plaats. Ook de achtste editie van dit Amazon Web Services-evenement - grootschaliger dan ooit met ruim 52.000 bezoekers en duizenden verschillende workshops, talks en sessies verspreid over zeven hotels - staat in het teken van product- en feature-lanceringen en kennisdeling. Jeroen Jacobs, cloudconsultant bij Oblivion Cloud Control, is ter plaatse en doet als Computable-expert dagelijks verslag. Dag 4.

Na de keynote vol productlanceringen van AWS-ceo Andy Jassy gisteren, is vandaag de keynote van CTO Werner Vogels het hoogtepunt van de dag. Donderdag is tevens de laatste dag van re:Invent. De conferentie wordt vandaag met een groot eindfeest re:Play afgesloten.

Werner Vogels start zijn keynote met terugkijken naar zijn slechtste dag bij Amazon. Dit was 12 december 2004: de dag waarop Amazon garandeerde zijn zendingen voor kerst te leveren. De database van het shopping platform was maximaal opgeschaald en plots klapte het systeem eruit. Een bug in de database logging resulteerde in twaalf uur downtime op een van de meest cruciale dagen in het jaar. Van deze failure heeft Amazon veel geleerd. En die leerpunten zien we terug in het huidige dienstenaanbod van AWS. Vogels vervolgde met een doorkijkje naar de achterliggende technologie en architectuur van de AWS-diensten.

AWS Aurora

"Ondanks de verbeteringen met Aurora is de relationele database niet altijd de beste oplossing"

Everything fails all the time’. Het minimaliseren van de impact is dus van belang, reden voor AWS om met cell based architectures binnen de zogeheten availability zones te werken. De technische doorkijk begon gericht op databases. Relationele databases zijn ontworpen in de jaren tachtig voor andere hoeveelheden data. Deze zijn niet ingericht voor cloud en wereldwijde implementaties. We moeten weg van de jaren tachtig-databaseprincipes en het bedrijf heeft daarom AWS Aurora als relationele database-oplossing met database aware storage. Aurora repliceert zes keer met selfhealing-principes als een cell of zelfs een volledig datacenter faalt. Aurora is de cloud native-database en de basis voor innovatie, stelt Werner.

Ondanks de verbeteringen met Aurora is de relationele database niet altijd de beste oplossing. Kijkend naar de workload van AWS-klanten betreft ongeveer van 70 procent van de queries een single key value request, 20 procent meerdere rows en slechts 10 procent echt relationeel uit meerdere tabellen. Ook binnen een applicatie is het dus belangrijk per usecase de juiste database oplossing te selecteren. In 2012 lanceerde AWS DynamoDB en ook Amazon zelf heeft met AWS Database migratieservice zonder downtime veel workload binnen het retail-platform overgebracht naar DynamoDB. In DynamoDB heeft AWS nu automatic resharding toegevoegd, wat onder water zorgt dat op fysieke storage de performance gelijkmatig blijft schalen.

Amazon S3

De tweede core AWS-dienst waar een kijkje onder de motorkap werd gegeven was S3. Mai Lan Tomsen, verantwoordelijk binnen AWS voor onder meer S3, vertelde de essentie van S3. ‘Exabytes of Storage, Terabytes per second, It just works’. S3 is een van de eerste diensten van AWS in 2006. Het had toen acht  microservices as feature op S3. Momenteel zijn er dat 235+.

Durability op S3 storage is kern voor AWS. ‘Our commitment to your data’. En zo ontwikkelde AWS een echte ‘culture of durability’. Elke dienst krijgt een durability review (static analyses, checksums en spoofs, durability-checks en operational safeguards). Ook S3 kan een volledig datacenter missen.

AWS Redshift

Vogels vervolgde en keek naar zijn beste Amazon dag dit jaar. Dat was 1 november. Op die datum heeft Amazon een van de grootste Oracle datawarehouses uitgezet en vervangen voor AWS Redshift. Bijzonder genoeg merk je dat AWS deze re:Invent enkele keren met impliciete statements uithaalt naar Oracle. Iets wat AWS normaliter nooit doet. Oracle heeft natuurlijk recent zeer open en agressief de aanval op AWS gedaan in media-uitingen, dus AWS zet Oracle tijdens zijn conferentie weer even op zijn plaats.

AWS claimt dat Redshift voor Amazon Retail 17 keer meer performance voor queries biedt en tien keer meer voor bulk delete. En het product is voor alle klanten 3,5 keer sneller dan zes maanden geleden. Dit komt door productverbeteringen aan de achterzijde. Voor 87 procent van de queries op AWS Redshift hoeven klanten niet te wachten op de output van de query, maar Vogels stelt dat AWS niemand wil laten wachten. Daarom introduceert hij Redshift Concurrency Scaling. Voor elke 24 uur Redshift gebruik kan een klant één uur gratis bursten. Builders hoeven dus niet meer te wachten.

Na Redshift kwam de chief product officer van Fender Digital, een dochter van Amerikaanse producent van muziekinstrumenten en muziekapparatuur, op het podium. Hij vertelde hoe AWS het bedrijf helpt te digitaliseren. Fender, ontwikkelaar van apps, websites en ict-tools, koos voor AWS om zicht geen zorgen te hoeven maken over de infrastructuur en om te kunnen schalen. Het bedrijf beweegt naar volledig serverless en wil machine learning inzetten voor betere klantervaringen. Ook een voice interface staat op de roadmap bij de leverancier.

AWS Lambda

Vogels vervolgt met serverless. Sinds de lancering in 2014 zijn veel features toegevoegd aan AWS Lambda, maar ook deze re:Invent worden er zaken aangekondigd. ‘95 procent of AWS feattures and services are built based on direct customer feedback’, zegt hij. En daaruit volgt toevoeging van de AWS ontwikkel-toolkit voor PyCharm, IntelliJ en Visual Studio Code. Ook maakte de cto bekend dat Ruby-ondersteuning is toegevoegd aan AWS Lambda.

Om iedere developer in zijn eigen taal te kunnen laten bouwen, beschikt het product nu ook over ‘Custom Runtimes’. Hiermee kan elke Linux compatible runtime codes worden gebruikt. Denk aan bijvoorbeeld PHP en Cobal. Verder kreeg Lambda nog de toevoeging van Lambda Layers. Dit scheelt duplicatie van code door de mogelijkheid voor refereren.

Voor orkestratie van serverless apps, is er AWS Step Functions. Binnen Step Functions zijn er nu integraties met acht andere veel gebruikte AWS-diensten aangekondigd. Tot slot in het serverless-domein ondersteun de AWS api gateway nu ook Websocket en kan de AWS Application Load Balancer nu ook naar Lambda loadbalancen.

Meer cloud adoptie in Nederland

"Er zijn nog steeds veel bedrijven in Nederland die niet met AWS werken"

Ik ben echt onder indruk hoe groot de AWS-community op wereldschaal is. Ondanks dat ik als AWS-cloudconsultant bij onze klanten dagelijks tot innovatieve oplossingen op AWS zie ontstaan, realiseer ik me dat we in Nederland nog veel meer adoptie zullen gaan maken. Ondanks dat er wel degelijk niveau innovatie met AWS bij aardig wat van onze klanten al plaatsvindt, zijn er ook nog steeds veel organisaties zonder AWS. Natuurlijk ben ik wat bevooroordeeld, maar in mijn ogen zou elke organisatie moeten experimenteren met of zich verdiepen in AWS. Mijn missie voor 2019: Zo veel mogelijk organisatie AWS enabled maken en ze meer leren over deze technologie.

(Dit artikel is eerder verschenen in Computable in November 2018)