04 May 2023

Highlights Kubecon 2023; Kubernetes onder de zeespiegel

Benoit Schipper - HCS Company
Benoit Schipper
Marcel Booms
Wouter Scholte in 't Hoff
Kubernetes

Ook dit jaar was er weer een nieuwe editie van KubeCon 2023. HCS’ers Thomas, Wouter, Vincent, Klaas-Pieter, Marcel K, Benoit, Marcel B en Thijs mochten dit jaar genieten van een week KubeCon in ons eigen Amsterdam! 

Pre-Conference

Tussen de historische grachten en monumentale gebouwen biedt Amsterdam een uitgebreide technische en innovatieve scene. Een perfecte locatie voor de grootste manifestatie rondom Cloud Native en Kubernetes; Kubecon. Kubecon is een jaarlijkse conferentie voor ontwikkelaars en operators van Kubernetes en cloud native applicaties. Onze conferentie-ervaring begon met een gezamenlijk ontbijt bij “De Uitsmijter”, een gezellig restaurant in de buurt van de conferentiehal. Na ons ontbijt waren we klaar om ons onder te dompelen in de wereld van Kubernetes en alles wat erbij hoort.

KubeCon is het grootste open source event van Europa. Dit jaar is het event wederom gegroeid en wordt bezocht door ruim 10.000 bezoekers. Tijdens KubeCon worden er keynote speeches gehouden door vooraanstaande sprekers uit de industrie en er zijn tal van sessies en workshops waarbij deelnemers de kans krijgen om dieper in te gaan op specifieke onderwerpen. Bovendien is het evenement een geweldige gelegenheid om te netwerken met andere professionals en om nieuwe ideeën op te doen voor toekomstige projecten. Dit jaar had de conferentie een speciaal thema – “Community in Bloom” – dat de nadruk legde op het belang van samenwerking, open-source software en community-gedreven innovatie. Aangezien alle sessies werden opgenomen werd de tijd verdeeld over het bezoeken van een aantal sessies en de vele stands in de twee beurshallen. Lees verder om meer te weten te komen over onze ervaringen bij Kubecon en wat wij geleerd hebben tijdens deze toffe conferentie. 

Dag 1 – Dinsdag 18 april

GitOps

Binnen de Cloud-Native community is GitOps inmiddels een bekend begrip. Maar dat betekent niet dat er dan niks meer over te vertellen valt. Ook dit jaar was er weer een ruim aanbod van sessies, bedrijven en open-source projecten waar je je in kon verdiepen. Zo gaf het bedrijf CodeFresh een interessante sessie over het stress testen/load-testen van Argo CD. Doormiddel van vCluster en een slim script is het mogelijk om Argo CD resources te genereren en af te vuren op je cluster. Daarmee kun je eigen opgestelde betrouwbaarheid requirements toetsen of toch juist de limiet opzoeken van wat jouw Argo CD omgeving aankan. Wil je hier nu zelf mee aan de slag? Dat kan! De code staat weliswaar verstopt in de Argo CD repository, maar met wat hulp kun je het hier vinden. Veel test plezier! 

eBPF & Cilium

Natuurlijk kan eBPF niet ontbreken op KubeCon. Deze “nieuwe” techniek is immens populair en veel bedrijven zetten in op deze techniek. Het is een revolutionaire technologie met oorsprong in de Linux-kernel, die “sandboxed” programma’s kan uitvoeren in een bevoorrechte context, zoals de operating system kernel. Het wordt gebruikt om veilig en efficiënt de mogelijkheden van de kernel uit te breiden zonder dat het nodig is om kernel-broncode te wijzigen of kernel modules te laden. 

Het besturingssysteem is altijd al een geweldige plek geweest om observability, beveiliging en netwerkfunctionaliteit te implementeren. De kernel heeft immers de bevoorrechte mogelijkheid om het hele systeem te overzien en te controleren. Hoewel de ontwikkeling van een besturingssysteemkernel moeilijk is vanwege de centrale rol en de hoge eis voor stabiliteit en beveiliging, heeft deze technologie ons in staat gesteld om innovatie te blijven stimuleren en nieuwe functionaliteiten te ontwikkelen.  

Eén van de bedrijven die vol heeft ingezet op eBPF is Isovalent met één van hun service mesh producten genaamd Cilium. Daarvoor was wederom volop aandacht. Cilium is open source software om de netwerkconnectiviteit tussen applicatieservices, die worden ingezet met behulp van Linux-containerbeheerplatforms, zoals Kubernetes, transparant te beveiligen. De basis van Cilium is een die nu wel bekende Linux-kerneltechnologie genaamd eBPF. Aangezien eBPF losgekoppeld is van het containerplatform kan men helemaal losgaan zonder dat er wijzigingen in de applicatiecode of containerconfiguratie nodig zijn. Cilium biedt een heel ecosysteem die naadloos integreert met vele oplossingen. Ontwikkelingen rondom eBPF en Cilium gaan razendsnel. Voor meer informatie over Cilium, check vooral ook de documentatie. Mocht je meer willen weten over Cilium met betrekking tot jouw Kubernetes distributie en omgeving? Neem dan vooral contact met ons op! 

CiliumCon 2023

Eén van de co-located events tijdens Kubecon 2023 was CiliumCon. De allereerste CiliumCon ooit vond plaats op deze dinsdagochtend, met presentaties van gebruikers zoals Bloomberg, New York Times en Robinhood. In deze presentaties werd het product Cilium geïntroduceerd en wordt uitgelegd hoe dit product het bedrijf Isovalent eBPF-technologie gebruikt om geavanceerde netwerk- en beveiligingsfuncties te bieden. Vervolgens kwam de integratie van Cilium met Istio aan bod, een populaire service mesh voor Kubernetes. Goed om te zien dat bedrijven elkaars technologie omarmen in plaats van uitsluiten. Ook lag de nadruk op de mogelijkheden van Cilium voor het beveiligen van microservices in Kubernetes-clusters. Vaak een gedachte achteraf, maar gelukkig staat naast alle functionaliteit ook beveiliging even hoog op de agenda voor Isovalent. Mocht je meer willen weten over eBPF-technologie, volg dan deze link voor alle talks van CiliumCon 2023. 

Voor een aantal van ons eindigde CiliumCon met een Cilium Hive Mingle Partner Event in Amsterdam.  Het was leuk om met de mensen achter de mooie producten van Isovalent te kunnen spreken. Isovalent, het bedrijf achter Cilium, gaf daar een fantastische afterparty op een mooie locatie in Amsterdam-Zuid. Naast het feit dat het enorm leuk was om de Isovalent rock stars als Liz Rice (Chief Opensource Officer) en Thomas Graf (Chief Executive Officer) te zien en spreken was het mooi om te zien dat er zoveel mensen interesse hadden in eBPF gebaseerde technologie. Vergeleken met vorig jaar in Valencia is Isovalent enorm gegroeid en hebben ze enorme slagen gemaakt met onder andere Cilium maar ook tetragon en Hubble. Goed om te zien hoe hun producten nu ook bij de grote cloud providers ingezet worden. Wij verwachten veel van Isovalent de komende jaren, houd ze vooral in de gaten! 

Dag 2 – Woensdag 19 april

Observability

Eén van de andere methodieken waar veel aandacht naar uitgaat op KubeCon is observability. Dit is de verzamelnaam voor metrics, logs en tracing. Met de switch naar microservices zijn deze balangrijker dan ooit! Raymond de Jong en Anna Kapuścińska van Isovalent gaven een inkijkje in de mogelijkheden van Cilium en Grafana. Doormiddel van een demo applicatie was duidelijk te zien hoe metrics vanuit Cilium en Prometheus beschikbaar gesteld worden aan Grafana. Daarbij heeft Isovalent standaard dashboards beschikbaar gesteld om een uitgebreid overzicht te krijgen van hoe een applicatie zich gedraagt binnen Cilium. Isovalent en Grafana hebben verder nog grote ambities voor de toekomst dus wij zijn erg benieuwd waar ze mee gaan komen. 

Microservices architectuur heeft het ontwikkelaars mogelijk gemaakt om software sneller en onafhankelijker te bouwen. Om een systeem observeerbaar te maken, moet de code instrumentatie bevatten, die traces, metrics en logs uitstoot. Om deze gegevens te verzamelen en te analyseren, zijn Observability back-ends nodig. OpenTelemetry (OTel) biedt een gestandaardiseerde set van tools, API’s en SDK’s die gegevens verzamelen en naar een Observability back-end sturen, ongeacht of deze open source of commercieel is. Dit vervangt de vroegere noodzaak om voor elk Observability back-end aparte instrumentatie bibliotheken en agents te hebben en zorgt voor een gestandaardiseerd gegevensformaat. Een van de grote voordelen van Cilium is de ondersteuning voor service mesh, cluster mesh & server mesh. Cluster mesh is Service Mesh over verschillende Kubernetes clusters (en andere varianten) heen. Door Cilium ook op traditionele Linux en Windows servers te installeren ontstaan ook Server Mesh omgevingen waarin applicaties naadloos met elkaar kunnen communiceren en observability hoog in het vaandel staat. 

Developer portals

Steeds meer organisaties kiezen voor het omzetten van monolithische applicaties naar microservices. Daarmee ontstaan vaak meer kleinere teams die dan verantwoordelijkheid nemen over een beperkte set van microservices. Door deze splitsing groeit het management van dit applicatielandschap enorm. Hoe krijg je nou nog overzicht in dit complete landschap? Dat is waar developer portals in beeld komen. Op deze editie van KubeCon was er ook veel aandacht voor deze developer portals. Denk daarbij bijvoorbeeld aan Backstage, het developer portal project van de CNCF origineel ontwikkeld door Spotify. 

Eén van de sessies over Backstage ging over het bedrijf AppsFlyer die ons meenam in de reis van het migreren van meer dan 1000 applicaties naar Backstage. Je moet het maar even doen. Dit ging om applicaties die gebruik maakten van GitOps en Terraform voor het uitrollen van de vereiste infrastructuur. Het is erg leuk om te zien dat naast de technische sessies er ook sessies zoals deze worden gehouden die aantonen hoe organisaties nieuwe technieken implementeren. Als het over deze grote van schaal gaat dan loop je namelijk vanzelf tegen wat hobbels aan… 

Cloud Native gamen bij Playstation “How to solve a problem like realtime gaming?”

Eén van de leukere presentaties was die van Playstation (de zaal was bomvol). Ook Playstation maakt gebruik van Kubernetes voor hun gameservers. De presentatie begon met de uitleg over de verschillende manieren waarop games informatie met andere spelers uitwisselen. Gaat het om een turn-based game, bijvoorbeeld een bordspel, of een realtime game zoals Fortnite. Praten de gameclients rechtstreeks met elkaar en/of communiceren zij ook met een gameserver? Iedere methode heeft zo zijn voor -en nadelen. Playstation gebruikt Kubernetes en Agones om gameservers te hosten. Agones is een extensie op Kubernetes waardoor het cluster weet welke gameservers (lees containers) idle zijn en welke players bevatten. Met name voor het op/afschalen van gameservers bij drukte of onderhoud van een clusters is het handig om te weten welke containers herstart kunnen worden zonder dat gamers daar iets van merken. Zie https://agones.dev/site/docs/overview/ voor meer informatie over running dedicated game servers op Kubernetes. 

Cloud Native Security volgens ING

De ING (bank) gaf een presentatie over hoe zij Zero Privilege Architectures zien op containerplatformen. Zij maakten de analogie van Security met een gepantserde wagen. Meer security betekent o.a. meer security tools op de wagen erbij bouwen. Security heeft een paradigmashift nodig. Secure by design en niet alleen maar meer security producten introduceren om het platform te beveiligen. Secure by design houdt in dat applicaties volledig automatisch worden gescand, gebouwd, getest en gedeployed via pipelines. Een onderdeel van security by design is het afschermen van het containerplatform voor iedere vorm van toegang anders dan applicatieverkeer. Niemand kan meer op het containerplatform aanloggen. Dit betekent dat bij vermeende toegang of toegang via een noodprocedure altijd leidt tot het volledig opnieuw uitrollen van de applicatie of omgeving. Ook logfiles kun je niet “ophalen”, deze worden vanuit het platform op een event bus gepushed.

Paneldiscussie OpenSource

Een andere interessante sessie was een paneldiscussie tussen diverse bekende personen uit de open source wereld. Twee takeaways waren “Herinner techies aan welke problemen hun software oplost in plaats van welke oplossingen zij aan het ontwikkelen zijn”. De tweede ging over marketing in het algemeen en Open Source marketing. Als een Open Source product populair is dan is dat niet dankzij marketing, maar is het een geluk voor de marketingafdeling. Marketing gebeurt door de community. Betrokkenheid van de community kan leiden tot het succes. 

House of Kubes!

Na veel interessante talks was het woensdagavond tijd om met de voeten van de vloer te gaan tijdens de ‘House of Kubes’! Dit feest werd georganiseerd door HashiCorp op een enorm gave locatie: Fabrique des Lumières. De avond begon dan ook met mooie animaties begeleid door Pink Floyd. Na veel gezelligheid en veel biertjes was het tijd om terug te gaan naar onze Airbnb om nog wat uurtjes slaap te pakken voor weer een dag vol met Kubernetes.

Dag 3 – Donderdag 20 april

Ingress-NGINX & CVE’s 


In 7 jaar tijd heeft Ingress-NGINX 221 releases gehad met meer dan 6800 commits. Om stabiliteit te garanderen en deze sterk configureerbare controller te testen, is het project uitgebreid met meer dan 400 e2e-tests en HELM-chart tests op verschillende Kubernetes versies en implementatielandschappen. Maar wat gebeurt er als er een CVE (common vulnerabilities and exposures) ontdekt wordt? James Strong (Chainguard) en Dylen Turnbull (NGINX/F5) namen ons mee aan de hand van een echt voorbeeld. Ditmaal ging het over CVE-2021-25742. Deze CVE betrof een beveiligingsprobleem in Ingress-NGINX waarbij een gebruiker die in staat is om ingress-objecten te maken of bij te werken, de aangepaste snippet-functie kan gebruiken om alle secrets in de cluster te verkrijgen. Niet per se wat je wilt! 

Zo’n CVE oplossen duurt langer dan je denkt aangezien Ingress-NGINX enorm veel gebruikt wordt moet je namelijk zeker zijn dat alles op alle distro’s en voor alle bedrijven die onder water Ingress-NGINX gebruiken moet blijven werken. Om een idee te geven van de complexiteit: Men moet rekening houden met 4 codebases (Golang, alpine, NGINX en LUA), 1 Kubectl plugin, 2 monitoring frameworks, third party plugins, 7 statische configuraties, 30 NGINX modules, 43 dependancies gecompileerd verdeeld over 4 architecturen voor 3 Kubernetes versies, 68 Command Line Flags, 118 annotations, 186 NGINX configuratie opties en 400+ end to end tests. Dit heeft dan ook minimaal 4 uur bouwtijd nodig om alles te doorlopen. Dit was voor ons wel verhelderend en maakt het ook begrijpelijk dat er nog CVE’s gevonden worden. Wil je meer te weten komen over hoe NGINX dit allemaal doet? Bekijk dan vooral deze video. 

KuBBBecon: Bier, fun en bowling 

Donderdagvond organiseerde HCS Company samen met AT Computing, SUSE, NGINX, Kangaroot Linux & Open Source Solutions, Ingram Micro, Xifeo ICT B.V., Red Kubes en EDB de eerste editie van KuBBBecon 2023; de BeNeLux Bowling Borrel.

Twaalf bowlingteams bestaande uit partners en klanten gingen met elkaar de strijd aan! Zo waren ook Marcel K. en Vincent teamcaptains en waren ook de andere HCS’ers te vinden op de bowlingbaan. Strike na strike werden gegooid, maar helaas mocht het niet baten, want Red Kubes ging er dit jaar met de wisselbeker vandoor. Het was een fanatieke avond vol met netwerken en vooral veel fun!

De laatste dag – Vrijdag 21 april

En dan is het opeens vrijdagmiddag en is KubeCon alweer ten einde gekomen. Kubecon 2023 was een onvergetelijke ervaring vol inspiratie, kennis en connecties. Het was geweldig om deel uit te maken van deze gemeenschap die gedreven wordt door innovatie en vooruitgang. Het heeft ons geïnspireerd om verder te gaan en te blijven streven naar nieuwe hoogten. We kunnen niet wachten om te zien wat de Cloud-Native community in de toekomst allemaal gaat brengen. Maar één ding is zeker, wij houden het voor je in de gaten!

Na afloop kwamen wij met onze HCS-collega’s bij elkaar om samen de Kubecon week af te sluiten. Iedereen had wel iets te vertellen over wat hen het meest was opgevallen en wat hen het meest had geïnspireerd. Hierbij kwamen vanuit verschillende hoeken interessante technologieën naar boven. Op Containerisatie niveau waren dat OpenShift, NGINX, Rancher, Cilium, EKS/AKS en veel meer. Op het gebied van Automation was dat Ansible, Tekton, Knative en ArgoCD en meer. En op het Observability vlak kwam OpenTelemetry, Grafana, Elastic en de samenhang met eBPF naar voren. Genoeg om de komende tijd over na te denken. Het was weer een geslaagde avond vol met interessante gesprekken en verhalen over de recente gebeurtenissen op Kubecon Amsterdam 2023.

Bedankt aan iedereen die dit mogelijk heeft gemaakt en laten we samen op weg gaan naar een nog spannendere toekomst! 

Ben je nu zelf nieuwsgierig geworden naar de sessies van Kubecon 2023 Amsterdam. Via deze link kun je inmiddels rustig alle sessies zelf terugkijken.