15 November 2023

Observability geobserveerd - part 3

Jan Buurman
Observability

In de wereld van IT lijkt het soms alsof we ons bezighouden met digitale magie. We werken met systemen die we niet kunnen zien of aanraken, maar die tegelijkertijd de ruggengraat vormen van moderne organisaties en zelfs onze samenleving. Het is van het grootste belang om deze digitale magie te ontrafelen. Zonder deze onthulling blijven we verrast worden door de grillige aard van deze toverij. Observability is de kunst om de magie te doorzien en te streven naar een transparante, liefst voorspelbare werking van onze IT-systemen, zonder enige hocus pocus.

Welkom terug bij “Observability geobserveerd,” onze reeks van drie blogs waarin we dieper ingaan op de wereld van Observability en de eerste stappen zetten in de onttovering van IT. We hebben al vier opwindende trends verkend en nu is het tijd om te zien hoe we hier grip op gaan krijgen. Dit draait allemaal om het concept van het denken en werken met platformen. Dit is eerlijk gezegd niet beperkt tot Observability alleen.

Observability storm

Traditioneel heeft elke infrastructuur- of middlewarecomponent zijn eigen monitoringoplossing. Denk maar aan de tools voor de monitoring van netwerken, storage, servers of databases. Om de control room te voorzien van de benodigde input brengen we de info uit al deze tools tezamen ten behoeve van de tool in de control room. Maar de beheerders van de verschillende infrastructuur- of middlewarecomponenten gebruiken hun eigen spullen en richten deze in naar hun eigen behoeften.

Op zich niets mis mee. Sterker nog, uitgaande van een ‘fit for purpose’ principe is dit heel goed. Zoals we ook in de beschreven trends al zien, komen er steeds meer tools die we (kunnen) gaan gebruiken. Kijk bijvoorbeeld eens naar de Open Source initiatieven op het gebied van Observability. Het stormt!

Individueel gezien zijn veel van deze tools handig om te gebruiken. Ze brengen net weer een ander component van ons IT-landschap in beeld en/of ze bedienen net weer een andere doelgroep. Foute boel? Op zich niet, alleen willen we versnipperde inzichten weer bij elkaar brengen en moeten we grip houden op wat we aan het doen zijn.

Bundelen van inzichten

Allerlei tools voor verschillende doeleinden leiden tot versnipperde inzichten. Kijk je er naar één dan zie je niet het totale beeld. Om een compleet beeld te krijgen van de prestaties en gezondheid van de informatie voorziening is een holistisch beeld nodig, een ‘single pane of glass’. Hiervoor integreren we complete gegevensbronnen. Hierin is het woord ‘complete’ belangrijk. We aggregeren de informatie dus niet, maar nemen alle data over logs, metrics, events en tracing mee.

Met deze gebundelde data zijn we in staat om visualisaties op een integraal niveau te creëren. Dat geeft nieuwe inzichten.  Door het correleren van al deze gegevens is het mogelijk om situatie te detecteren en waarschuwingen te generen die we niet zien als we enkel naar de gegevens in één enkele tool kijken. Er is wel een keerzijde … weer een tool erbij.

Platformconcept

Met het bundelen van de data lossen we het probleem van de versnipperde inzichten op. Een probleem dat is ontstaan door het gebruiken van meerdere separate tools. Maar eigenlijk is dit een soort van doekje voor het bloeden. We krijgen hierdoor geen grip op hetgeen wat we aan het doen zijn. Als we iedere doelgroep z’n eigen gang laten gaan dan lopen we de kans op een enorme wildgroei aan tools, met alle gevolgen van dien. Observability wordt zelf een deel van die ondoorgrondelijke magie van de IT.

Het platformconcept biedt hiervoor de oplossing. Met zo’n platform beschouwen we al deze tools/producten als één geheel, het Observability platform. Op het niveau van het platform maken we onder andere een overkoepelende visie, ontwerp en opzet. De kern van het platformconcept is dat dit ervoor zorgt dat we niet meer alle tools als losse instrumenten beschouwen, maar juist als één logisch geheel. Om dit te bereiken geven we invulling aan een set van inhoudelijk onderwerpen op dit overkoepelde niveau. Deze onderwerpen zijn onder andere:

  • Visie/doel: Ambities, eisen, doelen, dromen, oplossen belemmeringen omgezet in een visie en strategie
  • Besturing: Governance, vertaalt naar eigenaarschap, inhoudelijk (architectuur) en dienstverlening
  • Positionering: ‘Verticaal’ van de verschillende tools binnen het platform (incl beslisboom) en
    ‘horizontaal’ van dit platform ten opzichte van andere platformen
  • Dienst: Voor de afnemers van het platform een ‘self service voor de 13-in-dozijn-diensten, aangevuld met enablement voor complexere en specifiekere ondersteuning
  • Waarde: Beoogde en gerealiseerde (business) waarde
  • Kennis: Eventueel benodigde kennistransitie binnen de organisatie
  • Doorontwikkeling: Een continue verrijking van de functionaliteit van het platform
  • Organisatie: Inrichting van team(s) ten behoeve van Platform (Reliability) Engineer voor run en change voor de tools en Platform Enablement voor het realiseren van een optimaal gebruik van het platform

De bovengenoemde onderwerpen zijn met name degene aan de harde zijde van het platformconcept. Deze worden gecomplementeerd met een aantal aan de zachte zijde. Denk hierbij aan ‘de impact op medewerkers’, ‘een aantal mindset principes’ en eventueel ‘een gedragsverandering’.

Terwijl dit soms wel gedacht wordt legt het platformconcept geen belemmering op innovatie, verbeteringen van de Way of Working of het gebruik van (moderne) tools. Doordat het platform juist richting aan wat we willen en (gaan) doen, biedt het duidelijkheid. Dit stimuleert het gebruik van het platform en daarvoor is het nu juist ook bedoeld.

Wil je hier meer over weten, kijk dan eens naar:
Platforms: buzzword, hype or ‘the next big thing’?! (hcs-company.com)
Platforms; This is how we do it! (hcs-company.com)

Observability: Het demystificeren van digitale magie

In deze reeks blogs, “Observability geobserveerd,” zijn we aan de slag gegaan met wegnemen van de magie rondom onze IT-systemen. Met Observability onthullen we de innerlijke werking van deze systemen. Via een viertal trends hebben we je een inkijkje gegeven in de opwindende ontwikkelingen binnen Observability. En met het platformconcept houd je grip op de zaak.

Zoals eerder in de blogs aangegeven kunnen we nog veel meer vertellen over Observability. Dat doen we nu niet, kan altijd nog. We moeten van Observability niet ook een magische formule maken. Ik zie het als een superkracht. Het stelt ons in staat om de grillen van onze IT-landschap te begrijpen, te beheersen en op te anticiperen. Het is een onmisbaar instrument in een wereld waarin onze afhankelijkheid van digitale systemen alleen maar groeit.