Observability geobserveerd - part 2

In de wereld van IT lijkt het soms alsof we ons bezighouden met digitale magie. We werken met systemen die we niet kunnen zien of aanraken, maar die tegelijkertijd de ruggengraat vormen van moderne organisaties en zelfs onze samenleving. Het is van het grootste belang om deze digitale magie te ontrafelen. Zonder deze onthulling blijven we verrast worden door de grillige aard van deze toverij. Observability is de kunst om de magie te doorzien en te streven naar een transparante, liefst voorspelbare werking van onze IT-systemen, zonder enige hocus pocus.

Welkom terug bij “Observability geobserveerd”, onze serie van drie blogs waarin we dieper graven in de wereld van Observability. Hiermee zetten we een eerste stap in het ontrafelen van de digitale magie. In het vorige deel namen we een duik in de opkomst van Observability en ontdekten we de allereerste trend. Maar dit is zeker nog niet alles. In dit tweede deel gaan we verder en onthullen we nog eens drie boeiende trends.

Trend 2 – Het aantal doelgroepen groeit

Eerder is de centrale control room al genoemd. Eigenlijk is het daar allemaal begonnen. De operators van de computers vormden de eerste doelgroep van monitoring. Momenteel beperkt het zich hier niet meer toe. Er zijn veel meer doelgroepen die behoefte hebben aan informatie over de werking van de systemen.

Het woord ‘systeem’ moet daarbij ook ruim gezien worden. Begon het ooit vooral met infrastructurele componenten, hebben we het nu minimaal ook over de middleware oplossingen en de applicaties. Maar om de volgende stappen te maken, voegen we hier de informatieketen en de voortbrengings/beheer-processen aan toe. We kijken naar de werking van de gehele keten en ook naar hoe vaak en hoe we deze aanpassen.

Naast de traditionele doelgroepen als de beheerorganisatie van de infrastructuur en die welbekende centrale control room, zien we nu tevens de volgende doelgroepen:

Data management – de kwaliteit, bereikbaarheid, actualiteit en het gebruik van de data
Applicatie Ops – de non-functional requirements (zoals performance) van de applicaties
Applicatie Dev – het aantal maal, de snelheid en de juistheid van de CI/CD
Business analisten / Functioneel Beheer – de juistheid en het gebruik van de functionaliteit van de applicaties
Business domein – de value uit de informatieketens
Platform Enablement – de werking, toepasbaarheid en het gebruik van de platformen (bijv. containerplatform)
Architecten – de mate van toepassen van de architectuur componenten en principes
Security officer – de veiligheid van de volledige IT-infrastructuur en de applicaties en de mate waarin/ de snelheid waarmee kwetsbaarheden worden opgelost
Compliance officer – de mate waarop voldaan wordt aan de compliance maatregelen op het gebied van people, process en technology

Trend 3 – Van reactief handelen naar voorspellen (predictive)

Bij de traditionele inrichting van monitoring rijdt de organisatie in een auto door in de achteruitkijkspiegel te kijken. Men ziet dat er binnen de lijnen op de weg gereden is. Maximaal kan men zien dat er op dit moment goed gereden wordt. Maar je moet gaan anticiperen op wat er op de weg voor je gebeurt.

Door het inbouwen van thresholds creëren we in ieder geval wat ruimte om te kunnen gaan reageren voordat het echt fout gaat. Een stapje verder is om, op basis van de historische gegevens, trends te gaan herkennen. Dus trends stellen ons in staat om problemen aan te zien komen. Dan kunnen we proactief hierop gaan reageren en mitigeren we het (zeer waarschijnlijk) komende probleem.

Dit is een aanzienlijke verbetering van de kwaliteit want we voorkomen hiermee dat een systeem onvoldoende presteert. Nog een stap vooruit is het gaan voorspellen van toekomstige ontwikkelingen, zonder dat deze trend al duidelijk herkenbaar is. Het is mogelijk om hiervoor gegevens van buiten je eigen organisatie te gebruiken. Dit geeft de organisatie de meeste tijd om te acteren. Alleen moet je goed weten te beoordelen of een risico ook daadwerkelijk gemitigeerd moet gaan worden. Anders verbrand je veel energie aan het voorkomen van iets wat bij jou nooit gaat optreden.

De omschakeling van reactief naar proactief en vooral naar voorspellend verlangt dat je tijd steekt in het gaan leren van wat metingen nu echt betekenen. Dit heb je ook niet van vandaag op morgen onder de knie. Maar als je nooit begint, zal je altijd reactief blijven.

Trend 4 – ‘Black boxes’ gaan open

Tot nu toe waren de componenten die gemonitord werden in grote mate black boxes. Je zag aan de buitenkant, door de output van het component, dat deze niet goed functioneerde, maar waarom dat zo was kon je niet zien. Dit speelt/speelde voornamelijk bij applicaties. Door middel van log en trace informatie is het mogelijk om veel meer te weten komen. Alleen moet deze maar net beschikbaar zijn voor het deel waar het fout gaat.

De moderne Observability oplossingen krijgen steeds meer deze mogelijkheid wel. Zo zijn er performance monitoring voor applicaties die tot op diep detailniveau aangeven wat er waar fout gaat. Natuurlijk zijn dit zelf ook weer tools die operationeel gehouden moeten worden en resources verbruiken. Het ergste wat je kan overkomen is dat een dergelijke tool zelf in de top 10 van performance vretende tools kom te staan.

Het is een goede ontwikkeling dat we steeds meer in staat zijn om in de componenten te kijken, om issues te detecteren en deze te kunnen oplossen. Toch kunnen de tools zeker nog niet in alle behoeftes op dit gebied voorzien. Daarom is het van belang dat de mogelijkheid om de werking van een applicatie en/of een informatieketen te kunnen volgen opgenomen wordt als een non-functional requirement. Eventueel moet de applicatie verrijkt worden met functionaliteit hiervoor door bijvoorbeeld specifieke logging of tracing informatie op te slaan. Dit moet ook gedefinieerd, ontworpen en gerealiseerd worden als onderdeel van de applicatie.

Nog meer trends

We hebben nu vier trends bekeken. Er is nog meer, eigen teveel om op te noemen. Zeker teveel om allemaal hier te behalen. Zo is er natuurlijk ook de opkomst van AI. Dit gaat zeker veel brengen, ook binnen Observability. Maar ook onderwerpen als ‘de integratie van Observability en business data’, ‘de relatie tussen het implementeren van Observability en SRE’ en ‘Observability in een cloud-strategie’ zijn heel interessant. Wellicht daar later meer over.

Cliffhanger

Deze trends zijn zeker boeiend. De vraag is alleen; ‘Hoe gaan we hier mee om?’. En dat is de cliffhanger naar de derde blog in deze reeks. Stay tuned!