BOUW AAN EEN GEÏNTEGREERD IT-LANDSCHAP. VOOR MEER INZICHT IN GEGEVENS.
De laatste tijd worden grote ondernemingen en Mkb’s niet alleen steeds meer geconfronteerd met een overvloed aan data in allerlei formaten, maar ze moeten ook navigeren door een breed scala aan opties voor gegevensopslag – on-premise, private clouds, publieke clouds of zelfs hybride mogelijkheden. En dan hebben we het nog niet eens over het gebruik van Edge- en IoT-apparaten of het leren omgaan met de verschillende manieren waarop gegevens kunnen worden gebruikt – bijvoorbeeld intern via ETL-processen, datawarehousing of mass dataprocessing, maar ook extern binnen de context van IoT of business intelligence.
Dit brede scala aan mogelijkheden kan nadelige effecten creëren voor IT-systemen. Het kan leiden tot datasilo’s, de kwaliteit van data beïnvloeden, datamigratie belemmeren, de invoering van diverse integratietools noodzakelijk maken, de toegang tot informatie beperken en uiteindelijk de kosten van data-integratie flink omhoogjagen. Conventioneel datamanagement wordt ook tot het uiterste benut om aan allerlei eisen te voldoen. Het moet mogelijk zijn om enorme hoeveelheden gegevens periodiek of event-based aan te vragen en deze informatie in real-time beschikbaar te maken voor alle bedrijven. Ongeacht de locatie. Tegelijkertijd moet het mogelijk zijn om bedrijfsrelevante analyses te creëren. Daar komt nog bij dat de vooruitgang van de automatisering op het gebied van data-integratie en -beheer de traditionele strategieën onder druk zet.
WAT IS EEN DATA FABRIC PRECIES?
Dit is waar data fabric om de hoek komt kijken. Een data fabric is een IT-architectuur ontworpen om de toegang tot gegevens en dataconsumptie binnen een organisatie te vereenvoudigen. Een data fabric is geen applicatie of softwareoplossing, maar meer een strategie om gedecentraliseerde dataopslag, -verwerking en -beheer te realiseren. Het maakt het mogelijk om data te onderhouden en bewerken in diverse, gedistribueerde en complexe omgevingen en omspant hele ondernemingen als een soort sluier. Vandaar de term ‘fabric’.
Gegevens op deze manier verbinden en structureren biedt vele voordelen. Bijvoorbeeld bij het vergelijken van leveranciers kunnen bedrijven verder gaan dan alleen eenvoudige prijsvergelijkingen en keuzes baseren op verschillende criteria zoals betrouwbaarheid, kwaliteit en compliance. Deze proces- en productgegevens kunnen worden bekeken, gekoppeld en samengevoegd met productiegegevens. Vervolgens kan de informatie worden geëvalueerd en teruggekoppeld naar de productie. Wanneer het bijvoorbeeld om bederfelijke goederen gaat, kan uit analyses blijken dat een strikte naleving van de leveringstermijnen invloed heeft op de kwaliteit van het tussenproduct, de snelheid waarmee het geproduceerd kan worden en uiteindelijk op de haalbare productprijs.
DATA DIE SAMENWERKING IN GEDISTRIBUEERDE OMGEVINGEN ONDERSTEUNT.
Wie alleen met conventionele data-integratiestrategieën werkt, waarbij alle data op één locatie wordt opgeslagen en maar één afdeling bij kan, gaat bijvoorbeeld geen machinegegevens overdragen aan de inkoopafdeling. Hoewel de gegevens worden verzameld, heeft slecht één afdeling van het bedrijf er toegang toe. Er is geen mogelijkheid voor een totaaloverzicht van alle informatie. Met een data fabric zijn deze gegevens on-demand beschikbaar voor iedereen binnen het bedrijf. Voor bijvoorbeeld analyse, productie of inkoop. Wat betekent dat processen kunnen worden geanalyseerd en aangepast op basis van feiten.
Het doel van een data fabric is de beschikbaarheid van gegevens te optimaliseren, de samenwerkingsvoordelen binnen gedistribueerde omgevingen te ontgrendelen, wrijvingsverliezen te minimaliseren, correlaties te identificeren en kosten te besparen dankzij inzichten die gebaseerd zijn op gegevens. Het gegevensbeheer wordt gestroomlijnd en kruisbestuivingen tussen opslag in de cloud en lokale apparaten zijn niet langer verstorend. Een ander voordeel is dat bestaande datadiensten eenvoudig kunnen worden omgezet naar toekomstige structuren. In plaats van dat ze moeten worden vervangen – tegen soms aanzienlijke kosten.
De implementatie van een data fabric creëert een ecosysteem voor datamanagement met een hoge kwaliteit van gegevens, herbruikbare dataservices, data leesbaar door machines en API’s die data-integratie en -bewerkstelliging mogelijk maken – zowel intern binnen een bedrijf als extern met zijn partners. Gebruikers hoeven niet langer te gokken waar de gegevens zich bevinden, hoe ze erbij kunnen komen en of het veranderen van data een impact zou kunnen hebben op anderen.
TO-DO LIJSTJE VOOR HET IMPLEMENTEREN VAN EEN DATA FABRIC.
Vanuit dit oogpunt is een data fabric een logische uitbreiding van slimme data-integratie en versnelt het de digitale transformatie van bedrijven. Bij de implementatie van een data fabric-architectuur moeten de volgende overwegingen en processen onderzocht worden:
- Formuleer zo specifiek mogelijk de vraag die de data-integratie moet beantwoorden.
- Verzamel en analyseer relevante data, afhankelijk van welke informatie, sets van gegevens of classificatieschema’s het meest geschikt zijn om de vraag op te lossen.
- Schoon de verzamelde data op, bijvoorbeeld door ongeldige of verouderde elementen te verwijderen, ongestructureerde of conflicterende data te elimineren, gegevensvelden aan te passen, etc.
- Creëer een datamodel dat betekenisvol is voor zowel mens als machine, analyseer de verschillende gegevensschema’s, hergebruik of creëer ontologieën en profielen, etc.
- Integreer data met behulp van ETL/ELT-processen die snel zowel gestructureerde als ongestructureerde gegevens kunnen laden.
- Harmoniseer gegevens door beschrijvingen van dezelfde eenheden in regels met overlapping op elkaar af te stemmen, de attributen te verwerken en waar nodig samen te voegen.
- Verrijk gegevens met business rules en analyses door nieuwe eenheden en relaties te extraheren om zo nieuwe informatie te genereren.
- Maximaliseer de bruikbaarheid van gegevens met tools voor het ontdekken van meer kennis zoals SPARQL-query’s, GraphQL-interfaces, datavisualisatie en meer.
- Onderhoud de informatie en blijf datastructuren voortdurend ontwikkelen.
MICROSERVICES ALS EEN BEGINPUNT VOOR SCHAALBARE DATA FABRICPROCESSEN.
Een manier om het concept van een data fabric snel binnen een bedrijfsomgeving te implementeren is met bijvoorbeeld het gebruik van microservices. Microservices zijn een manier van softwareontwikkeling waarbij een nieuwe applicatie gemaakt wordt vanuit een collectie van kleinere services. Microservices als basis voor een data fabric brengt enkele handige voordelen met zich mee.
De microservices kunnen apart van elkaar ingezet, geüpgraded en opgeschaald worden. De microservices kunnen zelfs onafhankelijk van elkaar gereset worden zonder dat het een effect heeft op de eindgebruiker. Zo kan een team ook makkelijker prioriteren waar eraan gewerkt moet worden of het team kan worden opgesplitst om aan meerdere microservices onafhankelijk van elkaar te werken.
Met microservices komt de ontwikkeling nooit stil te liggen en kunnen updates regelmatig doorgevoerd worden – zonder op andere projecten te hoeven wachten, maar er is nog een andere manier om snel een data fabric te implementeren. Door gebruik te maken van kant-en-klare, d.w.z. no-code, connectoren die met bijna alle databronnen gebruikt kunnen worden. In dit scenario fungeert een data fabric zowel als een databron en -consument.
In dit tijdperk van big data bestaat er echter geen standaard voor het optimaliseren van kennismanagement. Ieder bedrijf zal zijn data op verschillende manieren waarderen, afhankelijk van verschillende behoeften en doelstellingen. Bij het bouwen van een datastructuur is vaak een aanpak op maat nodig. Toch geldt nog steeds één principe voor alle datastructuren: gegevens moeten FAIR zijn: Findable, Accessible, Interoperable en Reusable. Oftewel vindbaar, toegankelijk, interoperabel en herbruikbaar.
