Het belang van Business Intelligence en Big Data oplossingen
De afgelopen maanden van de Corona crisis worden we elke dag op de hoogte gehouden met cijfers, statistieken en rekenmodellen. Zie hier het gevolg van de data gedreven samenleving! We zijn gek op staatjes, tabellen en analyses van data die ons zouden moeten kunnen vertellen of dat we intelligent kunnen unlocken en meer vrijheden kunnen nemen.
Het gaat mij in dit geval niet zozeer over Covid-19, de unlock strategie van de regering of de consequenties in de markt. Wat ik vooral intrigerend vind is de behoefte aan informatie die ons iedere dag richting en sturing geven in het nemen van vitale beslissingen. De overheid, organisaties en instanties hebben de laatste jaren steeds meer data verzameld om met wiskundige rekenmodellen en simulaties voor ons “de toekomst te voorspellen”.
Data liegt niet zegt men. Maar hoe zit het met de informatie gebaseerd op die data?
Hoe belangrijk is het verzamelen van deze data? “Enorm belangrijk”, hoor ik u denken. Maar hebben de bewerkingen van deze data tot de juiste informatie geleid? Zijn de bewerkingen van deze data wel correct en compleet? Zijn de cijfers op juiste wijze geïnterpreteerd? En de uiteindelijke dashboards en rapportages, geven die de juiste informatie weer?
Al jarenlang werken we met Business Intelligence oplossingen om tot informatie te komen. Data wordt bewerkt om ons de ‘juiste’ informatie te geven om beslissingen te nemen. Sterker nog, de laatste jaren hebben we deze gestructureerde data in Data Warehouses aangevuld met ongestructureerde data (denk bijvoorbeeld aan de data die social media oplevert). Mede door de ontwikkeling van Big Data systemen, denk ik dat we kunnen stellen dat de dataverzameling en informatievoorziening (met bijbehorende systemen) er niet makkelijker op zijn geworden.
In al die Business Intelligence (in combinatie met Big Data) oplossingen is de bewerking steeds belangrijker geworden. Of dat deze bewerking nu wordt toegepast op gestructureerde data voordat het Data Warehouse in gaat, of later bij de analyse (van ongestructureerde data). Feit blijft dat de datakwaliteit cruciaal is voordat er überhaupt bewerkingen kunnen worden gedaan. En als die datakwaliteit op orde is, hoe zorg je dan dat de bewerkingen goed zijn? Zijn de business rules te traceren en verifiëren?
Het op orde brengen van de datakwaliteit, testen van Business Intelligence en Big Data systemen, verifiëren van audit trails én dan ook nog zorgen dat de rapportage of analyses kloppen. Dat zijn flinke uitdagingen! Ga d’r maar aan staan, het lijkt wel of je een spreekwoordelijke olifant moet opeten.
Hapje voor hapje.
Als je het bovenstaande overziet dan kun je maar één conclusie trekken: de complexiteit en het belang van Business Intelligence in combinatie met Big Data vraagt om een specifieke test- en kwaliteitsaanpak; een slimme manier van vaststellen of al die verzamelde data ook tot de correcte informatie leidt. Want hoe eet je een olifant? Juist… Hapje voor hapje.
Wilt u hierover meer weten? dan ben ik graag bereid mijn inzichten met u te delen! Ik ben bereikbaar via wilbert@orangecrest.nl
