4a0527affdaec1c2a3dc5f0f95a51416Als we niet oppassen gaat het opnieuw helemaal verkeerd. Vendoren ontwikkelen big data-producten vaak als extra stap in het proces, wat dat proces er alleen maar complexer op maakt. Terwijl producten het proces nu juist zouden moeten versoepelen.

Vijftien jaar geleden werd de revolutie in de besluitvormingsondersteuning in de kiem gesmoord doordat de datamanagementbranche inflexibele data warehouse-systemen bouwde en onbruikbare business intelligence-tools ontwikkelde. Organisaties werden gedwongen om hun bedrijfsprocessen aan te passen aan onze eigen productagenda's. Vandaag de dag, nu het big data-tijdperk opkomt, gaan we weer precies dezelfde kant op.

Er moet een verandering in het denken komen. We moeten ons niet meer richten op het product, maar op het proces!

Volg de processen

Het ideale flow diagram voor een proces heeft zo min mogelijk tussenstappen. Maar in de praktijk zien we dit vrijwel nooit en dat heeft talloze redenen. De belangrijkste daarvan is dat softwareproducenten zich richten op het product en niet op het proces. Zij hanteren een strategie die probeert een product in te voegen als een van de vele tussenstappen in de processtroom. Eigenlijk ontwerpen ze zichzelf een proces binnen.

De reactie van de datamanagementbranche op big data is tot nu toe van hetzelfde laken een pak. In de meeste gevallen betekent dit een ratjetoe van propriëtaire, op de stack gerichte big data-"oplossingen", technologische of architectonische voorschriften die alleen het eigenbelang dienen en front-end tools die eigenlijk nog niet helemaal klaar zijn.

Maar big data is anders, omdat het onmiskenbaar multidisciplinair is: het impliceert onderlinge verbondenheid, interoperabiliteit en uitwisseling tussen verschillende domeinen. Big data wil zeggen dat je alles met alles verbindt, en wat dat betreft is big data precies het tegenovergestelde van databeheer.

Vanuit productperspectief moet een big data-bewuste tool functioneren in een context waarbinnen problemen, praktijken en processen multidisciplinair zijn. Geen enkel product is volledig onafhankelijk of werkt volledig geïsoleerd. Dit betekent overigens niet dat er geen big data-geörienteerde producten kunnen bestaan die zich richten op uiterst specifieke toepassingen, of meer generalistische big data-geörienteerde producten die bedoeld zijn voor bepaalde proces-, domein- of functie-activiteiten. En het betekent ook niet automatisch dat een volledig cohort bestaande producten ineens "pre-big data" wordt.

Meer van hetzelfde is de verkeerde aanpak

Toch ontwikkelen en verkopen de meeste aanbieders "big data-in-a-platform"-producten. En deze "oplossingen" hebben één ding met elkaar gemeen, hun productgerichte model: ze zijn er helemaal op gericht om zichzelf - als een tussenstap - in een proces te nestelen. Terwijl elke tussenstap zorgt voor vertraging en een vergroting van de complexiteit en de kwetsbaarheid.

Of erger nog: elke tussenstap heeft zijn eigen infrastructuur. Die bestaat voor elke afzonderlijke fabrikant uit eigen ondersteunend personeel met een eigen interne knowledge-base. In het beste geval betekent dit legers Java- of Pig Latin-programmeurs werven, of DBA's en SQL-programmeurs de fijne kneepjes van HQL bijbrengen. In het ergste geval betekent dit aanzienlijke hoeveelheden tijd en geld investeren in de ontwikkeling van platformspecifieke kennisbanken.

Automatisering is de oplossing

De manier om iets te doen aan deze scheve verhouding is focussen op het automatiseren van de processen van een datawarehouse-omgeving, zoals scoping, het opzetten van warehouses, continu beheer en periodieke refactoring. Je zou zelfs het aanmaken en beheren van documentatie, schema's en lineage-informatie voor warehouses kunnen automatiseren door het helemaal elimineren van handmatig programmeren in SQL of in interne, alleen voor bepaalde tools bestemde talen.

Big data-producten hebben namelijk helemaal geen eigen infrastructuur nodig. Zij moeten de taal speken van en ondersteuning bieden aan de specifieke onderdelen van OLTP-systemen, warehouseplatforms, analytische databases, NoSQL- of big data-archieven, BI-tools en alle overige 'stappen' die samen een ecosysteem voor informatie vormen.

Producten moeten zich richten op de punten in het proces tussen geïsoleerde systemen, waar een processtroom wordt geblokkeerd. Dit type blokkade is het onvermijdelijke gevolg van een productgerichte ontwikkelings- en verkoopstrategie. En zoals het er nu naar uitziet gaan we veel van dit soort blokkades krijgen op het gebied van big data.

We moeten big data gaan zien als een soort vrijhandelszone waarbij 'handel' gelijk staat aan 'proces': gegevens worden verplaatst van de ene tussenstap naar de andere, met minimale beperking of belemmering en zonder platformspecifieke embargo's van onnodige tussenstappen.

Het antwoord ligt mijns inziens in automatisering. En dan niet automatisering omwille van de automatisering, maar als integrale processtroom ter voorkoming van blokkades, verhoging van responsiviteit, verlaging van kosten en om IT de gelegenheid te bieden om zich te richten op het creëren van waarde.

Laten we er met z'n allen voor zorgen dat het deze keer niet wéér misgaat!

Source: CIO