Als we niet oppassen gaat het opnieuw helemaal verkeerd. Vendoren ontwikkelen big data-producten vaak als extra stap in het proces, wat dat proces er alleen maar complexer op maakt. Terwijl producten het proces nu juist zouden moeten versoepelen.

Vijftien jaar geleden werd de revolutie in de besluitvormingsondersteuning in de kiem gesmoord doordat de datamanagementbranche inflexibele data warehouse-systemen bouwde en onbruikbare business intelligence-tools ontwikkelde. Organisaties werden gedwongen om hun bedrijfsprocessen aan te passen aan onze eigen productagenda's. Vandaag de dag, nu het big data-tijdperk opkomt, gaan we weer precies dezelfde kant op.

Er moet een verandering in het denken komen. We moeten ons niet meer richten op het product, maar op het proces!

Volg de processen

Het ideale flow diagram voor een proces heeft zo min mogelijk tussenstappen. Maar in de praktijk zien we dit vrijwel nooit en dat heeft talloze redenen. De belangrijkste daarvan is dat softwareproducenten zich richten op het product en niet op het proces. Zij hanteren een strategie die probeert een product in te voegen als een van de vele tussenstappen in de processtroom. Eigenlijk ontwerpen ze zichzelf een proces binnen.

De reactie van de datamanagementbranche op big data is tot nu toe van hetzelfde laken een pak. In de meeste gevallen betekent dit een ratjetoe van propriëtaire, op de stack gerichte big data-"oplossingen", technologische of architectonische voorschriften die alleen het eigenbelang dienen en front-end tools die eigenlijk nog niet helemaal klaar zijn.

Maar big data is anders, omdat het onmiskenbaar multidisciplinair is: het impliceert onderlinge verbondenheid, interoperabiliteit en uitwisseling tussen verschillende domeinen. Big data wil zeggen dat je alles met alles verbindt, en wat dat betreft is big data precies het tegenovergestelde van databeheer.

Vanuit productperspectief moet een big data-bewuste tool functioneren in een context waarbinnen problemen, praktijken en processen multidisciplinair zijn. Geen enkel product is volledig onafhankelijk of werkt volledig geïsoleerd. Dit betekent overigens niet dat er geen big data-geörienteerde producten kunnen bestaan die zich richten op uiterst specifieke toepassingen, of meer generalistische big data-geörienteerde producten die bedoeld zijn voor bepaalde proces-, domein- of functie-activiteiten. En het betekent ook niet automatisch dat een volledig cohort bestaande producten ineens "pre-big data" wordt.

Meer van hetzelfde is de verkeerde aanpak

Toch ontwikkelen en verkopen de meeste aanbieders "big data-in-a-platform"-producten. En deze "oplossingen" hebben één ding met elkaar gemeen, hun productgerichte model: ze zijn er helemaal op gericht om zichzelf - als een tussenstap - in een proces te nestelen. Terwijl elke tussenstap zorgt voor vertraging en een vergroting van de complexiteit en de kwetsbaarheid.

Of erger nog: elke tussenstap heeft zijn eigen infrastructuur. Die bestaat voor elke afzonderlijke fabrikant uit eigen ondersteunend personeel met een eigen interne knowledge-base. In het beste geval betekent dit legers Java- of Pig Latin-programmeurs werven, of DBA's en SQL-programmeurs de fijne kneepjes van HQL bijbrengen. In het ergste geval betekent dit aanzienlijke hoeveelheden tijd en geld investeren in de ontwikkeling van platformspecifieke kennisbanken.

Automatisering is de oplossing

De manier om iets te doen aan deze scheve verhouding is focussen op het automatiseren van de processen van een datawarehouse-omgeving, zoals scoping, het opzetten van warehouses, continu beheer en periodieke refactoring. Je zou zelfs het aanmaken en beheren van documentatie, schema's en lineage-informatie voor warehouses kunnen automatiseren door het helemaal elimineren van handmatig programmeren in SQL of in interne, alleen voor bepaalde tools bestemde talen.

Big data-producten hebben namelijk helemaal geen eigen infrastructuur nodig. Zij moeten de taal speken van en ondersteuning bieden aan de specifieke onderdelen van OLTP-systemen, warehouseplatforms, analytische databases, NoSQL- of big data-archieven, BI-tools en alle overige 'stappen' die samen een ecosysteem voor informatie vormen.

Producten moeten zich richten op de punten in het proces tussen geïsoleerde systemen, waar een processtroom wordt geblokkeerd. Dit type blokkade is het onvermijdelijke gevolg van een productgerichte ontwikkelings- en verkoopstrategie. En zoals het er nu naar uitziet gaan we veel van dit soort blokkades krijgen op het gebied van big data.

We moeten big data gaan zien als een soort vrijhandelszone waarbij 'handel' gelijk staat aan 'proces': gegevens worden verplaatst van de ene tussenstap naar de andere, met minimale beperking of belemmering en zonder platformspecifieke embargo's van onnodige tussenstappen.

Het antwoord ligt mijns inziens in automatisering. En dan niet automatisering omwille van de automatisering, maar als integrale processtroom ter voorkoming van blokkades, verhoging van responsiviteit, verlaging van kosten en om IT de gelegenheid te bieden om zich te richten op het creëren van waarde.

Laten we er met z'n allen voor zorgen dat het deze keer niet wéér misgaat!

Source: CIO

Robots en artificial intelligence zijn anno 2016 al ver genoeg ontwikkeld om een relatief groot deel van het fysieke voorspelbare werk en dataverwerkingstaken van mensen over te nemen. Bovendien zal technologische vooruitgang ervoor zorgen dat steeds meer taken van mensen worden overgenomen, wat ofwel leidt tot meer tijd voor andere taken, of een vermindering van het aantal menselijke werknemers.

Automatisering en robotisering bieden de mensheid de mogelijkheid om zich te bevrijden van repetitief, fysiek werk, dat vaak als onplezierig of saai wordt ervaren. Hoewel het verdwijnen van dit werk zal zorgen voor positieve effecten op aspecten als gezondheid en werkkwaliteit, heeft de ontwikkeling ook negatieve effecten op de werkgelegenheid – zeker in banen waarvoor weinig vaardigheden gevraagd worden. De afgelopen jaren is er veel gesproken over de omvang van de bedreiging die robots vormen voor de banen van menselijke werknemers en een recent onderzoek van McKinsey & Company gooit nog meer olie op het vuur. Volgens schattingen van het Amerikaanse consultancykantoor zal op korte termijn tot wel 51% van al het werk in de Verenigde Staten zwaar worden getroffen door robotisering en AI-technologie. 

Het onderzoek, dat is gebaseerd op een analyse van meer dan 2.000 werk-gerelateerde activiteiten in de VS in meer dan 800 arbeidsfuncties, suggereert dat voorspelbaar fysiek werk in relatief stabiele omgevingen de grootste kans loopt om te worden overgenomen door robots of een andere vorm van automatisering. Voorbeelden van dit soort omgevingen zijn onder meer de accommodatie en horecabranche, de maakindustrie en de retailsector. Vooral in de maakindustrie zijn de mogelijkheden voor robotisering groot – ongeveer een derde van al het werk in de sector kan als voorspelbaar worden beschouwd. Kijkend naar de huidige automatiseringstechnologie zou tot wel 78% van dit werk kunnen worden geautomatiseerd.

Maar het is echter niet alleen simpel productiewerk dat kan worden geautomatiseerd, aangezien ook werk op het gebied van dataverwerking en dataverzameling met de huidige technologie al kan worden gerobotiseerd. Volgens berekeningen van McKinsey kan tot wel 47% van de taken van een retail salesmedewerker op dit gebied worden geautomatiseerd – al ligt dit nog altijd veel lager dan de 86% automatiseringspotentie in het data-gerelateerde werk van boekhouders, accountants en auditors. 

In het onderzoek werd ook in kaart gebracht welke functies de meeste potentie voor automatisering hebben. Onderwijsdiensten en management lijken, kijkend naar de huidige technologie, de vakgebieden die het minst getroffen zullen worden door robotisering en AI-technologie. Vooral in het onderwijs zijn de percentages automatiseerbare taken laag, met weinig dataverzameling, -verwerking en voorspelbaar fysiek werk. Managers kunnen wel enige automatisering verwachten in hun werk, vooral op het gebied van dataverwerking en verzameling. In de bouw en landbouwsector is er sprake van veel werk dat als onvoorspelbaar kan worden beschouwd. De onvoorspelbare aard van deze werkzaamheden beschermt arbeiders in deze segmenten, omdat deze taken minder eenvoudig te automatiseren zijn.

McKinsey benadrukt dat de analyse zich richt op het vermogen van de huidige technologieën om taken van mensen over te nemen. Dat dit technologisch mogelijk is, betekent volgens het consultancybureau niet dat deze werkzaamheden ook daadwerkelijk zullen worden overgenomen door robots of intelligente technologie. In het onderzoek wordt namelijk geen rekening gehouden met de implementatiekosten van deze technologie, of naar de grenzen van automatisering. Daardoor zullen werknemers in bepaalde gevallen goedkoper en beter beschikbaar blijven dan een gerobotiseerd systeem.

Met het oog op de toekomst, voorspellen de onderzoekers dat met de komst van nieuwe technologieën op het gebied van robotisering en kunstmatige intelligentie er ook meer taken geautomatiseerd kunnen worden. Vooral technologie die het mogelijk maakt om natuurlijke gesprekken te voeren met robots, waarbij de machines menselijke taal kunnen begrijpen en automatisch kunnen antwoorden, zal volgens de onderzoekers een grote impact hebben op de mogelijkheden voor verdere robotisering.