Afstuderen bij Archin: BI in de cloud

Afstuderen bij Archin

Vorig jaar was ik nog een student bij Zuyd Hogeschool, nu ben ik een junior BI'er bij Archin! Vaak wordt er gezegd de cloud is de toekomst, maar geldt dit ook voor business intelligence oplossingen?

De opdracht

Realiseer een, uit clouddiensten bestaande ETL-omgeving, waarbij de instapkosten minimaal zijn, de periodieke kosten inzichtelijk zijn en die voldoet aan de eisen en wensen van een gemiddeld MKB-bedrijf.

ETL betekent: Eerst data Extraheren uit een systeem, vervolgens Transformeren tot waardevolle informatie en getransformeerde data naar een datawarehouse Laden. Kort-en-krachtig: het dataverwerkingsproces.

Het probleem

Jet Analytics is een data-management-systeem wat Archin bij veel klanten inzet voor BI-projecten. Hiermee kunnen we o.a. het hele ETL-proces volledig inrichten, uitvoeren en bewaken. Maar er zijn ook een scala aan klanten waarvoor deze tooling niet binnen het budget past. Hiervoor is Archin op zoek naar een passende oplossing. Andere ETL-oplossingen in de cloud zouden hiervoor een uitkomst kunnen bieden.

Clouddiensten zijn in trek, zo ook ETL-clouddiensten. Dit zijn softwareprogramma's die op een externe server worden uitgevoerd (de cloud). Vaak betaalt de gebruiker hiervoor naar het gebruik. Dit is voor klanten zonder een eigen server of die weinig gegevens willen verwerken erg interessant, omdat hier geen grote investeringen voor nodig zijn.

In een ETL-clouddienst betaal je bijvoorbeeld per dataset die moet worden verwerkt, of de duur van het transformeren van die data. Het is in veel gevallen niet één factor waarop kosten worden gefactureerd, maar meerdere factoren.

Zo berekent Microsofts ETL-clouddienst Azure Data Factory de kosten op basis van bewerkingen op datasets, tijd die nodig is voor het verplaatsen van data en de tijd die nodig is voor het verwerken van data. Het verwerken van data kan gedaan worden op een goedkopere maar langzamere server of via een snellere maar duurdere server.

Deze lastige prijsmodellen maken het erg lastig om na een inventarisatiegesprek met de klant de verwachte kosten inzichtelijk te krijgen.

Als die data wordt verwerkt waar komt deze terecht? Voldoen we nog aan de AVG-wetgeving? Al deze vragen tonen aan dat deze opdracht niet alleen een vergelijking is, maar ook vereist om in de diepte te duiken van documentatie, wetgeving, interne kennis en zelf met de praktijk bezig zijn.

Het proces

Samen met de stakeholders van dit project, geïnteresseerde klanten en collega’s heb ik een plan van eisen opgesteld. Deze eisen vormden de basis van de beoordelingscriteria van een intensief literatuuronderzoek. Waarbij 20+ ETL-clouddiensten werden vergeleken. Met name op functionaliteiten, wetgeving, betrouwbaarheid en toekomstbestendigheid.

De clouddiensten die niet voldeden aan de beoordelingscriteria werden niet meegenomen in het verdere onderzoek.

De clouddienst die volledig voldeed aan de eisen en wensen was Azure Data Factory. Met deze tool kan er worden voldaan aan de AVG-wetgeving, het biedt een hoge uptime van minstens 99,9% (maximaal 8 +/- uren downtime per jaar), het kan de gewenste transformaties uitvoeren, stelt ons in staat om verbinding te maken met API’s en hiermee kunnen we onze eigen connectors gebruiken om verbinding te maken met databronnen.

Om de clouddienst echt te kunnen toetsen heb ik een proof of concept opgezet met een praktijkvoorbeeld. We hebben hiervoor de databron van het ERP-systeem Microsoft Dynamics NAV gekozen. Dit ERP-systeem wordt door veel bedrijven en klanten van Archin gebruikt. De databron van dit systeem is complex en omvangrijk, waardoor het erg geschikt was voor een proof of concept.

Wat ik heb geleerd

In een korte tijd heb ik erg veel geleerd over ETL-software en databasesystemen. Voornamelijk Jet Analytics, Microsoft SQL Server, Microsoft SQL Analysis Services en Azure Data Factory. Daarnaast de kostbaarheid van data en de complexiteit die nodig is om er ook echt iets interessants uit te halen.