Declan Gowran van IAS onderzoekt zijn rol in de data-engineeringruimte en hoe leiders samenhangende omgevingen creëren.
Senior data-ops-ingenieur bij IAS Declan Gowran's reis naar de data-engineeringwereld is organisch geëvolueerd vanuit een bredere IT-infrastructuur en cloudachtergrond.
Hij vertelde SiliconRepublic.com: “In het begin van mijn carrière heb ik uitgebreid gewerkt aan bedrijfsinfrastructuur, virtualisatie en cloudimplementaties op meerdere platforms, waardoor ik werd blootgesteld aan grootschalige systemen en de complexiteit van het beheren van gegevens op grote schaal. In de loop van de tijd raakte ik steeds meer gefascineerd door de manieren waarop gestructureerde en ongestructureerde gegevens besluitvorming en AI-toepassingen kunnen aansturen.
“Dat bracht mij naar functies bij Optum en IAS waar ik mij kon concentreren op het bouwen van veilige, schaalbare dataplatforms, het integreren van DevOps, MLOps en data governance-frameworks, en het ondersteunen van zakelijke AI-workloads. In wezen werd mijn pad gevormd door een mix van nieuwsgierigheid, technische uitdagingen en mogelijkheden om te werken op het snijvlak van cloud, data en analytics.”
Hoe ziet het huidige data-engineeringlandschap eruit in Ierland?
Het Ierse data-engineeringlandschap is levendig en snel volwassen. Met de sterke aanwezigheid van multinationale technologiebedrijven en datagestuurde organisaties is er een groeiende vraag naar ingenieurs die niet alleen de cloudinfrastructuur kunnen beheren, maar ook moderne, schaalbare dataplatforms kunnen ontwerpen. Organisaties maken steeds meer gebruik van cloud-native architecturen, op Kubernetes gebaseerde platforms en MLOps-frameworks. Er wordt ook nadruk gelegd op governance-, compliance- en datamesh-strategieën, vooral voor bedrijven die gevoelige of gereguleerde gegevens verwerken.
Wat zijn de grootste uitdagingen die momenteel van invloed zijn op de data-engineeringsector en hoe kunnen deze worden aangepakt?
Databeheer en vertrouwen op schaal: Omdat data AI en besluitvorming aansturen, is het garanderen van kwaliteit, herkomst en veilige toegang, terwijl wordt voldaan aan regelgeving zoals de AVG, van cruciaal belang. Dit vereist sterke bestuurskaders en gecentraliseerde metadata om de consistentie en controle te behouden.
Complexiteit in gedistribueerde omgevingen: De meeste organisaties opereren in multi-cloud- en hybride systemen, wat integratie, standaardisatie en orkestratie moeilijk maakt. De focus ligt hier op het vereenvoudigen van architecturen en het gebruik van schaalbare, interoperabele platforms om fragmentatie te verminderen.
Schalen voor realtime en AI-gestuurde workloads: er is een toenemende vraag naar gegevens met lage latentie en reproduceerbare AI-pijplijnen. Dit betekent investeren in streaming, automatisering en betrouwbare infrastructuur die zowel batch- als realtime gebruiksscenario's aankan.
Over het geheel genomen bestaat de oplossing niet alleen uit tools, maar uit het afstemmen van deze mogelijkheden op duidelijke bedrijfsresultaten, zodat data-engineering meetbare waarde genereert in plaats van alleen maar technische mogelijkheden.
Waar bent u momenteel mee bezig en wat zijn de mogelijkheden ervan?
Momenteel leid ik de ontwikkeling van een veilig, kostengeoptimaliseerd bedrijfsdataplatform bij IAS, gebouwd op Databricks en Kubernetes. Het is ontworpen om het beheer te centraliseren en tegelijkertijd schaalbare, zelfbedieningstoegang tot gegevens in het hele bedrijf mogelijk te maken. Tegelijkertijd bouwen we AI-gateways en -diensten om de veilige implementatie van LLM- en AI-workloads te ondersteunen, zodat we deze mogelijkheden op verantwoorde wijze kunnen schalen.
Het potentieel is tweeledig. Intern verbetert het de efficiëntie aanzienlijk, teams hebben sneller toegang tot vertrouwde gegevens en kunnen gemakkelijker experimenteren. Extern maakt het betere producten en resultaten mogelijk, van effectievere advertentiecampagnes tot verbeterde transparantie en prestaties.
Wat komt er kijken bij het creëren van een stevig, samenhangend team op het gebied van data en engineering?
Het creëren van een goed presterend data- en engineeringteam vereist een evenwicht tussen technische expertise, samenwerking, cultuur en gedeelde waarden. Ik geloof sterk in het investeren in mensen en het bevorderen van een positieve teamomgeving. Het is niet voldoende dat teamleden alleen de technologie begrijpen; ze moeten ook goed met elkaar overweg kunnen, effectief communiceren en elkaar ondersteunen.
Ik focus op mentorschap en ontwikkeling, duidelijke communicatie, het op één lijn brengen van het team, cross-functionele samenwerking, het afbreken van silo's, analyses, empowerment en autonomie, en het bieden van de juiste tools en raamwerken aan engineers om te innoveren met behoud van verantwoordelijkheid.
Door prioriteit te geven aan mensen en cultuur creëren we een omgeving waarin vertrouwen, communicatie en samenwerking sterk zijn, waardoor innovatie en hoge prestaties een natuurlijk resultaat worden.
Hoe kunnen leiders in dynamische ruimtes productieve en samenhangende werkomgevingen creëren?
Leiders moeten duidelijkheid, vertrouwen en gestructureerde autonomie bieden. Dit omvat het stellen van duidelijke doelen, het bevorderen van een cultuur van feedback en het aanmoedigen van innovatie zonder micromanagement. Door gebruik te maken van flexibele werkwijzen, geautomatiseerde workflows en transparante dashboards kunnen teams ook de voortgang meten en op één lijn blijven. Even belangrijk is het ondersteunen van professionele ontwikkeling, het vieren van prestaties en het garanderen van psychologische veiligheid, zodat teamleden openlijk kunnen samenwerken en berekende risico's kunnen nemen.
Heeft u voorspellingen over hoe de data-engineeringruimte zich in de loop van de komende negen maanden zou kunnen ontwikkelen?
De komende negen maanden verwacht ik verschillende belangrijke trends die het data-engineeringlandschap vorm zullen geven.
Ten eerste de bredere adoptie van data mesh- en governance-frameworks, met name voor ondernemingen die AI en agentic workloads beheren, met een sterke focus op data-afstamming, herkomst en integriteit, wetende waar data vandaan komen, hoe deze veranderen en waarom.
Een grotere nadruk op datakwaliteit en bescherming tegen datavergiftiging, omdat organisaties erkennen dat ‘garbage in, garbage out’ de uitkomsten van AI en agentische modellen in gevaar kan brengen. De grotere acceptatie van cloud-native en serverloze architecturen, waardoor schaalbare, flexibele en kostenefficiënte platforms mogelijk worden die in staat zijn grote AI-workloads, agentische processen en naadloze connectiviteit tussen systemen te ondersteunen.
De uitbreiding van verbeterde generatie voor het ophalen van gegevens, vectordatabases en verbonden pijplijnen, ter ondersteuning van geavanceerde AI en agentische gebruiksscenario's, terwijl wordt gewaarborgd dat inbedding, kennisbronnen en realtime gegevens accuraat, controleerbaar en interoperabel blijven.
Een sterkere focus op waarneembaarheid, prestaties en compliance, waarbij gedistribueerde monitoring, geautomatiseerde validatie en lineage tracking standaard worden om het vertrouwen in zowel traditionele data als AI-outputs te behouden. Ten slotte de standaardisatie van de implementatie van AI-modellen en MLOps-praktijken, waardoor ondernemingen basismodellen, agentische workloads en intelligente workflows kunnen schalen met behoud van bestuur, reproduceerbaarheid en operationele betrouwbaarheid.
