We spraken met IAS 'Rudra Ghosh over hoe zijn carrière in de automatiseringssector niet het resultaat is van één enkel evenement.
Toen Rudra Ghosh, een ingenieur van Machine Learning Operations (Mlops) bij Integral Ad Science, voor het eerst zijn carrière als data -ingenieur begon, zag hij snel hoe handmatige implementatie en het beheer van ETL (extract, transformatie en laad) pijpleidingen knelpunten creëerden en de bron van veel fouten waren.
Het was na dit besef dat hij erkende dat zijn interesse in dit werk niet “een enkele gebeurtenis was, maar meer een evolutie gevoed door noodzaak en een verlangen naar efficiëntie”.
“Ik begon te scripten om repetitieve taken te automatiseren. Toen, als een big data-ontwikkelaar die werkte met enorme datasets en complexe vonkbanen, werd automatisering niet onderhandelbaar voor consistentie en het beheren van complexe afhankelijkheden,” vertelde hij SiliconRepublic.com.
“Dit culmineerde in mijn werk als een data -architect, waar ik vanaf het begin systemen met automatisering in gedachten heb ontworpen, na te denken over schaalbaarheid en operationele veerkracht. De kracht van automatisering zien om mensen vrij te maken van alledaagse taken en om robuustere systemen te bouwen, duwde me consistent verder op dit pad, uiteindelijk leidde ik tot Mlops, wat de pinnacle van automatisering in de data en ML -ruimte is.”
Wat bracht je naar je huidige baan?
Mijn reis door data -engineering, architectuur en big data -ontwikkeling bood een panoramisch beeld van de levenscyclus van gegevens. Ik zag ongelooflijke vooruitgang in modelontwikkeling, maar ook een aanhoudende kloof om die modellen efficiënt en betrouwbaar in productie te krijgen en te onderhouden. Mijn ervaring met het bouwen van geautomatiseerde, schaalbare datapijplijnen als data -ingenieur en big data -ontwikkelaar, voelde als de perfecte toolkit voor het aanpakken van de unieke uitdagingen van het operationaliseren van machine learning.
Mlops kwam naar voren als deze opwindende discipline die deze uitdagingen rechtstreeks aangaf, gericht op het automatiseren van de hele ML -levenscyclus.
Wat waren de grootste verrassingen die je tegenkwam op je carrièrepad in automatisering en hoe ging je ermee om?
Een van de grootste verrassingen, vooral al vroeg, was de pure complexiteit en verbondenheid bij het automatiseren van grootschalige systemen. Het gaat niet alleen om het scripten van één ding, het gaat erom veel bewegende delen te orkestreren, mislukkingen sierlijk afhandelen en idempotentie waarborgen. Ik leerde hiermee om te gaan door nauwgezette planning, problemen op te splitsen in kleinere, beheersbare componenten, het omarmen van infrastructuur als code en rigoureus testen.
Een andere uitdaging, met name als data -architect, was soms de culturele weerstand of onderschatting van de investering vooraf die nodig was voor robuuste automatisering. Ik heb dit aangepakt door proof-of-concepts te bouwen, duidelijk de langdurige ROI te verwoorden en tastbare voordelen te presenteren. Nu, in Mlops, is de uitdaging de snelle evolutie van tools en technieken, en de multidisciplinaire aard die een diep begrip van zowel ML als OPS vereist. Continu leren en samenwerking met datawetenschappers en DevOps -ingenieurs zijn de sleutel om dit te navigeren.
Was er iemand die bijzonder invloedrijk was toen je carrière ontwikkelde?
Het is een uitdaging om mijn ontwikkeling toe te schrijven aan een enkele persoon, omdat ik het geluk had om te leren van verschillende invloedrijke figuren in verschillende fasen. Vroeg in mijn carrière als data -ingenieur en later als een big data -ontwikkelaar, was een senior technische leiding een belangrijke rol. Ze brachten me een diepe waardering voor strengheid in automatisering in, niet alleen voor het gemak, maar engineering robuuste, testbare en onderhoudbare geautomatiseerde datapijpleidingen. Hun nadruk op operationele uitmuntendheid legde een kritische basis.
Meer recent, in mijn overgang naar en werk binnen Mlops, zijn twee medewerkers bijzonder impactvol geweest, een stafmlops -ingenieur en een senior personeelsgegevenswetenschapper. De MLOPS-ingenieur bood diep technisch mentorschap op geavanceerde automatiseringstechnieken die specifiek zijn voor de ML-levenscyclus, waarbij best practices werden gedeeld voor het bouwen van schaalbare CI/CD/CT-pijpleidingen, infrastructuur-as-code voor de systemen en robuuste monitoringkaders.
Tegelijkertijd bood het samenwerken van nauw samen met de datawetenschapper onschatbare inzichten in de praktische uitdagingen waarmee de gegevenswetenschappers worden geconfronteerd, waardoor ik hun behoeften voor gestroomlijnde experimenten, reproduceerbare modeltraining en efficiënte implementatietrajecten kan begrijpen. Elk van deze personen heeft op hun eigen manier aanzienlijk bijgedragen aan mijn begrip en toepassing van automatiseringsprincipes.
Wat vind je het leukst aan je werk?
Wat ik het leukst vind als Mlops -ingenieur is het mogelijk maken en de impact van machine learning versnellen. Ik krijg een enorme tevredenheid van het bouwen van de geautomatiseerde systemen die een briljant model nemen ontwikkeld door een datawetenschapper en er een betrouwbare, schaalbare service van maken die problemen in de praktijk oplost. Het is een fantastische mix van best practices voor software-engineering, diepgaande gegevensverstandigheid door mijn eerdere rollen en de geavanceerde wereld van ML. Ik ben dol op het ontwerpen en implementeren van het 'sanitair' – de CI/CD/CT -pijpleidingen, monitoring en infrastructuur – waardoor de magie van ML consequent werkt. Het voelt alsof de cruciale link is die ervoor zorgt dat innovatie zich in waarde vertaalt.
Welke aspecten van uw persoonlijkheid Voelt u dat u geschikt is voor automatisering?
Ik denk dat mijn achtergrond als wiskundestudent me een diepe waardering heeft ingebracht voor logisch, stapsgewijs denken. Ik vind een vergelijkbare tevredenheid in automatisering, het afbreken van een complex proces in zijn kerncomponenten en vervolgens een efficiënte oplossing bouwen. Het is een beetje zoals het maken van een elegant bewijs of het oplossen van een bijzonder bevredigende puzzel.
De nauwgezetheid die wiskunde vaak vereist, waar een klein detail alles kan veranderen, voelt ook zeer van toepassing. Automatiseringsscripts hebben vaak dezelfde precisie nodig. Als ik een handleiding zie, repetitieve taak, begint mijn geest vaak na te denken over hoe deze te automatiseren, niet uit luiheid, maar voor de uitdaging en tevredenheid van het bouwen van een betere manier.
Ten slotte is het debuggingproces, hoewel soms frustrerend, als iemand die van leren en ontwikkelt, ook een geweldige leermogelijkheid. Elke hik is een kans om iets dieper te begrijpen. En het feit dat automatisering altijd evolueert, met nieuwe tools en technieken, houdt dingen interessant en voedt ze die verlangen om voortdurend te leren.
Wat kunnen mensen verwachten van loopbaanontwikkeling in de automatiseringsindustrie?
Loopbaanontwikkeling op dit gebied biedt een breed scala aan evoluerende kansen, aangedreven door de snelle vooruitgang van tools en technologieën. Na verloop van tijd kan men hun expertise op gebieden zoals systeemarchitectuur of opkomende platforms verdiepen, met het potentieel om uit te groeien tot rollen zoals hoofdingenieur. Leiderschapspaden, zoals het beheren van teams die werken aan innovatieve oplossingen, zijn altijd beschikbaar, hoewel de specifieke rollen blijven evolueren naast de industrie.
Wat mijn huidige werkgever onderscheidt, is de sterke passie voor codering op elk niveau. Iedereen, ongeacht de rol, heeft een diepe liefde voor ontwikkeling en het is duidelijk in de samenwerkingsgeest van het team. IAS ondersteunt dit enthousiasme door een omgeving te bevorderen waar individuele bijdragers op elk niveau worden gewaardeerd en kansen bieden om hands-on te blijven terwijl ze in expertise groeien.
Welk advies zou je geven aan diegenen die een carrière in automatisering overwegen, of gewoon beginnen in één?
Begin met het opbouwen van een goed begrip van fundamentele engineering- en operationele principes. Leer belangrijke concepten zoals scripting, versiebeheer, automatisering en systeembeheer. Voor mensen met een specifieke interesse in velden zoals Mlops, is het ook essentieel om de volledige levenscyclus van projecten te begrijpen, van gegevensverzameling en voorbereiding tot implementatie en voortdurende evaluatie.
Aarzel niet om te beginnen met kleine stappen, automatiseer taken in de huidige rol of persoonlijke projecten. Focus op het begrijpen van de redenering achter automatisering, niet alleen op de technische uitvoering. Leer systemen als onderling verbonden te beschouwen, gezien hoe verschillende onderdelen samenwerken en hoe deze te ontwerpen voor betrouwbaarheid. Vergeet ten slotte dat het veld constant evolueert, dus behoud een mentaliteit van continu leren en sta open voor experimenten.
