Find Jobs
Hire Freelancers

Pyspark Data engineer for a test project in Spark

₹600-1500 INR

Chiuso
Pubblicato circa 3 anni fa

₹600-1500 INR

Pagato al completamento
Looking for a pySpark developer to help with a pyspark application for demonstration purpose. The goal is to read 3 small json files each less than 1 mb into a single data frame. Do preprocessing and then fetch some metrics based on regular expression search. ETL task is easy and I am able to achieve it. However the end goal is written below that is also the acceptability criteria for this project. The developer should be able to write code with following points in mind: Well structured, object-oriented and maintainable code. Unit tests for the different components. Documentation, comments and Proper exception handling. Solution is deployable and we can run it (locally and on a cluster) Config management. (separate folders and files like [login to view URL], [login to view URL] etc. rather than one python script). Logging and alerting. Data quality checks (like input/output dataset validation).
Rif. progetto: 29872024

Info sul progetto

1 proposta
Progetto a distanza
Attivo 3 anni fa

Hai voglia di guadagnare un po'?

I vantaggi delle offerte su Freelancer

Imposta il tuo budget e le scadenze
Fatti pagare per il lavoro svolto
Delinea la tua proposta
La registrazione e le offerte sui lavori sono gratuite
1 freelance ha fatto un'offerta media di ₹1.050 INR per questo lavoro
Avatar dell'utente
Hi, I am working in MNC as Data Engineer and currently working on Big Data Fields using PySpark and Hadoop Frameworks. Having more than 4 years of experience in Big Data Field in production and certified pyspark developer as well as certified Hadoop developer. Requesting you to please share the details. Thanks Rahul.
₹1.050 INR in 7 giorni
4,4 (4 valutazioni)
2,2
2,2

Info sul cliente

Bandiera: INDIA
Pune, India
0,0
0
Membro dal lug 8, 2019

Verifica del cliente

Grazie! Ti abbiamo inviato tramite email il link per richiedere il tuo bonus gratuito.
Non è stato possibile inviarti l'email. Riprova per piacere.
di utenti registrati di lavori pubblicati
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Caricamento anteprima
Autorizzazione per la geolocalizzazione concessa.
La tua sessione è scaduta ed è stato effettuato il log out. Accedi nuovamente per piacere.