PIPELINE WIZARD
LPR WEEK 1
Learning Progress Report
DATA ENGINEER
INTRO TO DATA ENGINEER
DATA ENGINEER
Definisi Scope of job
Profesional yang bertugas mendesain, Desain dan Konstruksi Sistem Data
membangun, dan mengelola Pengumpulan dan Integrasi Data
infrastruktur data yang digunakan Otomatisasi dan Pemeliharaan
untuk mengumpulkan, menyimpan, Pipeline
memproses, dan menganalisis data Pengelolaan Database
besar dalam sistem yang beragam dan Keselamatan dan Keamanan Data
seringkali kompleks. Mereka Kolaborasi dengan Tim Lain
mengembangkan arsitektur data yang Optimasi dan Skalabilitas
efektif dan mengotomatisasi alur
pengolahan data, sehingga data bisa
diakses dan digunakan secara efisien
oleh data scientist dan analis untuk
pengambilan keputusan.
METODOLOGY
[Link] dikumpulkan dari
berbagai sumber
[Link] yang telah
dikumpulkan, difilter lalu
dikelompokkan agar lebih
rapi melalui proses ETL
(Extract Transform Load)
3. Data disimpan pada
sebuah data warehouse
[Link] dapat diambil oleh
user untuk digunakan
Extract
Proses memilih dan mengambil data dari
satu/banyak sumber data
ETL (EXTRACT, Transform
TRANSFORM, LOAD)
Proses membersihkan dan mengubah
data dari bentuk asli menjadi bentuk yang
sesuai kebutuhan data warehouse
Load
Proses memasukkan data ke dalam data
warehouse
ETL
Extract, transform, and load (ETL) adalah metodologi
integrasi data yang mengekstrak data mentah dari
sumber-sumber, mengubah data tersebut di server
pemrosesan sekunder, dan kemudian memuat data
tersebut ke dalam basis data target.
ELT
ELT memuat data mentah langsung ke dalam gudang data target,
alih-alih memindahkannya ke server pemrosesan untuk
transformasi.
PYTHON I
Python 2 Python 3
PYTHON Python 3 memiliki pengelolaan
Pembagian bilangan bulat di Python 2
memotong hasil untuk
memori yang lebih baik pada
bilangan bulat, tetapi di Python 3, ini
menghasilkan bilangan sistem garbage collection,
pecahan kecuali operator pembagian sehingga meningkatkan waktu
lantai // digunakan. respons.
Python digunakan dalam berbagai
aplikasi, mulai dari pengembangan
web, analisis data, kecerdasan
buatan, ilmu komputer, dan banyak
lagi. Ia memiliki komunitas yang
besar dan aktif, serta ekosistem
perpustakaan dan kerangka kerja
yang luas seperti NumPy, Pandas,
Flask, Django, dan TensorFlow.
String
Gabungan huruf, angka, simbol, dan spasi
Integer
DATA TYPE Bilangan Bulat
Float
Bilangan desimal
Boolean
True atau False
Case Style
camelCase
snake_Case
Collection
List -> [Link]
Tuple ->
[Link]
Dictionary ->
[Link]
Import and Modules
Import Modules
Dalam Python, kata kunci import Modul adalah file yang berisi definisi
digunakan untuk mengakses kode yang dan pernyataan Python yang bisa
terletak dalam modul atau pustaka digunakan kembali. File tersebut
(library) lain. biasanya berakhiran dengan ekstensi
.py. Modul dapat berisi fungsi, kelas,
Syntax : variabel, dan kode yang telah siap
untuk diimpor dan digunakan dalam
Import … program atau skrip Python lainnya.
From … import … (untuk import
beberapa fungsi)
From … import … as … (untuk
memberikan alias)
PYTHON II
Control Flow
Control flow adalah urutan eksekusi
instruksi dalam sebuah program. Ini
menentukan bagaimana program
mengalir dari satu pernyataan ke
pernyataan berikutnya berdasarkan
kondisi atau logika tertentu.
Conditional Statement
Pernyataan dalam pemrograman yang
mengevaluasi kondisi tertentu dan
melakukan tindakan berdasarkan hasil
evaluasi tersebut.
IF Condition IF - Elif Condition Nested Condition
Looping
For Loop While Loop
For loop digunakan ketika kita sudah While loop digunakan ketika kita tidak
mengetahui berapa kali iterasi yang tahu berapa kali iterasi yang akan kita
akan dilakukan. Strukturnya biasanya lakukan. Loop akan terus berjalan
terdiri dari tiga bagian: inisialisasi, selama kondisi yang diberikan masih
kondisi, dan perubahan. benar (True)
Function
Fungsi (function) dalam pemrograman
adalah blok kode yang dirancang untuk
melakukan tugas tertentu yang dapat
dipanggil oleh bagian lain dari
program. Fungsi dapat menerima input
(argumen), melakukan operasi tertentu,
dan mengembalikan output.
Function - Return Function - Parameter
Disebut juga sebagai fungsi yang Disebut juga sebagai fungsi yang tidak
mengembalikan nilai (value-returning mengembalikan nilai (void function).
function).
TERIMA KASIH