1.
Basis data terdistribusi adalah jenis basis data dimana data disimpan dibeberapa lokasi secara
terpisah, namun dihubungkan melalui jaringan computer. Hal ini dilakukan untuk memudahkan
akses dan manajemen data, serta mempercepat kinerja sistem basis data.
2. Entitas dalam basis data adalah objek atau hal dalam dunia nyata yang direpresentasikan
dalam basis data. Entitas biasanya memiliki atribut atau property yang menyatakan
karakteristiknya, dan relasi yang menggambarkan hubungan antara entitas.
3. ERD (Entity Relationship Diagram) dalam desain basis data adalah diagram yang digunakan
untuk menjelaskan hubungan antara entitas dalam basis data
4. Primary key adalah atribut atau kolom yang hanya dapat memiliki nilai yang unik, dan dapat
digunakan untuk mengidentifikasi setiap baris dalam sebuah table serta menjaga integritas data
dam menghindari duplikasi. Primary key sering digunakan dalam operasi pengambilan data dan
pembaharuan data, serta sebagai acuan dalam pembuatan relasi antara table dalam basis data.
5. Normalisisi basis data adalah proses pengaturan table dalam basis data agar data dapat
disimpan dengan lebih efisien. Normalisasi dilakukan dengan memecah table yang berisi data
redundan menjadi beberapa table kecil yang berisi informasi yang lebih spesifik.
Tujuan Normalisasi > Mengurangi duplikasi data/ kerapngkapan (redudansi), memperbaiki
konsistensi data, dan meningkatkan integritas dalam basis data, mengurangi kompleksitas
(kerumitan), serta mempermudah pemodifikasian data dan menghilangkan anomaly data.
6. Jika data dalam database belum di normalisasi maka akan terjadi 3 kemungkinan ynag akan
merugikan sistem secara keseluruhan.
Insert Anomali : Situasi dimana tidak memungkinkan memasukan beberapa jenis data
secara langsung didatabase
Delete Anomali : Penghapusan data yang tidak sesuai dengan yang diharapkan, artinya
data yang harusnya tidak terhapus mungkin ikut terhapus
Update Anomali : Situasi dimana nilai yang diubah menyebabkan inkonsistensi database,
dalam artian data yang diubah tidak sesuai dengan yang diperintahkan atau yang
diinginkan
7. Indeks data adalah struktur data yang digunakan untuk mempercepat pencairan data dalam
table basis data. Indeks dibuat pada satu atau beberapa kolom dalam table untuk
memungkinkan basis data mencari dan mengambil data dengan lebih cepat. Indeks tidak sama
dengan table atau kolom dalam basis data, tetapi merupakan struktur data terpisah yang dibuat
untuk meningkatkan kinerja basis data.
8. Query dalam basis data adalah perintah atau instruksi yang digunakan untuk mengakses dan
memanipulasi data dalam basis data. Query biasanya dibuat dengan menggunakan bahasa
pemrogaraman khusus seperti SQL (Structured Query Language) atau dengan menggunakan
tools query builder.
9. DDL (Data Definition Langugage) dalam penerapan taksonomi basis data adalah bahasa yang
digunakan untuk mengubah struktur basis data, seperti membuat table, mengubah nama table
atau kolom, menambah indeks, dan menetapkan kunci primer.
10. DML (Data Manipulation Language) dalam penerapan taksonomi basis data adalah bahasa yang
digunakan untuk melakukan kalkulasi dan manipulasi data dalam masis data, seperti
menambah, mengedit, atau menghapus baris dalam table.
11. Traksaksi adalah aksi atau operasi yang dilakukan oleh pengguna pada basis data, seperti
menambah, mengedit, atau mengahapus data. Transaksi juga dapat mencakup seragkaian
operasi atau aksi yang harus dilakukan secara bersamaan dan semuanya harus berhasil atau
gagal secara bersamaan.
12. Kardinalitas dalam desain basis data adalah kriteria yang digunakan untuk menentukan
hubungan antara table dalam basis data. Kardinalitas mengacu pada hubungan antara jumlah
baris dalam satu table dan jumlah baris dalam table lain terkait.
13. Konsistensi data adalah karakteristik yang memastikan data dalam basisdata akurat dan tepat
dalam semua aspek penggunanya. Ini berarti data harus konsisten dengan keadaan dunia nyata
dan tidak boleh bertentangan dengan data di tempat lain dalam basis data. Konsistensi data
juga memastikan bahwa semua aturan dan batasan yang ditetapkan pada data dipatuh.
14. Redudansi adalah karakteristik yang mengacu pada duplikasi data yang tidak perlu dalam table
basis data. Redudansi dapat menyebabkan masalah seperti membuang ruang penyimpanan
yang berlebihan, membuat data sulit diperbarui, dan meningkatkan risiko kesalahan data. Oleh
karena itu perlu dihindari untuk menjaga integritas data dan efisiensi.
15. Kunci asing adalah kunci yang digunakan untuk mengubungkan dua table dalam basis data.
Kunci asing digunakan untuk membangun hubungan antara table dan memastikan
keintegritasan referensial dalam basis data. Kunci asing mengacu pada kolom atau kumpulan
kolom dalam satu table yang merujuk ke kunci utama dalam table lain. Penggunaan kunci asing
memungkinkan pengguna untuk mengakses data dari table yang terkait dan memastikan
konsistensi data dalam basisdata.
16. Konsep taksonomi basis data > Skema basis data, entitas dan relasi. SQL bukan taksonomi
melainkan sebuah bahasa yang digunakan untuk mengakses dan mengelola basis data.
17. Normalisasi database terdiri dari banyak bentuk, dalam ilmu basis data ada setidaknya 9 bentuk
normalisasi yaitu 1NF, 2NF, 3NF, EKNF, BCNF, 4NF, 5NF, DKNF, dan 6NF. Namun dalam
prakteknya dalam dunia industry bentuk normalisasi ini yang paling sering digunakan ada seiktar
5 bentuk.
18. Normalisasi dalam basis data : 2NF, 3NF, 4NF. Normalisasi basis data 5NF tidak ada, 5NF hanya
digunakanan pada basis data yang kompleks dan sangat besar.
19. Normalisasi 2NF memiliki syarat > data telah dibentuk dalam 1NF. Fungsi Normalisasi 2NF:
Menghapus beberapa subset data yang ada pada table dan menempatkan mereka pada
table terpisah
Menciptakan hubungan antara table baru dan table lama dengan menciptakan foreign
key
Tidak ada atribut dalam table yang secara fungsional bergantung pada candidate key
table tersebut
Intinya adalah 2NF ini, table harus dipecah beradasarkan primary key
20. Normalisasi 3NF bertujuan untuk menghilangkan seluruh atribut atau field yang tidak
berhubungan dengan primary key. Syarat dari bentuk normal ketiga atau 3NF adalah:
- Memenuhi semua persyaratan dari bentuk normal kedua
- Menghapus kolom yang tidak tergantung pada primary key
Intinya pada 3NF ini, jika terdapat suatu atribut yang tidak bergantung pada field yang lain,
maka perlu dipisah ke table baru.
Relasi 3NF (Third Normal Form) adalah relasi yang memenuhi 1NF, 2NF dan atribut yang buka
primary key tidak memiliki ketergantungan transitif pada primary key. Ketergantungan transitif
adalah ketergantungan fungsional antara atribut bukan primary key.
21. Data Ingestion adalah proses pengambilan, pemrosesan, dan memuat data dari berbagai
sumber kedalam sistem yang dapat digunakan untuk analisis dan pengambilan keputusan.
Manfaat data ingestion adalah meningkatkan efesiensi, mendukung pengambilan keputusan,
meningkatkan kualitas data, mengoptimalkan kinerja sistem, mengurangi risiko kesalahan,
menyederhanakan integrasi data, dan menyediakan data yang actual.
Tujuan utama data ingestion > Mendukung pengambilan keputusan
Manfaat utama data ingestion pada analitik big data > memudahkan pengolahan data yang
besar dan kompleks. Proses ingestion memungkinkan data dari berbagai sumber dimuat ke
dalam sistem analitik big data dengan cepat dan efisien.
Karakteristik penting proses data ingestion > terintegrasi, otomatis dan handal. Dimuat dengan
cepat dan tanpa kesalahan.
22. Pada sistem manajemen basis data (DBMS), data ingestion merujuk pada proses memuat data
dari berbagai sumber ke dalam DMS agar dapat diakses oleh pengguna. Proses pemrosesan data
dan transformasi data pada DBMS dilakukan setelah data dimuat.
DBMS adalah sistem yang digunakan untuk mengolah dan mengelola data dalam basis data.
Keutungan DBMS > Memudahkan manajemen data, meningkatkan keamanan data, dan
mengurangi redundandi data (duplikasi).
23. Implementasi basis data adalah proses mengimplementasikan aplikasi yang memanfaatkan basis
data. Hal ini meliputi pengembangan aplikasi yang dapat berkomunikasi dengan basis data,
pengaturan hak akses pengguna, dan penanganan kemanan data.
Manfaat implementasi basis data > meningkatkan efesiensi operasional, mengoptimalkan
keamanan data, dan meningkatkan produktivitas pengguna.
24. SQL adalah sintaks sintaks atau perintah untuk mengakses data dalam database, tetapi SQL juga
bisa digunakan untuk memanipulasi data. Sintaks tersebut disebut Data Manipulation Language
(DML).
Select : Mengambil atau menampilkan data
Insert : Menambah atau menyisipkan data atau field
Delete : Menghapus data
Update : Mengubah data
mengubah data (Update), menampilkan data (Select), dan mengahpus data (Delete).
25. Definition Data Language (DDL) digunakan untuk kepentingan penciptaan database, table,
hinggal penghapusan database atau table. Perintah-perintah DDL:
Create : Membentuk basis data, table atau index atau membuat objek database
Drop : Menghapus basis data, table atau index
Alter : Mengubah struktur table/ databse
Truncate: Menghapus semua record dari sebuah table termasuk semua orang yg
dialokasikan
Comment : menambahkan komentar ke kamus data
Rename : memberi nama ulang sebuah objek
26. Delete dan Update harus diakhiri dengan WHERE
27.
28. Data Control Language (DCL) merupakan sub bahasa untuk melakukan pengontrolan data dan
server databasenya
Grant : Pemberian hak akses kepada pengguna. Ada pengguna yg hanya dapat akses
satu table saja
29. Membuat struktur table minimal:
- Nama Kolom (fiel/atribut)
- Tipe Data (data type)
- Lebar (banyaknya karakter/ digit maksimum yang dapat ditampung)
- Pendifinisian kolom (apakan null atau not null)
30. Arsitektur DBMS (Database Manageement System) ini dikenal dengan tiga skema (three-schema
architecture) dimana fungsi ini memisahkan antara basis data fisik dengan program aplikasi
user:
1. Level Internal, menerangkan struktur penyimpanan basis data secara fisik dan
organisasi file yang digunakan
2. Level konseptual, menerangkan secara menyeluruh dari basis data dengan
menyembunyikan penyimpanan data secara fisik
3. Level Eksternal, menerangkan view basis data dari sekelompok pemakai
31. Pada Open Database Connectivity (ODBC) terdapat 2 hal penting yang berkaitan dengan koneksi
database yaitu:
Database Driver
Sofatware/ Driver yang berfungsi untuk membuat koneksi database yang sesuai dengan
database tersebut
Database Source Name (DSN)
Nama / alias dari database yang digunakan oleh program, yang koneksinya melalui
ODBC. Dalam ODBC terdapat beberapa jenis Data Source Name yang akan menentukan
otoritas pemakaian database, yaitu:
User DSN, System DSN, File DSN, ODBC API, Driver vasis data ODBC, dan ODBC Driver
Manager
32.
33.
34. Retrieval merupakan pengakesan sebuah berkas untuk tujuan mendapatkan informasi.
Persyaratan retrieval dibagi menjadi 2 yaitu:
Comprehensive Retrieval, yaitu proses untuk mendapatkan informasi dari semua record
dalam berkas. Contohnya : Display All, List Nama
Selective Retrieval, yaitu mendapatkan informasi dari record tertentu berdasarkan
persyaratan ternetu. Contoh : List For Gaji = 70000
35. Ada beberapa proses yang termasuk dalam pengubahan struktur dalam table yaitu:
a. Menambah field baru dalam suatu table
b. Mengubah nama field
c. Mengubah tipe data field
d. Membuat primary key
e. Mengubah property field
f. Menghapus primary key
36.
37. 4 Tahap awal metodologi dalam perancangan basis data untuk data warehouse, yaitu:
a. Predictive modeling : Membantu model untuk memprediksi nilai yang punya ciri
tertentu
b. Association analysis : menghasilkan sejumlah rule yang menjelaskan sejumlah data yang
terhubung kuat satu dengan yang lainnya
c. Clustering : mengelompokkan data yang sejenis sehingga data yang berada di cluster
yang sama mempunyai banyak kesamaan dibandingkan dengan data yang ada dicluster
berbeda
d. Anomaly detection : menemukan anomaly atau outliner data yang berbeda dengan data
lainnya
38. Data warehouse > tempat untuk menyimpan data yang terkonsolidasi
Data mining > perkakas untuk menganalisa otomatis nilai dari data tsb
39. Data warehouse merupakan sistem yang menggabungkan data dari berbagai sumber menjadi
satu penyimpanan data yang tunggal, terpusat dan konsisten untuk mendukung analisa bisnis,
data mining, AI, dan machine learning.
Data warehouse adalah kumpulan data yang berorientasi subjek, terintegrasi, tim-variant, dan
non-volatile untuk mendukung proses pengambilan data
40. Data mining mengacu pada proses untuk menambang (mining) pengetahuan dari sekumpulan
data yang sangat besar. Sebenarnya data mining merupakan suatu langkah dalam Knowledge
Discovery in Database (KDD). Proses KDD:
Data Cleaning : pembersihan data
Data Integration : integrasi data
Data Selection : pembersihan data
Data Transformation : transfromasi data
Data Mining
Pattern Evaluation : evaluasi pola
Knowledge Presentation: penyajian pengetahuan
41. Banyak teknik dan metode yang ada untuk melakukan berbagai jenis tugas data mining. Metode
ini dikelompokkan dalam 3 paradigma utama data mining:
- Predictive Modeling
- Discovery
- Deviation Detection
42. Langkah-langkah yang terlibat dalam processing data meliputi:
Menggabungkan data dari berbagai sumber
Membersihkan (cleaning) data untuk membuang noise dan observasi duplikat
Menyeleksi record dan fitur yang relevan untuk pekerjaan data mining
43. Classification > meyimpulkan definisi-defini karakteristik sebuah grup. Contoh: pelanggan-
pelanggan perusahaan yang telah berpindah kesaingan perushaan lain
44. Sequencing > mengidentifikasi hubungan-hubungan yang berbeda pada suatu periode tertentu,
seperti pelanggan-pelanggan yang mengunjungi supermarket secara berulang
45. K-Means merupakan algoritma clustering. K-Means Clustering adalah suatu metode pengalisaan
data atau metode Data Mining yang melakukan pemodelan tanpa supervise (Unsupervised) dan
merupakan salah satu metode yang melakukan pengelompokan data dengan sistem partisi.
K-Means merupakan salah satu merode clustering non-hirarki yang berusaha mempartisi data
yang ada kedalam bentuk satu atau lebih cluster. Metode ini mempartisi data ke dalam cluster
sehingga data yang memiliki karakteristik yang sama dikelompokkan kedalam satu cluster sama
dan data karakteristik berbedalam dikelompokkan kedalam cluster yang lain.
46. Fungsi dari algoritma K-Means adalah mengelompokkan data kedalam beberapa cluster.
Karateristik:
- Memiliki n buah data
- Input berupa jumlah data dan jumlah cluster (kelompok)
- Pada setiap cluster / kelompok memiliki sebuah centroid yang mempresentasikan
cluster tersebut
47. Beberapa permasalahan yang sering muncul pada saat menggunakan metode K-Means untuk
pengelompokan data:
Ditemukan beberapa model clustering berbeda
Pemilihan jumlah cluster yang paling tepat
Kegagalan untuk coverge
Outliners
Bentuk cluster
Overlapping
48. Algoritma Apriori ditujukan untuk mencari kombinasi item-set.
Metode untuk mencari pola hubungan antar satu atau lebih item dalama suatu dataset. Hasil
dari algoritma digunakan untuk membantu dalam pengambilan keputusan.
49. Supervised learning > tujuan untuk prediksi. Seperti regresi. Ciri utama: variable targetnya (yang
akan diprediksi) sudah ada
Unsupervised learning > tujuan untuk deskriptif atau mencari insight dari data. Seperti market
basket analysis dan clustering. Ciri utama: tidak adanya variable target.
50. Software
1) WEKA : software yang menggunakan algoritma machine learning untuk melakukan
proses data mining. Terdapar fitur regression (memperkirakan masa depan berdasarkan
pola yang terbentuk) dan fitur clustering (mengelompokan data yang tersedia).
Menampilkan hasil data mining dalam bentuk chart dan gambar sehingga mudah
dipahami.
2) Foxpro: digunakan untuk membuat dan mengolah database. Dikenal dengan Sistem
Manajemen Basis Data (DBMS)
3) Carrara : dgunakan untuk bekerja dengan grafik karena membantu pengguna untuk
mengedit atau membuat perubahan pada data visual atau gambar.
4) Razer Cortex : merupakan aplikasi All-in-one untuk seluruh kebutuhan game.
Memfokuskan kinerja CPU untuk game yang dimainkan
51. Algoritma Naive Bayes adalah algoritma yang mempelajari probabilitas suatu objek dengan ciri
tertentu yang termasuk dalam kelompok tertentu. Memprediksi peluang dimasa depan
berdasarkan pengalaman di masa sebelumnya sehingga dikenal Teorema Bayes.
Ciri : asumsi yang sangat kuat akan independensi dari masing-masing kondisi/kejadian.
Pemodelan Naïve Bayes Classifier menggunakan package scikit-learn (sklearn) dari python
antara lain:
Gaussian Naïve Bayes : pengklasifikasian paling sederhana yang memiliki asumsi bahwa
data dari masing-masing label diambil dari distribusi Gaussian sederhana
Multinomial Naïve Bayes : diasumsikan diambil dari distribusi Multinomial sederhana.
Paling sesuai untuk fitur yang mewakili jumlah diskrit
Bernoulli Naïve Bayes : fitur diasumsikan biner (0s dan 1s). Klasifikasi teks dengan model
‘bagof words’ dapat menjadi aplikasi dari Bernoulli Naives Bayes
52. [Link]
53. [Link]
54. [Link]
55. [Link]
56. [Link]
57.
DATA MINING
Proses pengumpulan sebuah informasi penting pada suatu data yang berukuran besar. Untuk
pengumpulan data tersebut dapat dilakukan melalui proses perhitungan statistika, matematika,
maupun menggunakan teknologi AI (Artificial Intellegence).
Tujuan Data Mining:
1) Explanotary : menjelaskan suatu kondisi penelitian
2) Confirmatory : memastikan sebuah pernyataan/ mempertegas hipotesis
3) Explatory : mencari pola baru yang sebelumnya tidak terdeteksi
Fungsi Data Mining:
a) Fungsi Deskripsi (Descriptive) : Memahami lebih jauh tentang data yang diamati. Dengan
melakukan sebuah proses diharap bisa mengetahui perilaku dari sebuah data tersebut.
b) Fungsi Prediksi (Predictive) : Sebuah proses nantinya akan menemukan pola tertentu
dari sebuah data. Pola tersebut diketahui dari berbagai variable yang ada pada data.
c) Fungsi lainnya : Characterization, discrimination, association, classification, clustering,
outliner, and trend analysis dan sebagainya.
Metode data mining > terdiri dari 2 metode utama :
1. Proses Pengambilan Data
Data cleansing
Data integration
Selection
Data transformation
Data mining
Knowledge presentation
2. Teknik Penambangan Data
Predicitve Modelling (classification data value prediction)
Database segmentation
Link Analysis
Deviation detection
Nearest Neighbour
Clustering
Decision Tree
Permasalahan dalam Data Mining
- Metodologi Mining (Hambatan Metodologi)
Sangat beragamnya jenis informasi atau knowledge dari berbagai tipe data (efisiensi,
efektivitas, skala kinerja, evaluasi pola dan proses penanganan data)
- User Interaction (Interaksi Pengguna
Terkait dengan penggunaan query language untuk data mining dan penentuan ekspresi
atau visualisasi hasil data mining, proses penambangan informasi secara interaktif di
berbagai tingkatan data mining
- Application dan Social Impacts
Meliputi data mining khusus yang melibatkan domain dan incognito (tak terlihat).
Permasalahan ini juga terjadi pada prose data mining yang terhambat perlindungan
kemanan data, integritas, dan privasi pengguna.
Manfaat Data Mining > Keperluan Bisnis cth: Pemasaran
Digunakan untuk target pemasaran, manajemen hubungan pelanggan (CRM), analisa pasar,
analisa kebutuhan pelanggan, profiling pelanggan, cross-selling, segmentasi pasar.