PROIECT - TEHNOLOGII BIGDATA
Coordonator științific,
Prof. Dr. Ing. Luminița Dumitriu
Masterand,
Ing. Băleanu Ștefan-Daniel
Galați
2024
Str. Științei Nr. 2, cod poștal 800146, Galați, România, tel/fax: +0236 470 905, e-mail: [Link]@[Link], web: [Link]
PREPROCESAREA ȘI ANALIZA UNUI SET DE
DATE REFERITOR LA CONSUMUL DE
COMBUSTIBILI DE PE TERITORIUL UK
Coordonator științific,
Prof. Dr. Ing. Luminița Dumitriu
Masterand,
Ing. Băleanu Ștefan-Daniel
Galați
2024
Str. Științei Nr. 2, cod poștal 800146, Galați, România, tel/fax: +0236 470 905, e-mail: [Link]@[Link], web: [Link]
CUPRINS
Partea I - Obținerea setului de date și preprocesarea acestuia ..................................................... 1
Condiții prealabile .........................................................................................................................................................2
Preprocesarea setului de date .................................................................................................................................4
Partea II - Realizarea analizei grafice și observarea evoluției tendințelor de consum ....... 7
Grafice evolutive bidimensionale ...........................................................................................................................8
Grafice evolutive tridimensionale ....................................................................................................................... 10
Grafice de tip plăcintă sau felii de pizza............................................................................................................ 11
Grafice de tip coloană cu reprezentare tridimensională ........................................................................... 13
Concluzii .............................................................................................................................................................. 14
Bibliografie ......................................................................................................................................................... 15
PARTEA I - OBȚINEREA SETULUI DE DATE ȘI PREPROCESAREA
ACESTUIA
1
Partea I. Obținerea setului de date și preprocesarea acestuia
CONDIȚII PREALABILE
Pentru a ne aventura cu succes în acest proiect, vom utiliza o serie de instrumente
software sofisticate. Acestea ne vor permite să maximizăm potențialul și să ne atingem
obiectivele prin intermediul funcționalităților pe care le oferă. Instrumentele noastre
includ un browser web pentru accesul la internet, editorul de cod Visual Studio Code creat
de Microsoft, sistemul de gestionare a pachetelor Homebrew dezvoltat de Max Howell,
pachetul Python 3 oferit de Python Software Foundation, librăria de analiză de date
Pandas creată de Wes McKinney, aplicația de foi de calcul Numbers de la Apple și aplicația
de foi de calcul Microsoft Office Excel, de asemenea dezvoltată de Microsoft.
În primul rând, vom naviga către adresa sursei [1] folosind browser-ul nostru
preferat. Ulterior, vom examina cu atenție descrierea setului de date pentru a determina
dacă este relevant pentru nevoile noastre.
Figura 1. Descrierea setului de date [1]
După o scanare inițială satisfăcătoare a setului de date, putem trece la descărcarea
acestuia. Observăm că setul de date selectat este disponibil în două formate. Prima
variantă este în format .xlsx, în timp ce a doua este în format .csv.
Figura 2. Formatele disponibile pentru setul de date ales [1]
Pentru funcționarea optimă a aplicației noastre, este necesar un fișier .csv. Acesta
va fi convertit ulterior în formatul .xlsx pentru a permite preprocesarea suplimentară în
Microsoft Office Excel. Etapa inițială de preprocesare presupune renunțarea la coloanele
irelevante conținute în cadrul setului de date, iar pentru acest lucru ne vom folosi de
2
Partea I. Obținerea setului de date și preprocesarea acestuia
librăria Pandas în contextul utilizării pachetului Python 3. De asemenea, vom elimina
rândurile duplicate din setul de date, deoarece acestea ar putea influența negativ atât
reprezentările grafice, cât și rezultatele analizei datelor.
Pentru a identifica cu exactitate coloanele care nu sunt relevante pentru aplicația
noastră și pe care le putem elimina, trebuie să accesăm fișierul .csv utilizând aplicația de
calcul tabelar Numbers.
Figura 3. Secvență incipientă a setului de date înainte de preprocesare
Analizând datele, observăm că valorile coloanei 'Code' nu contribuie la direcția
noastră de analiză. Fiecare dintre celelalte coloane îndeplinește un rol specific: 'Area'
identifică zonele și regiunile de consum, 'Year' indică anul în care s-a înregistrat consumul
specificat în 'Value', 'Fuel' denotă tipul de combustibil utilizat, 'Sector' se referă la sectorul
de consum, iar 'Measurement' reprezintă unitatea de măsură pentru cantitatea din
'Value'.
Pentru a elimina coloana ‘Code’, vom folosi editorul de cod Visual Studio Code. Aici,
vom deschide un terminal nou și vom instala librăria Pandas.
Figura 4. Instalarea librăriei 'pandas'
3
Partea I. Obținerea setului de date și preprocesarea acestuia
Pentru a instala biblioteca 'pandas', trebuie să rulăm comanda '$ pip3 install
pandas' în terminal. Odată ce această comandă este executată, terminalul va afișa
progresul instalării, permițându-ne să urmărim evoluția acesteia și să confirmăm dacă
instalarea a fost realizată cu succes. Este important de menționat că, după fiecare
instalare realizată cu comanda '$ pip3', Python ne va informa dacă există actualizări
disponibile pentru pachetul 'pip'. Odată ce am confirmat că toate dependențele au fost
îndeplinite corespunzător, putem direcționa atenția noastră către organizarea eficientă a
codului nostru.
PREPROCESAREA SETULUI DE DATE
Figura 5. Codul programului de preprocesare
După executarea programului, se va genera un fișier .csv denumit „total-final-
energy-consumption_Cleaned.csv”. Acest fișier va fi apoi convertit în formatul .xlsx
pentru a facilita a doua etapă a procesului de preprocesare.
Figura 6. Rezultatul rulării codului de preprocesare
În a doua etapă a preprocesării, valorile din coloana 'Value' sunt supuse conversiei
de la formatul imperial la cel metric. Acest proces implică înlocuirea punctului, care
4
Partea I. Obținerea setului de date și preprocesarea acestuia
delimitează părțile întregi de cele zecimale (.), cu virgula (,). În plus, am adăugat un
separator pentru mii, reprezentat prin punct (.), în formatare, în conformitate cu
convențiile sistemului metric. Observațiile noastre pot fi cel mai bine ilustrate cu ajutorul
figurilor de mai jos, care prezintă formatul numerelor atât înainte, cât și după conversie.
Figura 7. Formatul valorilor înainte de realizarea conversiei
Figura 8. Formatul valorilor după realizarea conversiei
În a treia etapă a preprocesării, setul de date este redus suplimentar pentru a
extrage valorile relevante pentru analiză. Vom utiliza funcționalitățile aplicației de calcul
tabelar, Microsoft Office Excel, pentru a genera o nouă foaie de calcul. Datele relevante
vor fi importate din foaia de calcul creată în urma celei de-a doua etape a preprocesării.
Importarea datelor în noua foaie de calcul se va realiza cu ajutorul mai multor
formule specifice aplicației de calcul tabelar.
Figura 9. Formula necesară pentru completarea automată a coloanei 'Year
5
Partea I. Obținerea setului de date și preprocesarea acestuia
Figura 10. Formula necesară pentru calcularea și completarea automată a valorilor din câmpul 'Value'
Figura 11. Partea incipientă a setului de date colectat în vederea analizării
În figura prezentată mai sus, se poate observa că valorile coloanelor 'Area' și 'Sector'
nu mai sunt prezente, ceea ce implică absența acestor coloane. Aceasta se explică prin
faptul că setul de date selectat se referă exclusiv la o zonă de consum specifică, respectiv
Regatul Unit, și include doar valoarea totală pentru câmpul 'Sector'. Câmpul ‘Sector’
reflectă suma totală a valorilor din toate sectoarele pentru anul în curs, specifică regiunii
selectate.
Câmpul ‘Measurement’ definește unitatea de măsură pentru valorile din coloana
‘Value’. În particular, atunci când unitatea este ‘Ktoe’, este esențial să se înțeleagă că
aceasta reprezintă echivalentul consumului exprimat în kilotone de petrol.
6
PARTEA II - REALIZAREA ANALIZEI GRAFICE ȘI OBSERVAREA
EVOLUȚIEI TENDINȚELOR DE CONSUM
7
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
GRAFICE EVOLUTIVE BIDIMENSIONALE
Figura 12. Evoluția consumului de comustibili pe teritoriul Regatului Unit (Ktoe)
Figura 13. Evoluția consumului de comustibili pe teritoriul Regatului Unit (GWh)
Graficele indică o tendință descendentă a consumului de petrol și gaze naturale, în
timp ce consumul de electricitate rămâne stabil, prezentând un profil aproape liniar.
Comparativ cu anul de referință al raportului, 2005, consumul de electricitate în 2014 și
2015 a rămas aproximativ constant, în ciuda creșterii semnificative a cererii de produse
electronice și a expansiunii pieței de vehicule electrice. Această tendință poate fi atribuită
unor factori precum eficiența crescută a electrocasnicelor, mutarea producției în țări din
Orientul Mijlociu și Asia, precum și schimbarea comportamentului consumatorilor.
De asemenea, se remarcă o tendință pozitivă în ceea ce privește evoluția energiei de
biomasă. Analizând graficele, observăm că aceasta nu numai că a depășit consumul de
cărbune, dar se află și într-o competiție strânsă cu consumul de combustibili gazoși de
sinteză.
8
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
Figura 14. Evoluția consumului total de combustibili pe teritoriul Regatului Unit (Ktoe)
Figura 15. Evoluția consumului total de combustibili pe teritoriul Regatului Unit (GWh)
Graficele prezentate mai sus ilustrează evoluția consumului total de combustibili.
Se poate observa o tendință descendentă a consumului de combustibili în Regatul Unit,
un fenomen interesant având în vedere creșterea continuă a populației.
Figura 16. Evoluția populației Regatului Unit de la 1960 până la 2020 [2]
9
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
Această tendință poate fi atribuită acelorași factori care mențin consumul de
electricitate stabil, în ciuda creșterii cererii de electrocasnice și a expansiunii pieței de
vehicule electrice. Eficientizarea nu afectează doar gama de produse electrocasnice, ci și
gama de autovehicule cu motoare cu combustie internă. În ultimii ani, tendințele
inginerești au vizat reducerea capacității cilindrice a autovehiculelor, cu un compromis
minim al puterii. Procesele tehnologice de manufacturare, o altă ramură care a beneficiat
de numeroase îmbunătățiri și eficientizări, reprezintă o parte semnificativă din consumul
energetic al unei națiuni. În plus, externalizarea și implementarea de fabrici în țări în curs
de dezvoltare este o practică contemporană care contribuie la scăderea consumului
energetic în țara de origine.
GRAFICE EVOLUTIVE TRIDIMENSIONALE
Figura 17. Evoluția consumului de combustibili pe teritoriul Regatului Unit (Ktoe, Reprezentare 3D)
Figura 18. Evoluția consumului de combustibili pe teritoriul Regatului Unit (GWh, Reprezentare 3D)
10
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
Figurile 17 și 18 ilustrează evoluția consumului de combustibili în Regatul Unit
printr-o reprezentare grafică tridimensională. Acestea oferă o perspectivă similară cu
graficele bidimensionale din figurile 12 și 13, însă adaugă un nivel suplimentar de detaliu.
Prin această abordare tridimensională, putem urmări mai clar tendințele concurente pe
întreaga durată a perioadei analizate.
Un exemplu al unei tendințe specifice poate fi identificat prin analiza evoluției
categoriilor ‘Coal’, ‘Manufactured fuels’ și ‘Bioenergy & wastes’. Există segmente distincte
unde o anumită categorie le surclasează pe celelalte, creând astfel o neclaritate vizuală în
reprezentările grafice bidimensionale prezentate anterior în acest proiect.
GRAFICE DE TIP PLĂCINTĂ SAU FELII DE PIZZA
Figura 19. Procentajele consumului de combustibili pe anul 2005 (Ktoe)
Figura 20. Procentajele consumului de combustibili pe anul 2015 (Ktoe)
11
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
Figura 21. Procentajele consumului de combustibili pe anul 2005 (GWh)
Figura 22. Procentajele consumului de combustibili pe anul 2014 (GWh)
Graficele de acest tip sunt utile atunci când dorim să evidențiem diferențele
procentuale. În contextul nostru, ne propunem să analizăm variațiile tendințelor de
consum la capetele intervalului de timp (2005 - 2015, respectiv 2014). Observăm că, în
cazul graficelor care ilustrează consumul în gigawați oră, unul dintre intervale se încheie
prematur cu anul 2014. Acest lucru se datorează lipsei de date pentru anul 2015
referitoare la consumul anumitor combustibili. Pentru a menține acuratețea graficelor,
am decis să excludem anul 2015.
Este esențial să observăm că procentajul consumului de energie electrică pare să fie
mai mare în anii terminali comparativ cu anul de început. Cu toate acestea, această
percepție poate fi înșelătoare, deoarece graficele reflectă procentajul din consumul total
al anului respectiv. Analizând figurile 14 și 15, constatăm că, în comparație, consumul
total de combustibili a fost semnificativ mai mic în anii terminali decât în anul de început.
12
Partea II. Realizarea analizei grafice și observarea evoluției tendințelor de consum
GRAFICE DE TIP COLOANĂ CU REPREZENTARE TRIDIMENSIONALĂ
Figura 23. Grafic comparativ al consumurilor de combustibili (2005 vs 2015, Ktoe)
Figura 24. Grafic comparativ al consumurilor de combustibili (2005 vs 2014, GWh)
Graficele comparative de tip coloană au capacitatea de a ilustra mai eficient
diferențele dintre tendințele de consum de la extremitățile intervalelor de timp, deoarece
coloanele reflectă valoarea cantitativă, nu cea procentuală, spre deosebire de graficele de
tip plăcintă sau felii de pizza. Este evident din aceste grafice că tendința de consum pentru
energia electrică a înregistrat o ușoară scădere în anii finali, tendință similară cu cea a
combustibililor petrolieri sau a gazului natural. În plus, se observă o creștere a
tendințelor de consum pentru combustibilii gazoși de tip biomasă.
13
Concluzii
CONCLUZII
Acest set de date este valoros pentru o gamă largă de sectoare, de la consumatori
individuali până la corporații. El ne oferă posibilitatea de a înțelege și vizualiza tendințele
de consum pe categorii distincte. Aceste informații pot fi folosite pentru a elabora,
implementa și gestiona noi strategii de consum care să vizeze îmbunătățirea
randamentului, eficienței și sustenabilității în contextul luptei împotriva schimbărilor
climatice.
Consider că o strategie eficientă pentru consumatorii individuali ar putea fi
implementarea contoarelor inteligente cu conectivitate la rețea. Aceasta le-ar permite
utilizatorilor să-și monitorizeze în detaliu tendințele de consum. În plus, o strategie
complementară ar putea fi dezvoltarea unui sistem de conversie care să transforme
unitățile de energie consumate în unități echivalente de resurse naturale și părți per
milion de dioxid de carbon emis în atmosferă ca rezultat al consumului de energie. Astfel,
utilizatorii ar putea înțelege mai bine amprenta lor de carbon și ar avea posibilitatea de a
o gestiona în mod eficient.
Când vine vorba de corporații, consider că acestea au potențialul de a investi în
surse alternative de energie, precum energia solară sau eoliană, pentru a diminua
dependența de combustibilii fosili. Mai mult decât atât, acestea pot contribui la
implementarea acestor soluții ecologice în fabricile și întreprinderile pe care le dezvoltă
în țările defavorizate sau în curs de dezvoltare, promovând astfel un viitor mai sustenabil.
În ciuda delicateței situației climatice actuale, care poate induce o stare generală de
deznădejde, consider că este esențial să ne păstrăm speranța, să recunoaștem și să
apreciem eforturile în curs de desfășurare, depuse pentru redresarea acestei situații.
14
BIBLIOGRAFIE
[1] [Link] [02/02/2024]
[2] [Link] - &place=country/GBR&statsVar=Count_Person [02/02/2024]
15