UNITATEA DE ÎNVĂŢARE 2

REGRESIA LINIARA SIMPLA

Timpul alocat temei – 4 ore
2.1. Noţiunea de dependenţă stocastică. Modelul de regresie
liniară simplă. Ipoteze privind datele de observaţie, cerute de
utilizarea metodei CMMPO.
2.2. Deducerea estimatorului CMMPO. Interpretare
geometrică. Proprietăţile estimatorilor a şi b bazaţi pe metoda
CMMPO. Teorema Gauss-Markov.
2.3. Determinarea unui estimator nedeplasat al dispersiei
erorilor. Distribuţia de probabilităţi a estimatorilor a şi b, în
ipoteza unei distribuţii normale a erorilor.
2.4. Teste de semnificaţie şi intervale de încredere ale
parametrilor de regresie. Analiza surselor de variaţie. Teste
privind calitatea ajustării. Problema predicţiei liniare.
 Obiectivele capitolului 2
Această unitate de învăţare, structurată în patru secţiuni,
prezintă conceptele teoretice fundamentale și elementele
metodologice ale regresiei liniare simple: dependenţă stocastică;
modelul de regresie liniară simplă; metoda celor mai mici pătrate
ordinare (CMMPO); teorema Gauss-Markov .
Parcurgerea logică a tuturor elementelor acestei unităţi îi va
conferi fiecărui student următoarele competenţe specifice:
• să formuleze corect ipotezele privind datele de observație cerute de
utilizarea metodei CMMPO;
• să determine coeficienții de regresie prin metoda CMMPO;
• să analizeze proprietățile estimatorilor a și b ai modelului de regresie
simplă liniară și să le testeze semnificația (prin testarea ipotezelor
statistice și construirea intervalelor de încredere);
• să analizeze sursele de variație ale variabilei stocastice a modelului
și să testeze calitatea ajustării;
• să realizeze predicții pe baza modelului econometric de regresie
liniară simplă.
 Regresia simplă liniară
Termenul de regresie a fost folosit pentru prima dată de către Francis Galton, când a încercat
să studieze fenomenul stabilității populației umane sub aspectul înălțimii.
A observat tendința ca părinții înalți să aibă copii înalți, iar părinți scunzi să aibă copii scunzi.
Inaltime Inaltime parinti (X)
copii (Y) 1,613 1,638 1,664 1,689 1,715 1,740 1,765 1,791 1,816 1,842 1,867 Total
1,885 5 3 2 4 14
1,859 3 4 3 2 2 3 17
1,834 1 4 4 11 4 9 7 1 41
1,808 2 11 18 20 7 4 2 64
1,783 5 4 19 21 25 14 10 1 99
1,758 1 2 7 13 38 48 33 18 5 2 167
1,732 1 7 14 28 34 20 12 3 1 120
1,707 2 5 11 17 38 31 27 3 4 138
1,681 2 5 11 17 36 25 17 1 3 117
1,656 1 1 7 2 15 16 4 1 1 48
1,631 4 4 5 5 14 11 16 59
1,605 2 4 9 3 5 7 1 1 32
1,580 1 3 3 7
1,554 1 1 1 1 1 5
Total 14 23 66 78 211 219 183 68 43 19 4 928
Media
înălțime copii
E(Y|X) 1,658 1,660 1,694 1,703 1,717 1,728 1,745 1,768 1,781 1,829 1,853 *
 1,61 1,64 1,66 1,69 1,71 1,74 1,77 1,79 1,82 1,84
E[Y|X]
1,86

1,83

1,81

1,78

1,76
Înălțime copii

1,73

1,71

1,68

1,66

1,63

1,61

1,58

Înălțime părinți
 Regresia liniară simplă
• Definiție
Studiul dependenței unei variabile (variabilă dependentă) de una sau mai
multe variabile (numite variabile explicative) cu scopul de a estima media
variabilei dependente pornind de la valori fixate ale variabilelor
explicative.
• Denumiri alternative
Variabila dependentă (Y) Variabila explicativă (X)
Explicată Independentă
Predictand Predictor
Regresand Regresor
Răspuns Stimul
Endogenă Exogenă
Rezultat Covariată
Variabilă controlată Variabilă de control
 Regresia liniară simplă

Din studiul lui Galton a rezultat un model al cărui grafic era o linie dreaptă.
Specificarea matematică a modelului este în acest caz:

𝑬 𝒀 𝑿 = 𝒙𝒊 = 𝜶 + 𝜷 ⋅ 𝒙𝒊

- este liniar în argumente (variabile) – toate variabilele incluse în model (în

acest caz doar una singură - X) sunt la puterea 1.
- Este liniar în parametri – toți parametrii (în acest caz 𝛼 și 𝛽) sunt la
puterea 1.
Exemple de modele
𝑬 𝒀 𝒙𝒊 = 𝜶 + 𝜷 ⋅ 𝒙𝟐𝒊 - neliniar în argumente dar liniar în parametri

𝑬 𝒀 𝒙𝒊 = 𝜶 + 𝜷𝟑 ⋅ 𝒙𝒊 - neliniar în parametri dar liniar în argumente

𝑬 𝒀 𝒙𝒊 = 𝜶 + 𝜷𝟑 ⋅ 𝒙𝟒𝒊 - neliniar în parametri și în argumente
 Specificarea econometrică a modelului

Ecuația reală a modelului

𝑦𝑖 = 𝐸 𝑌 𝑥𝑖 + 𝜀𝑖

𝒚𝒊 = 𝜶 + 𝜷 ⋅ 𝒙𝒊 + 𝜺𝒊 𝑖 = 1,2 …

𝜀𝑖 = 𝑦𝑖 − 𝐸 𝑌 𝑥𝑖 = 𝑦𝑖 − 𝛼 − 𝛽 ⋅ 𝑥𝑖

Ecuația modelului estimată pe baza unui eșantion

𝑦𝑖 = 𝑎 + 𝑏 ⋅ 𝑥𝑖 + 𝑒𝑖 𝑖 = 1,2 … 𝑛 unde:
𝒚𝒊 - estimația lui 𝒚𝒊
a - estimatorul lui 𝜶
𝑒𝑖 = 𝑦𝑖 − 𝑦𝑖 = 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 b - estimatorul lui 𝜷 Exemplu
𝒆𝒊 - estimația lui 𝜺𝒊
n - voloumul eșantionului
Dreapta de regresie reală și
dreapta de regresie determinată pe baza unui eșantion oarecare

P(Y|xi)

Y 𝑁(𝛼 + 𝛽 ⋅ 𝑥𝑖 , 𝜎 2 )
𝑦𝑖 = 𝑎 + 𝑏 ⋅ 𝑥𝑖

𝐸[𝑌|𝑥𝑖 ] = 𝛼 + 𝛽 ⋅ 𝑥𝑖

x1 x2 x3
 Ipoteze care stau la baza modelului de regresie
liniară
i1. Liniaritatea modelului. Modelul poate fi scris ca o funcție liniară.

𝒇 𝒚𝒊 = 𝜶 + 𝜷 ⋅ 𝒈 𝒙𝒊 + 𝜺𝒊 𝑦 = 𝛼 ⋅ 𝑥𝛽
𝑙𝑛 𝑦 = 𝑙𝑛 𝛼 + 𝛽𝑙𝑛𝑥

i2. Ipoteze cu privire la eroarea 𝜺𝒊

- eroarea este aditivă 𝑦 = ℎ ⋅ 𝑥 𝛽 ⋅ 𝑘𝜀

i2.a. Speranța matematică a erorii este 0. 𝐄 𝜺𝒊 = 𝟎 ∀𝒊

 Ipoteze care stau la baza modelului de regresie
liniară
i2. Ipoteze cu privire la eroarea 𝜺𝒊
i2.b. Distribuția de probabilități a erorii este independentă de valorile lui X, adică
realizările lui 𝜺𝒊 au o dispersie constantă:
Var 𝜺𝒊 = 𝑬 𝜺𝒊 − 𝑬 𝜺𝒊 𝟐 = 𝑬 𝜺𝟐𝒊 = 𝝈𝟐 = 𝒄𝒐𝒏𝒔𝒕𝒂𝒏𝒕 ∀𝒊 (homoscedasticitate)

în contrast cu situația 𝐸 𝜀𝑖2 = 𝜎𝑖2 ≠ 𝐸 𝜀𝑗2 = 𝜎𝑗2, pentru 𝑖 ≠ 𝑗 (heteroscedasticitate)

i2.c. Erorile reprezintă o secvență de variabile aleatoare necorelate între ele (nu
sunt autocorelate):
Cov 𝜺𝒊 , 𝜺𝒋 = 𝑬 𝜺𝒊 − 𝑬 𝜺𝒊 𝜺𝒋 − 𝑬 𝜺𝒋 = 𝑬 𝜺𝒊 ⋅ 𝜺𝒋 = 𝟎, ∀𝒊 ≠ 𝒋

i2.d. Erorile 𝜺𝒊 urmează o lege de distribuție normală cu medie 0 și dispersie 𝝈𝟐

𝜺𝒊 ~𝑵(𝟎, 𝝈𝟐 )
sau ținând cont de independența lor reciprocă 𝑬 𝜺𝒊 ⋅ 𝜺𝒋 = 𝑬 𝜺𝒊 ⋅ 𝑬 𝜺𝒋 = 𝟎
𝜺𝒊 ~𝑰𝑵(𝟎, 𝝈𝟐 )
 Ipoteze care stau la baza modelului de regresie
liniară
Setul de ipoteze anterior exprimat în raport cu variabila eroare 𝜺𝒊 poate fi
reformulat în termenii distribuției de probabilități a variabilei Y, astfel:

i2.a’: 𝐸 𝑦𝑖 𝑥𝑖 = 𝐸 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 = 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝐸[𝜀𝑖 ] = 𝛼 + 𝛽 ⋅ 𝑥𝑖

i2.b’: 𝐸 𝑦𝑖 − 𝐸 𝑦𝑖 |𝑥𝑖 2 = 𝐸 𝜀𝑖2 = 𝜎 2

i2.c’: E 𝑦𝑖 − 𝐸 𝑦𝑖 |𝑥𝑖 ⋅ 𝑦𝑗 − 𝐸 𝑦𝑗 |𝑥𝑗 = 𝐸 𝜀𝑖 ⋅ 𝜀𝑗 = 0, ∀𝑖 ≠ 𝑗

i2.d’: 𝑦𝑖 ~𝑁(𝛼 + 𝛽 ⋅ 𝑥𝑖 , 𝜎 2)
 Ipoteze care stau la baza modelului de regresie liniară

i3. Ipoteze privind natura regresandului (Y) și a regresorului (X)

- Y are caracter stochastic indus de 𝜀𝑖

- X este non-stochastic (valorile sale pot fi fixate cu precizie) - joacă rolul unui
parametru constant din partea condițională a distribuției de probabilități a
variabilei Y ale cărei realizări au media condiționată:

𝐸 𝑦𝑖 𝑥𝑖 = 𝐸 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 = 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝐸[𝜀𝑖 ] = 𝛼 + 𝛽 ⋅ 𝑥𝑖

și dispersia condiționată egală cu dispersia 𝜎 2 a erorilor (conform i2.b’)

𝑉𝑎𝑟 𝑦𝑖 𝑥𝑖 = 𝑉𝑎𝑟 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 = 𝑉𝑎𝑟 𝜀𝑖 = 𝜎 2

 Ipoteze care stau la baza modelului de regresie liniară

i3. Ipoteze privind natura regresandului (Y) și a regresorului (X)

- Presupunem că primele două momente empirice variabilei X reprezintă
cantități finite, atunci când numărul n al observațiilor devine foarte mare.
𝑛
𝑖=1 𝑥𝑖
𝑥= 𝑥𝟎 < ∞
𝑛 𝑛→∞

𝑛 2
𝑖=1 𝑥𝑖 − 𝑥
𝜎𝑥2 < ∞
𝑛 𝑛→∞

i4. Valorile xi ale variabilei X sunt necorelate cu erorile 𝜺𝒊

𝐶𝑜𝑣 𝑥𝑖 , 𝜀𝑖 = 𝐸 𝑥𝑖 ⋅ 𝜀𝑖 = 𝑥𝑖 ⋅ 𝐸 𝜀𝑖 = 0
 Determinarea coeficienților de regresie folosind
Metoda Celor Mai Mici Pătrate Ordinare
(CMMPO)
Când ipotezele anterior prezentate sunt satisfăcute de către datele observate (înregistrate)
pentru X și Y, atunci estimatorii a, b ai parametrilor necunoscuți 𝛼 și 𝛽 pot fi determinați cu
din condiția de minimizare a sumei pătratelor erorilor reziduurilor ei.

𝑒𝑖 = 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖
𝑛 𝑛

𝑒𝑖2 = 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 2

𝑖=1 𝑖=1

arg min 𝐹(𝑎, 𝑏) = arg min 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 2

𝑖=1
 Determinarea coeficienților de regresie folosind
Metoda Celor Mai Mici Pătrate Ordinare
(CMMPO)
Sub ipotezele anterioare teorema Gauss-Markov asigură optimalitatea estimatorilor a, b
astfel determinați. Altfel spus, dintre toți estimatorii liniari nedeplasați aceștia au cea mai
mică dispersie, adică sunt B.L.U.E. (“Best Liniar Unbiased Estimators”- cei mai buni estimatori
liniari nedeplasați) ai parametrilor 𝛼 și 𝛽.
𝑛

arg min 𝐹(𝑎, 𝑏) = arg min 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 2

𝑖=1

Formulată ca o problemă de optimizare, determinarea lui a și b face apel la condițiile

necesare de ordinul I.

𝑛 𝑛
𝜕𝐹(𝑎, 𝑏)
= −2 ⋅ 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 = −2 ⋅ 𝑒𝑖 = 0
𝜕𝑎
𝑖=1 𝑖=1
𝑛 𝑛
𝜕𝐹(𝑎, 𝑏)
= −2 ⋅ 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 ⋅ 𝑥𝑖 = −2 ⋅ 𝑥𝑖 ⋅ 𝑒𝑖 = 0
𝜕𝑏
𝑖=1 𝑖=1
 Determinarea coeficienților de regresie folosind
Metoda Celor Mai Mici Pătrate Ordinare
(CMMPO)
Din condițiile necesare de ordinul I se poate deduce următorul sistem de ecuații normale:
𝑛 𝑛
𝑥𝑖2 ⋅ 𝑦𝑖 − 𝑥𝑖 ⋅ 𝑥𝑖 𝑦𝑖
𝑎⋅𝑛+𝑏⋅ 𝑥𝑖 = 𝑦𝑖 𝑎= 2
𝑖=1 𝑖=1
𝑛 ⋅ 𝑥𝑖2 − 𝑥𝑖
𝑛 𝑛 𝑛 ⇒ 𝑛 ⋅ 𝑥𝑖 𝑦𝑖 − 𝑥𝑖 ⋅ 𝑦𝑖
𝑏=
𝑎⋅ 𝑥𝑖 + 𝑏 ⋅ 𝑥𝑖2 = 𝑥𝑖 𝑦𝑖 𝑛⋅ 𝑥𝑖2 − 𝑥𝑖
2
𝑖=1 𝑖=1 𝑖=1

𝑎 =𝑦−𝑏⋅𝑥
𝑥𝑖 𝑦𝑖 − 𝑛 ⋅ 𝑥 ⋅ 𝑦 (𝑥𝑖 −𝑥)( 𝑦𝑖 − 𝑦) 𝐶𝑜𝑣(𝑋, 𝑌)
𝑏= 𝑏= =
𝑥𝑖2 − 𝑛 ⋅ 𝑥 2 (𝑥𝑖 − 𝑥)2 𝑠𝑥2
 Determinarea coeficienților de regresie folosind
Metoda Celor Mai Mici Pătrate Ordinare
(CMMPO)
Pentru modelul liniar condițiile suficiente de ordinul II sunt satisfăcute în mod implicit:

𝜕 2 𝐹(𝑎, 𝑏)
= 2𝑛 > 0
𝜕𝑎2

𝜕 2 𝐹(𝑎, 𝑏) 𝜕 2 𝐹(𝑎, 𝑏)
𝜕𝑎2 𝜕𝑎𝜕𝑏 2𝑛 2 𝑥𝑖
= >0
𝜕 2 𝐹(𝑎, 𝑏) 𝜕 2 𝐹(𝑎, 𝑏) 2 𝑥𝑖 2 𝑥𝑖2
𝜕𝑏𝜕𝑎 𝜕𝑏 2
 Interpretarea geometrică a metodei
CMMPO
𝑒1
𝑒 2 = 𝑒′ ⋅𝑒= 𝑒2= min 𝑒= ⋮
𝑒𝑛

Acest criteriu se traduce prin două condiții de ortogonalitate (prin anularea a două
produse scalare) din care vor rezulta valorile lui a și b.

Se rescrie modelul de regresie sub formă vectorială:

𝑦 =𝛼⋅𝟏+𝛽⋅𝑥+𝜀
unde:
𝑦1 𝑥1 1 𝜀1
𝑦= ⋮ 𝑥= ⋮ 𝟏= ⋮ 𝜀= ⋮
𝑦𝑛 𝑥𝑛 1 𝜀𝑛
sunt elemente ale spațiului vectorial ℝ𝑛
 Interpretarea geometrică a metodei
CMMPO
Fie L un subspațiu vectorial din ℝ𝑛 , generat de vectorii x și 1.
Atunci vectorii E[𝑦|𝑥] = 𝛼 ⋅ 𝟏 + 𝛽 ⋅ 𝑥 și 𝑦 = 𝑎 ⋅ 𝟏 + 𝑏 ⋅ 𝑥 aparțin de asemenea subspațiului L
fiind combinații liniare ale vectorilor din bază.
Criteriul CMMPO cere ca vectorul reziduurilor e să fie de normă minimă:
𝑒2 = 𝑒 2 = 𝑦−𝑦 2 = 𝐴𝐵 2= min
adică vectorul e să fie ortogonal pe subspațiul L ce conține proiecția 𝑦 a lui 𝑦, altfel spus,
produsele scalare dintre e și vectorii ce generează subspațiul L să fie nule:
𝑒 ′ ⋅ 𝑥 =< 𝑒, 𝑥 > = < 𝑦 − 𝑎 ⋅ 𝟏−b ⋅ 𝑥, 𝑥 > = 0
𝑒 ′ ⋅ 𝟏 =< 𝑒, 𝟏 > = < 𝑦 − 𝑎 ⋅ 𝟏−b ⋅ 𝑥, 𝟏 > = 0
A
X
e
𝑦
𝜀
B
𝑦
E[Y|X]
O C 1
L 𝑦⋅𝟏
 Interpretarea geometrică a metodei
CMMPO
Pentru a determina efectiv proiecția 𝑦 a lui 𝑦 și matricea de proiecție P (care prin definiție este
simetrică P’=P și idempotentă P2 = P) notăm cu:
𝑎
𝑍 = (1, 𝑥) 𝛿= 𝑦 =𝑍⋅𝛿
𝑏

𝑒 = 𝑦 − 𝑍 ⋅ 𝛿 ortogonal pe Z, adică:

< 𝑒, 𝑍 > =< 𝑦 − 𝑍 ⋅ 𝛿, 𝑍 > = 𝑍 ′ ⋅ 𝑦 − 𝑍 ⋅ 𝛿 = 0 ⇒ 𝑍 ′ ⋅ 𝑦 = 𝑍 ′ ⋅ 𝑍 ⋅ 𝛿 ⇒

⇒ 𝛿 = 𝑍 ′ ⋅ 𝑍 −1 ⋅ 𝑍 ′ ⋅ 𝑦 ⇒ 𝑦 = 𝑍 ⋅ 𝛿 = 𝑍 ⋅ 𝑍 ′ ⋅ 𝑍 −1 ⋅ 𝑍 ′ ⋅ 𝑦 = 𝑃 ⋅ 𝑦

unde 𝑃 = 𝑍 ⋅ 𝑍′ ⋅ 𝑍 −1 ⋅ 𝑍′ matricea de proiecție ortogonală

 Proprietățile estimatorilor a și b
Principalul rezultat privind calitatea estimatorilor a și b determinați folosind metoda CMMPO
este furnizat de Teorema Gauss-Markov.

Teorema Gauss-Markov:
Dacă ipotezele i1, i2.a, i2.b, i2.c și i4 se verifică atunci estimatorii a și b ai
parametrilor 𝜶 și 𝜷 obținuți prin CMMPO sunt de dispersie minimă în clasa estimatorilor
liniari nedeplasați (sunt B.L.U.E. - Best Liniar Unbiased Estimators).

𝑎 =𝑦−𝑏⋅𝑥
(𝑥𝑖 −𝑥)( 𝑦𝑖 − 𝑦) 𝐶𝑜𝑣(𝑋, 𝑌)
𝑏= =
(𝑥𝑖 − 𝑥 )2 𝑠𝑥2
 Proprietățile estimatorilor a și b
Demonstrație.
Considerăm un eșantion de volum n pentru care am înregistrat valorile variabilelor
X și Y și folosim notațiile următoare:
𝑛 2 𝑛 𝑺𝒙 = 𝑆𝑥𝑥
𝑺𝒙𝒙 = 𝑖=1(𝑥𝑖 −𝑥 ) = 𝑖=1(𝑥𝑖 −𝑥 ) ⋅ 𝑥𝑖
𝑛 2 𝑛 𝑺𝒚 = 𝑆𝑦𝑦
𝑺𝒚𝒚 = 𝑖=1(𝑦𝑖 −𝑦) = 𝑖=1(𝑦𝑖 −𝑦 ) ⋅ 𝑦𝑖
𝑛 𝑛 𝑛
𝑺𝒙𝒚 = 𝑖=1 𝑥𝑖 − 𝑥 ⋅ (𝑦𝑖 − 𝑦) = 𝑖=1(𝑥𝑖 −𝑥 ) ⋅ 𝑦𝑖 = 𝑖=1(𝑦𝑖 −𝑦) ⋅ 𝑥𝑖

atunci

(𝑥𝑖 −𝑥)( 𝑦𝑖 − 𝑦) 𝑆𝑥𝑦 (𝑥𝑖 −𝑥) ⋅ 𝑦𝑖 (𝑥𝑖 −𝑥) ⋅ (𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 )

𝑏= = = =
(𝑥𝑖 − 𝑥 )2 𝑆𝑥𝑥 𝑆𝑥𝑥 𝑆𝑥𝑥
(𝑥𝑖 −𝑥) (𝑥𝑖 −𝑥 ) ⋅ 𝑥𝑖 (𝑥𝑖 −𝑥 ) ⋅ 𝜀𝑖
=𝛼 +𝛽 +
𝑆𝑥𝑥 𝑆𝑥𝑥 𝑆𝑥𝑥 De observat că 𝑏 este liniar în 𝑦𝑖
𝑏 = 𝛽 + 𝑐𝑖 ⋅ 𝜀𝑖 ⇒ 𝒃 − 𝜷 = 𝒄𝒊 ⋅ 𝜺 𝒊 𝑏 = 𝑐𝑖 ⋅ 𝑦𝑖

(𝑥𝑖 −𝑥)
unde 𝑐𝑖 =
𝑆𝑥𝑥
 Proprietățile estimatorilor a și b
Speranța matematică a lui b
Ținând cont de ipoteza privind caracterul non-stochastic al lui X și cea conform căreia
E 𝜀𝑖 = 0 rezultă că estimatorul b este nedeplasat:
𝒃 − 𝜷 = 𝒄𝒊 ⋅ 𝜺 𝒊 𝑬 𝒃 = 𝜷 + 𝒄𝒊 ⋅ 𝑬[𝜺𝒊 ] = 𝜷

Dispersia lui b.
Putem calcula dispersia lui b, plecând de la următoarea observație:
𝒏 𝟐 𝒏

𝒃−𝑬 𝒃 𝟐 = 𝒃−𝜷 𝟐 = 𝒄𝒊 𝜺 𝒊 = 𝒄𝟐𝒊 ⋅ 𝜺𝟐𝒊 + 𝟐 𝒄𝒊 ⋅ 𝒄𝒋 ⋅ 𝜺 𝒊 ⋅ 𝜺 𝒋

𝒊=𝟏 𝒊=𝟏 𝒊<𝒋

Știind că 𝐸 𝜀𝑖2 = 𝜎 2 și 𝐸 𝜀𝑖 ⋅ 𝜀𝑗 =0, atunci vom avea:

𝑛 2 𝑛

𝝈𝟐𝒃 = 𝐸[ 𝑏 − 𝐸 𝑏 2] =𝐸 𝑐𝑖 𝜀𝑖 =𝐸 𝑐𝑖2 ⋅ 𝜀𝑖2 + 2 𝑐𝑖 ⋅ 𝑐𝑗 ⋅ 𝜀𝑖 ⋅ 𝜀𝑗 =

𝑖=1 𝑖=1 𝑖<𝑗
𝑛 2
1
= 𝑐𝑖2 ⋅ 𝐸[𝜀𝑖2 ] +2 𝑐𝑖 ⋅ 𝑐𝑗 ⋅ 𝐸[𝜀𝑖 ⋅ 𝜀𝑗 ] = 𝜎2 ⋅ 𝑐𝑖2 = 𝜎2 ⋅
𝑆𝑥𝑥
𝑖=1 𝑖<𝑗 𝑖=1

𝝈𝟐 𝝈𝟐
𝝈𝟐𝒃 = 𝒏 𝟐 =
𝒊=𝟏 𝒙𝒊 − 𝒙 𝒏 ⋅ 𝒔𝟐𝒙
 Proprietățile estimatorilor a și b
Dacă în plus admitem ipoteza i3, conform căreia :
𝑛 2
𝑖=1 𝑥𝑖 − 𝑥
𝜎𝑥2 < ∞
𝑛 𝑛→∞

Atunci putem stabili și o proprietate asimptotică pentru estimatorul b:

𝜎2
𝜎𝑏2 →0
𝑛→∞ 𝑛 ⋅ 𝜎𝑥2
Spunem atunci că estimatorul b (nedeplasat și cu dispersie tinzând asimptotic către 0)
converge în probabilitate către 𝜷:
plim b = 𝜷
 Proprietățile estimatorilor a și b
Speranța matematică a estimatorului a:
2 2
1 1
𝑎 =𝑦−𝑏⋅𝑥 = 𝑦𝑖 − 𝑏 ⋅ 𝑥 = 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 − 𝑏 ⋅ 𝑥 =
𝑛 𝑛
𝑖=1 𝑖=1
𝑛
1
=𝛼+ ⋅ 𝜀𝑖 − 𝑥 ⋅ (𝑏 − 𝛽)
𝑛
𝑖=1
1
Înlocuind 𝑏 − 𝛽 = 𝑐𝑖 ⋅ 𝜀𝑖 și notând 𝑑𝑖 = − 𝑥 ⋅ 𝑐𝑖 , se obține:
𝑛
𝑛 𝑛
1
𝑎=𝛼+ − 𝑥 ⋅ 𝑐𝑖 𝜀𝑖 = 𝛼 + 𝑑𝑖 ⋅ 𝜀𝑖
𝑛
𝑖=1 𝑖=1

Se deduce imediat că a este un estimator nedeplasat al parametrului 𝜶, deoarece:

𝑬 𝒂 = 𝜶 + 𝒅𝒊 𝑬 𝜺𝒊 = 𝜶
 Proprietățile estimatorilor a și b
Dispersia estimatorului a
Pentru calculul dispersiei lui a, facem apel la aceleași ipoteze folosite și în cazul lui 𝝈𝟐𝒃 și
ținând cont de faptul că : 𝑛 𝑛
1
𝑑𝑖2 = + 𝑥 2 ⋅ 𝑐𝑖2
𝑛
𝑖=1 𝑖=1
obținem
𝑛
1
𝝈𝟐𝒂 = 𝐸 𝑎 − 𝛼 2 = 𝜎2 ⋅ 𝑑𝑖2 = 𝜎 2 ⋅ + 𝑥2 ⋅ 𝑐𝑖2
𝑛
𝑖 𝑖=1

𝟏 𝒙𝟐
𝝈𝟐𝒂 = 𝝈𝟐 ⋅ + 𝒏 𝟐
𝒏 𝒊=𝟏 𝒙𝒊 − 𝒙
 Proprietățile estimatorilor a și b
Dacă în plus admitem ipoteza i3, conform căreia :
𝑛 2
𝑖=1 𝑥𝑖 − 𝑥
𝜎𝑥2 < ∞
𝑛 𝑛→∞

Atunci putem stabili și o proprietate asimptotică pentru estimatorul a:

𝜎𝑎2 0
𝑛→∞

Spunem atunci că estimatorul a (nedeplasat și cu dispersie tinzând asimptotic către 0)

converge în probabilitate către 𝜶:
plim a = 𝜶
 Proprietățile estimatorilor a și b
Covarianța estimatorilor a și b
Se calculează astfel:
𝑛 𝑛

𝑪𝒐𝒗 𝐚, 𝐛 = E a − 𝛼 𝑏 − 𝛽 =𝐸 𝑑𝑖 ⋅ 𝜀𝑖 𝑐𝑖 ⋅ 𝜀𝑖 =
𝑖=1 𝑖=1

𝑛
𝑥
= 𝜎2 ⋅ 𝑐𝑖 ⋅ 𝑑𝑖 = −𝜎 2 ⋅
𝑆𝑥𝑥
𝑖=1

𝒙
𝑪𝒐𝒗 𝐚, 𝐛 = −𝝈𝟐 ⋅ 𝒏 𝟐
𝒊=𝟏 𝒙𝒊 − 𝒙
 Proprietățile estimatorilor a și b
Dispersia estimatorilor a și b este minimă
Preupunem că există un alt estimator b’ mai bun decât b.
Dar 𝒃 = 𝒊 𝒄𝒊 𝒚𝒊
atunci
𝒃′ = 𝒒𝒊 𝒚𝒊 = 𝜶 ⋅ 𝒒𝒊 + 𝜷 ⋅ 𝒒𝒊 ⋅ 𝒙𝒊 + 𝒒𝒊 ⋅ 𝜺𝒊
𝒊 𝒊 𝒊 𝒊
Aplicând operatorul speranță matematică în ambii membrii ai acestei ecuații și impunând
condiția ca b’ să fie nedeplasat (adică E*b’+= 𝛽) și cu ipoteza E[𝜺𝒊 ] = 0 rezultă că trebuie ca
′
𝒊 𝒒𝒊 = 𝟎 și 𝒊 𝒒𝒊 ⋅ 𝒙𝒊 =1 de aici 𝒃 = 𝜷 + 𝒊 𝒒𝒊 ⋅ 𝜺𝒊

𝑖 𝑥𝑖 −𝑥
Notând cu 𝒗𝒊 = 𝒒𝒊 − 𝒄𝒊 și știind că 𝑐𝑖 = = 0 atunci 𝑣𝑖 = 0,
𝑆𝑥𝑥
în plus
𝑥𝑖 − 𝑥 ⋅ 𝑥𝑖
𝑥𝑖 𝑣𝑖 = 𝑞𝑖 𝑥𝑖 − 𝑐𝑖 𝑥𝑖 = 1 − =1−1=0
𝑆𝑥𝑥
 Proprietățile estimatorilor a și b
Dispersia estimatorilor a și b este minimă
Dispersia lui b’ va fi:
2 𝑛
2
𝜎𝑏′ = 𝐸 (𝑏 ′ −𝛽 2 ] = E 𝑞𝑖 ⋅ 𝜀𝑖 =𝐸 𝑞𝑖2 ⋅ 𝜀𝑖2 + 2 𝑞𝑖 ⋅ 𝑞𝑗 ⋅ 𝜀𝑖 ⋅ 𝜀𝑗 =
𝑖 𝑖=1 𝑖<𝑗
𝑛 𝑛

= 𝑞𝑖2 ⋅ 𝐸[𝜀𝑖2 ] + 2 𝑞𝑖 ⋅ 𝑞𝑗 ⋅ 𝐸[𝜀𝑖 ⋅ 𝜀𝑗 ] = 𝜎 2 ⋅ 𝑞𝑖2 =

𝑖=1 𝑖<𝑗 𝑖=1

= 𝜎 2⋅ 𝑐𝑖 − 𝑣𝑖 2 = 𝜎2 ⋅ ( 𝑐𝑖2 + 𝑣𝑖2 + 2 ⋅ 𝑐𝑖 ⋅ 𝑣𝑖 )
𝑖 𝑖 𝑖 𝑖
dar
𝑖 𝑥𝑖 − 𝑥 ⋅ 𝑣𝑖 𝑖 𝑥𝑖 ⋅ 𝑣𝑖 − 𝑥 𝑖 𝑣𝑖
𝑐𝑖 ⋅ 𝑣𝑖 = = =0
𝑆𝑥𝑥 𝑆𝑥𝑥
𝑖
deci
𝝈𝟐𝒃′ = 𝝈𝟐 ⋅ ( 𝒄𝟐𝒊 + 𝒗𝟐𝒊 ) ≥ 𝝈𝟐 ⋅ 𝒄𝒊 = 𝝈𝟐𝒃
𝒊 𝒊 𝒊
 Determinarea unui estimator
nedeplasat al dispersiei erorilor
Pentru a calcula efectiv matricea de covarianță a estimatorilor a și b este necesar să
cunoaștem dispersia 𝜎 2 a erorilor 𝜀𝑖 , dar 𝜎 2 este un parametru necunoscut fapt ce impune
estimarea sa pe baza datelor dintr-un eșantion.

Pornim de la
𝑒𝑖 = 𝑦𝑖 − 𝑎 − 𝑏 ⋅ 𝑥𝑖 și înlocuim 𝑦𝑖 = 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀𝑖 (de unde 𝑦𝑖 = 𝛼 + 𝛽 ⋅ 𝑥𝑖 + 𝜀 ), respectiv
𝑎 = 𝑦 − 𝑏 ⋅ 𝑥 obținem:

𝒆𝒊 = 𝜺𝒊 − 𝜺 − 𝒙𝒊 − 𝒙 𝒃 − 𝜷
Se observă cele două surse de distorsiune ale estimației ei a unei erori individuale:
- media empirică a erorilor asociată unui eșantion 𝜺 ≠ 𝑬[𝜺𝒊 ]
- estimația imperfectă b a lui 𝜷
 Determinarea unui estimator
nedeplasat al dispersiei erorilor
Dar ei se poate scrie și astfel 𝒆𝒊 = 𝜺𝒊 − 𝜺 − 𝒙𝒊 − 𝒙 𝒋 𝒄𝒋 𝜺 𝒋
𝝈𝟐
Calculând 𝒆𝟐𝒊 și aplicându-i operatorul speranță matematică (ținând cont de 𝑬 𝜺𝟐 = și
𝒏
𝑬 𝜺i 𝜀𝑗 = 0 ∀𝑖 ≠ 𝑗) rezultă:
𝝈𝟐 𝝈𝟐
𝑬 𝒆𝟐𝒊 = 𝝈𝟐 + + 𝝈𝟐 ⋅ 𝑥𝑖 − 𝑥 2 ⋅ 2
𝑗 𝑐𝑗 −2⋅ − 2 ⋅ 𝝈𝟐 ⋅ 𝒙𝒊 − 𝒙 ⋅ 𝒄𝒊 +
𝒏 𝒏
𝝈𝟐
+2 ⋅ ⋅ 𝒙𝒊 − 𝒙 ⋅ 𝑗 𝑐𝑗
𝒏

Înlocuind
2 1
𝑗 𝑐𝑗 = 0, 𝑖 𝑥𝑖 − 𝑥 ⋅ 𝑐𝑖 = 1 𝑗 𝑐𝑗 = 𝑆𝑥𝑥
se obține

𝑬 𝒆𝟐𝒊 = 𝒏 − 𝟐 ⋅ 𝝈𝟐
și de aici se poate concluziona că un estimator nedeplasat al lui 𝝈𝟐 este:

𝟐
𝒊 𝒆𝒊
𝒔𝟐 =
𝒏−𝟐
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Pornind de la premisa că erorile 𝜀𝑖 ~𝐼𝑁 0, 𝜎 2 , adică 𝜀𝑖 sunt variabile aleatoare independente

și normal distribuite, de medie 0 și dispersie 𝜎 2:

Cazul când dispersia 𝝈𝟐 a erorilor este cunoscută

𝑎
Putem specifica legea de distribuție a vectorului al estimatorilor cu ajutorul vectorului
𝑏
𝛼
mediilor 𝛽 și al matricei de covarianță asociată acestora:
1 𝑥2 𝑥
+ 2 − 2
𝑎 𝛼 2
𝑛 𝑖 𝑥 𝑖 − 𝑥 𝑖 𝑥𝑖 − 𝑥
~𝑁 𝛽 , 𝜎 ⋅
𝑏 𝑥 1
− 2 2
𝑖 𝑥𝑖 − 𝑥 𝑖 𝑥𝑖 − 𝑥
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Cazul când dispersia 𝝈𝟐 a erorilor nu este cunoscută

Dacă dispersia 𝝈𝟐 a erorilor nu este cunoscută, va trebui să o înlocuim prin estimația
nedeplasată 𝒔𝟐 .
Pentru a putea preciza distribuțiile estimatorilor a și b, este necesar să facem apel la
legătura dintre distribuția normală și distribuțiile 𝝌𝟐 , t, respectiv F

Plecând de la estimația 𝒔𝟐 determinată pentru 𝝈𝟐

𝟐
𝒊 𝒆𝒊
𝒔𝟐 =
𝒏−𝟐
împărțim ambii membri ai relației prin 𝜎2 și înmulțind cu (n-2) se obține:

2
𝑖 𝑒𝑖 𝑠2
= (𝑛 − 2) ⋅ 2
𝜎2 𝜎
𝟐
2 𝒊 𝒆𝒊 𝒔𝟐 2
În ipoteza că 𝜀𝑖 ~𝑁 0, 𝜎 , vom arăta că 𝟐 = (𝒏 − 𝟐) ⋅ 2 urmează o distribuție 𝜒𝑛−2
𝝈 𝜎
 Distributiile 𝝌𝟐 , t și F
Distribuțiile 𝜒 2 , t și F sunt derivate din distribuția normală și joacă un rol
important în statistică. Legătura dintre distribuția normală și acestea sunt prezentate în
continuare:
Teorema 1: Dacă Z~N(0,1), atunci: 𝒁𝟐 ~𝝌𝟐 .
Teorema 2: Dacă 𝑍𝑖 𝑖=1,𝑛 sunt variabile independente, cu Zi~N(0,1) atunci:
𝒏 𝟐 𝟐
𝒊=𝟏 𝒁𝒊 ~𝝌𝒏
Teorema 3: Dacă 𝑍𝑖 𝑖=1,𝑛 sunt variabile independente, cu Zi~𝑁(0, 𝜎 2 ) atunci:
𝟐
𝒏 𝒁𝒊 𝟐
𝒊=𝟏 𝝈𝟐 ~𝝌𝒏
Teorema 4: Dacă X1 ~𝜒𝑛21 și X2 ~𝜒𝑛22 cu X1 și X2 independente, atunci:
𝑿𝟏 + 𝑿𝟐 ~𝝌𝟐𝒏𝟏+𝒏𝟐
Teorema 5: Dacă Z~N(0,1) și X1 ~𝜒𝑛2 , cu Z și X independente, atunci raportul:
𝐙
𝐭𝐧 =
𝑿
𝒏

urmează o distribuție t cu n grade de libertate.

Teorema 6: Dacă X1 ~𝜒𝑛21 și X2 ~𝜒𝑛22 cu X1 și X2 independente, atunci raportul:
𝐗 𝟏 /𝒏𝟏
𝐅𝐧𝟏,𝐧𝟐 =
𝐗 𝟐 /𝒏𝟐
urmează o distribuție F definită în raport cu gradele de libertate (n1 , n2 ).
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Cazul când dispersia 𝝈𝟐 a erorilor nu este cunoscută

Plecăm de la egalitatea
𝑒𝑖2 = 𝜀𝑖 − 𝜀 2 − 𝑏−𝛽 2 ⋅ 𝑥𝑖 − 𝑥 2

𝑖 𝑖 𝑖
împărțim prin 𝜎2 și rezultă:

𝟐 2 2
𝒊 𝒆𝒊 𝑖 𝜀𝑖 − 𝜀 𝑏−𝛽 2
= − ⋅ 𝑥𝑖 − 𝑥
𝝈𝟐 𝜎2 𝜎2
𝑖
Notăm
2 2
𝑖 𝜀𝑖 − 𝜀 𝑖 𝜀𝑖 𝜀2
𝑣1 = = −𝑛⋅ 2
𝜎2 𝜎2 𝜎
2
𝑛 𝜀𝑖
Conform teoremei 3 din 𝜀𝑖 ~𝑁(0, 𝜎 2 ) rezultă 2
𝑖=1 𝜎 2 ~𝜒𝑛
𝜎2
Dar 𝜀~𝑁(0, ) și conform teoremei 1 rezultă:
𝑛
𝜀2 𝜀2 2
= 𝑛 ⋅ ~𝜒1
𝜎 2 /𝑛 𝜎2
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Cazul când dispersia 𝝈𝟐 a erorilor nu este cunoscută

Apoi conform teoremei 4
2 2
𝑖 𝜀𝑖 − 𝜀 𝑖 𝜀𝑖 𝜀2 2
𝑣1 = 2 = 2 − 𝑛 ⋅ 2 ~𝜒𝑛−1
𝜎 𝜎 𝜎
𝑏−𝛽
Întrucât ~𝑁 0,1 , din teorema 1 deducem:
𝜎𝑏
𝑏−𝛽 2
⋅ 𝑖 𝑥𝑖 − 𝑥 2 𝑏−𝛽 2
𝑣2 = = ~𝜒12
𝜎2 𝜎𝑏2
În concluzie, potrivit teoremei 4 obținem:

2
𝑖 𝑒𝑖 𝑠2 2
= (𝑛 − 2) ⋅ 2 = 𝑣1 − 𝑣2 ~𝜒𝑛−2
𝜎2 𝜎
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Cazul când dispersia 𝝈𝟐 a erorilor nu este cunoscută

De remarcat că 𝜎𝑎2 și 𝜎𝑏2 au fost obținute în funcție de parametrul necunoscut 𝜎 2 :

1 𝑥2 𝜎2
𝜎𝑎2 = 𝜎 2 ⋅ + 𝑛 2 𝜎𝑏2 = 𝑛 2
𝑛 𝑖=1 𝑥𝑖 − 𝑥 𝑖=1 𝑥𝑖 − 𝑥

În practică se utilizează estimațiile 𝑠𝑎2 și 𝑠𝑏2 ale dispersiilor corespunzătoare plecând de la s2,
adică:
𝟐 𝟐
𝟏 𝒙𝟐 𝟐 𝒔𝟐
𝒔𝒂 = 𝒔 ⋅ + 𝒏 𝟐 𝒔𝒃 = 𝒏 𝟐
𝒏 𝒙
𝒊=𝟏 𝒊 − 𝒙 𝒊=𝟏 𝒙𝒊 − 𝒙

Erorile standard ale coeficienților a și b se calculează ca rădăcină pătrată din dispersiile 𝑠𝑎2 și
𝑠𝑏2:
𝑠𝑎 = 𝑠𝑎2 și 𝑠𝑏 = 𝑠𝑏2
 Distribuția de probabilități a estimatorilor a și
b, în ipoteza unei distribuții normale a erorilor

Cazul când dispersia 𝝈𝟐 a erorilor nu este cunoscută

Calculând
𝑠𝑏2 𝑠 2 / 𝑛𝑖=1 𝑥𝑖 − 𝑥 2 𝑠 2 𝑠𝑏2 2
2 = 𝜎 2/ 𝑛 2 = 2 ⇒ 𝑣 = 𝑛 − 2 ⋅ 2 ~𝜒𝑛−2
𝜎𝑏 𝑖=1 𝑥𝑖 − 𝑥 𝜎 𝜎𝑏
raportul
𝑏−𝛽 𝑏−𝛽
𝑏−𝛽 𝜎𝑏 𝜎𝑏 z
= 𝑠 = =
𝑠𝑏 𝑏 𝑣
𝜎𝑏 𝑠𝑏2 𝑛−2
𝑛−2 ⋅ 2
𝜎𝑏
𝑛−2
𝑏−𝛽 2
cum z = ~N(0,1) iar 𝑣~𝜒𝑛−2 rezultă, conform teoremei 5, că raportul
𝜎𝑏
𝑏−𝛽
~t n−2
𝑠𝑏
urmează o distribuție Student (t) cu n-2 grade de libertate.
La fel se procedează pentru
𝑎−𝛼
~t n−2
𝑠𝑎
 Teste de semnificație și intervale de încredere ale
parametrilor de regresie
Legile de probabilitate descrise anterior sunt tabelate. Pe baza lor se poate determina un
interval de încredere pentru fiecare parametru 𝜶 și 𝜷 pentru un nivel de semnificație 𝜆 dat.
Construcția se bazează pe faptul că raportul
𝑏−𝛽
~t n−2
𝑠𝑏
astfel putem defini probabilitatea:
𝑏−𝛽
𝑃 ≤ 𝑡𝜆 = 𝑃 𝑏 − 𝑡𝜆 ⋅ 𝑠𝑏 ≤ 𝛽 ≤ 𝑏 + 𝑡𝜆 ⋅ 𝑠𝑏 = 1 − 𝜆
𝑠𝑏
unde 𝑡𝜆 reprezintă valoarea critică (tabelată) a acestei distribuții. Acceptarea cu riscul 𝜆 al unei
anumite valori 𝛽0 a lui 𝛽 se poate face prin testarea apartenenței ei la intervalul respectiv.

Problema poate fi formulată ca o problemă de testare a ipotezelor:

H0: 𝜷 =𝜷𝟎 (ipoteza nulă) versus H1:𝜷 ≠ 𝜷𝟎 (ipoteza alternativă)

Un test uzual este acela de verifica dacă 𝜷 diferă semnificativ de 0. Acest caz se obține ca un
caz particular al celui formulat mai sus atunci când 𝜷𝟎 = 𝟎.
Se poate proceda în aceeași manieră pentru determinarea unui interval de încredere pentru
𝜶.
𝑎−𝛼
𝑃 ≤ 𝑡𝜆 = 𝑃 𝑎 − 𝑡𝜆 ⋅ 𝑠𝑎 ≤ 𝛼 ≤ 𝑎 + 𝑡𝜆 ⋅ 𝑠𝑎 = 1 − 𝜆
𝑠𝑎
 Analiza surselor de variație. Teste privind calitatea
ajustării
Aprecierea calității ajustării prin modelul de regresie a datelor de observație se bazează pe o
analiză de tip dispersional și are ca punct de plecare descompunerea variației totale a
variabilei Y în raport cu cele două surse de variație identificabile:
- variația datorată regresiei și
- variația reziduală
Notând valorile ajustate cu 𝑦𝑖 = 𝑎 + 𝑏 ⋅ 𝑥𝑖 și reziduurile cu 𝑒𝑖 = 𝑦𝑖 − 𝑦𝑖 putem scrie abaterea
valorilor 𝑦𝑖 de la media lor astfel:
𝑦𝑖 − y = 𝑦𝑖 − yi + 𝑦𝑖 − 𝑦 =
= 𝑒𝑖 + 𝑦𝑖 − 𝑦
În termenii ecuației de regresie avem:
𝑦𝑖 = 𝑦𝑖 + 𝑒𝑖 =
= 𝑎 + 𝑏 ⋅ 𝑥𝑖 + 𝑒𝑖 =
= 𝑦 − 𝑏 ⋅ 𝑥 + 𝑏 ⋅ 𝑥𝑖 + 𝑒𝑖 =
= 𝑦 + 𝑏 ⋅ 𝑥𝑖 − 𝑥 + 𝑒𝑖

Dacă scădem 𝑦 din ambii membri obținem:

𝒚𝒊 − 𝒚 = 𝐲𝒊 − 𝒚 + 𝒆𝒊 = 𝑏 ⋅ 𝑥𝑖 − 𝑥 + 𝑒𝑖
 Analiza surselor de variație. Teste privind calitatea
ajustării
𝒚𝒊 − 𝒚 = 𝐲𝒊 − 𝒚 + 𝒆𝒊 = 𝑏 ⋅ 𝑥𝑖 − 𝑥 + 𝑒𝑖

(𝒙𝒊 , 𝒚𝒊 )
𝒚𝒊

𝒚𝒊 − 𝒚𝒊 𝑒𝑖
𝒚𝒊 − 𝒚
𝒚𝒊
𝐲𝒊 − 𝒚 𝑏 ⋅ (𝑥𝑖 − 𝑥)
𝒚
𝑥𝑖 − 𝑥

𝑥 𝑥𝑖
 Analiza surselor de variație. Teste privind calitatea
ajustării
Variația totală a lui Y: se obține ca sumă a abaterilor pătratice ale valorilor individuale față de
medie:
𝟐 = 𝟐+ 𝟐
𝒊 𝒚𝒊 − 𝒚 𝒊 𝒚𝒊 − 𝒚 𝒊 𝒆𝒊 - ecuația analizei dispersionale
sau
2 = 𝑏2 ⋅ 2+ 2
𝑖 𝑦𝑖 − 𝑦 𝑖 𝑥𝑖 − 𝑥 𝑖𝑒

Variația explicată a lui Y (datorată regresiei):

𝟐 = 𝑏2 ⋅ 2
𝒊 𝒚𝒊 − 𝒚 𝑖 𝑥𝑖 − 𝑥

Variația reziduală a lui Y:

𝟐
𝒊 𝒚 𝒊 − 𝒚𝒊 = 𝒊 𝒆𝒊

Fiecărei sume i se asociază un număr de grade de libertate, reprezentând numărul informațiilor

necesare pentru calculul sumei respective:
- pentru variația totală se utilizează n-1 valori independente (nefixate prealabil astfel ca media
lor să rămână 0), deci va avea un număr de n-1 grade de libertate: 𝑦1 − 𝑦, 𝑦2 − 𝑦, … , 𝑦𝑛 − 𝑦
- pentru calculul variației explicate se utilizează un singur grad de libertate (deoarece poate fi
dedus din expresia lui b, iar b poate fi scris ca funcție unică de 𝑦𝑖 .
- pentru variația reziduală, calculul se poate face prin diferență: n-2 = (n - 1) - 1
Analiza surselor de variație. Teste privind calitatea
ajustării
Sursa variației Suma Grade de Pătratul
pătratelor libertate mediu
2
Explicată 2 1 𝑖 𝑦𝑖 − 𝑦
𝑦𝑖 − 𝑦
1
𝑖
2
Reziduală 2 n-2 𝑖 𝑦𝑖 − 𝑦𝑖
𝑦𝑖 − 𝑦𝑖
𝑛−2
𝑖
2
Totală 2 n-1 𝑖 𝑦𝑖 − 𝑦
𝑦𝑖 − 𝑦
𝑛−1
𝑖

Coeficientul de determinație
𝟐 2⋅𝑆 2 2
𝒊 𝒚 𝒊 − 𝒚 𝑏 𝑥𝑥 𝑖 𝑦𝑖 − 𝑦𝑖 𝑖 𝑒𝑖
𝑹𝟐 = 𝟐 = =1− 2 =1−
𝒚
𝒊 𝒊 − 𝒚 𝑆𝑦𝑦 𝑖 𝑦𝑖 − 𝑦 𝑆𝑦𝑦

𝟎 ≤ 𝑹𝟐 ≤ 𝟏
 Analiza surselor de variație. Teste privind calitatea
ajustării
Testarea semnificației globale a modelului
Se poate face cu ajutorul testului F. Acesta are la bază compararea a două estimații de
dispersie. Raportul acesta determină valoarea calculată F, care trebuie comparată cu valorile
tabelate ale distribuției F(1,n-2,λ) ce depinde de gradele de libertate 1 și n-2 asociate celor două
estimații și de pragul de semnificație λ ales.
𝐷𝑖𝑠𝑝𝑒𝑟𝑠𝑖𝑎 𝑒𝑥𝑝𝑙𝑖𝑐𝑎𝑡ă 𝒊𝒚𝒊 − 𝒚 𝟐 /𝟏 𝑏 2 ⋅ 𝑆𝑥𝑥
𝑭= = =
𝐷𝑖𝑠𝑝𝑒𝑟𝑠𝑖𝑎 𝑟𝑒𝑧𝑖𝑑𝑢𝑎𝑙ă 𝒊 𝒚𝒊 − 𝒚𝒊 𝟐 /(𝒏 − 𝟐) 𝑠2

Între statistica F și statistica t (utilizată pentru testarea ipotezei nule H0: β = 0) există
următoarea legătură:

𝑏 𝑏 𝑏 ⋅ 𝑆𝑥𝑥
𝑡= = 𝑠 =
𝑠𝑏 𝑠
𝑆𝑥𝑥

𝑏 2 ⋅ 𝑆𝑥𝑥 𝑅 2 /1
𝐹= 2 = 𝑡2 = ~𝐹(1, 𝑛 − 2)
𝑠 (1 − 𝑅2 )/(𝑛 − 2)
 Coeficientul de corelație liniară simplă

Intensitatea corelației liniare dintre două variabile X și Y se exprimă cu ajutorul coeficientului de

corelație liniară:
𝒊(𝒙𝒊 − 𝒙)(𝒚𝒊 − 𝒚) 𝐶𝑜𝑣(𝑋, 𝑌)
𝒓𝒙𝒚 = =
𝒊 𝒙𝒊 − 𝒙 𝟐 ⋅ 𝒚𝒊 − 𝒚 𝟐 𝑠𝑥 ⋅ 𝑠𝑦

−𝟏 ≤ 𝒓𝒙𝒚 ≤ 𝟏

Semnul lui 𝒓𝒙𝒚 coincide cu semnul lui b:

𝑠𝑦
𝒓𝒙𝒚 = 𝑏 ⋅
𝑠𝑥

Dacă 𝒓𝒙𝒚 = 𝟎, aceasta înseamnă doar lipsa unei corelații liniare între variabilele X și Y.
 Problema predicției liniare
Odată construit modelul de regresie, acesta poate fi utilizat pentru predicția valorilor 𝒚𝒊 pentru
valori noi, cunoscute ale lui X.
De exemplu, dacă se cunoaște valoarea 𝒙𝟎 a variabilei X se poate realiza predicția valorii 𝒚𝟎 a
variabilei explicate Y, asociată cu 𝒙𝟎 .
Valoarea adevărată a lui Y se poate exprima cu ajutorul modelului de regresie liniară
de la nivelul întregii populații:
𝒚𝟎 = 𝜶 + 𝜷 ⋅ 𝒙𝟎 + 𝜺𝟎
Deoarece 𝜶 și 𝜷 sunt parametri necunoscuți pe care îi aproximăm cu ajutorul estimațiilor a și b
calculate la nivelul unui eșantion aleatoriu, o primă sursă de eroare va fi eroarea de eșantionare
relativă la cele două estimații. De asemenea nu vom putea să estimăm cu un grad de precizie
suficient de mare eroarea 𝜺𝟎.
Valoarea punctuală a predicției va fi: 𝒚𝟎 = 𝒂 + 𝒃 ⋅ 𝒙𝟎
Diferența dintre valoarea adevărată a variabilei Y și estimarea sa cu ajutorul dreptei de regresie,
reprezintă eroarea de predicție:
𝒆𝟎 = 𝒚𝟎 − 𝒚𝟎 = 𝜶 + 𝜷 ⋅ 𝒙𝟎 + 𝜺𝟎 − 𝒂 − 𝒃 ⋅ 𝒙𝟎 =
= 𝜶 − 𝒂 + 𝜷 − 𝒃 ⋅ 𝒙𝟎 + 𝜺𝟎
Aplicând operatorul speranță matematică în ambii membrii se deduce că 𝑬[𝒆𝟎 ] = 𝟎, rezultând
de aici că predicția cu ajutorul CMMPO nu este deplasată (adică eroarea de predicție este de
medie 0).
 Problema predicției liniare
Dispersia erorii de predicție este:
𝟐 𝟐 𝟐
𝑬 𝒆𝟎 = 𝑬 𝒂−𝜶 𝟐 + 𝒙𝟎 ⋅𝑬 𝒃−𝜷 𝟐 + 𝟐 ⋅ 𝒙𝟎 ⋅ 𝑬 𝒂 − 𝜶 𝒃 − 𝜷 + 𝑬 𝜺𝟎 =
𝟐
𝟐
𝟏 𝒙𝟐 𝒙𝟎 𝟐 ⋅ 𝒙 ⋅ 𝒙𝟎
=𝝈 ⋅ 𝟏+ + + − =
𝒏 𝑺𝒙𝒙 𝑺𝒙𝒙 𝑺𝒙𝒙
𝟐
𝟐
𝟏 𝒙𝟎 − 𝒙
=𝝈 ⋅ 𝟏+ +
𝒏 𝑺𝒙𝒙
Dacă se înlocuiește parametrul 𝜎 2 cu estimația sa 𝒔𝟐, putem să construim un interval de
predicție pentru 𝒚𝟎 , pentru un prag de semnificație 𝜆 specificat:

𝟏 𝒙𝟎 − 𝒙 𝟐
𝒚𝟎 = 𝒂+𝒃⋅ 𝒙𝟎 ±𝒕⋅ 𝒔𝟐 ⋅ 𝟏+ +
𝒏 𝑺𝒙𝒙
 Rezumat
Definiție: regresia reprezintă studiul dependenței unei variabile
(variabilă dependentă) de una sau mai multe variabile (numite variabile
explicative) cu scopul de a estima media variabilei dependente pornind
de la valori fixate ale variabilelor explicative.
Ipoteze care stau la baza modelului de regresie liniară :
i1. Liniaritatea modelului
i2. Ipoteze cu privire la eroarea 𝜀𝑖
i2.a. Speranța matematică a erorii este 0.
i2.b. Distribuția de probabilități a erorii este independentă de valorile lui
X, adică realizările lui 𝜀𝑖 au o dispersie constantă
i2.c. Erorile reprezintă o secvență de variabile aleatoare necorelate între
ele (nu sunt autocorelate)
i2.d. Erorile 𝜀𝑖 urmează o lege de distribuție normală cu medie 0 și
dispersie 𝜎 2
i3. Ipoteze privind natura regresandului (Y) și a regresorului (X)
i4. Valorile xi ale variabilei X sunt necorelate cu erorile 𝜀𝑖
 Rezumat
Când ipotezele anterior prezentate sunt satisfăcute de către
datele observate (înregistrate) pentru X și Y, atunci estimatorii a, b ai
parametrilor necunoscuți 𝛼 și 𝛽 pot fi determinați din condiția de
minimizare a sumei pătratelor reziduurilor ei.
Sub ipotezele anterioare teorema Gauss-Markov asigură
optimalitatea estimatorilor a, b astfel determinați. Altfel spus, dintre toți
estimatorii liniari nedeplasați aceștia au cea mai mică dispersie, adică
sunt B.L.U.E. (“Best Liniar Unbiased Estimators”- cei mai buni estimatori
liniari nedeplasați) ai parametrilor 𝛼 și 𝛽.
Pentru a calcula efectiv matricea de covarianță a estimatorilor a
și b este necesar să cunoaștem dispersia 𝜎 2 a erorilor 𝜀𝑖 , dar 𝜎 2 este un
parametru necunoscut fapt ce impune estimarea sa pe baza datelor
dintr-un eșantion. Dacă dispersia 𝜎 2 a erorilor nu este cunoscută, va
trebui să o înlocuim prin estimația nedeplasată 𝑠 2 .
Pentru a putea preciza distribuțiile estimatorilor a și b, este
necesar să facem apel la legătura dintre distribuția normală și
distribuțiile 𝜒 2 , t, respectiv F
 Rezumat
Teste de semnificație și intervale de încredere ale parametrilor de
regresie
Legile de probabilitate ale parametrilor de regresie sunt tabelate. Pe
baza lor se poate determina un interval de încredere pentru fiecare parametru
𝜶 și 𝜷 pentru un nivel de semnificație 𝜆 dat.
Aprecierea calității ajustării prin modelul de regresie a datelor de
observație se bazează pe o analiză de tip dispersional și are ca punct de plecare
descompunerea variației totale a variabilei Y în raport cu cele două surse de
variație identificabile:
• variația datorată regresiei și
• variația reziduală
Testarea semnificației globale a modelului se poate face cu ajutorul
testului F. Acesta are la bază compararea a două estimații de dispersie. Raportul
acesta determină valoarea calculată F, care trebuie comparată cu valorile
tabelate ale distribuției F(1,n-2,λ) ce depinde de gradele de libertate 1 și n-2
asociate celor două estimații și de pragul de semnificație λ ales.
Odată construit modelul de regresie, acesta poate fi utilizat pentru
predicția valorilor 𝒚𝒊 pentru valori noi, cunoscute ale lui X.
 Termeni cheie
Regresie liniară simplă, dependență
stochastică, variabilă dependentă și variabilă
explicativă, regresand și regresor, ecuație reală și
estimată, liniaritatea modelului, speranța
matematică, distribuție de probabilitate, varianță,
covarianță, independență statistică, autocorelație,
metoda CMMPO, BLUE, convergență în probabilitate,
distribuția normală și distribuții asociate, testul
Student, testul Fisher, surse de variație, variație
totală, explicată și reziduală, grade de libertate,
coeficient de determinație, coeficient de corelație
liniară.
 Bibliografie
1. Andrei T., Statistică şi econometrie, Ed. Economică, Bucureşti, 2003
2. Georgescu V., Applied econometrics: time series analysis, Ed. Universitaria, Craiova,
2005
3. Georgescu V., Motode si modele econometrice, Ed. Reprograph, Craiova, 2004
4. Georgescu V., [Link] şi aplicaţii, Editura Reprograph, Craiova, 2001
5. Georgescu V., Modele econometrice ale economiei de piaţă, Editura Reprograph,
Craiova, 2000
6. Georgescu V., Econometrie, Editura Universitaria, Craiova, 1997
7. Georgescu V., Econometrie. Probleme rezolvate, Reprografia Universităţii din Craiova,
1997
8. Greene W., Econometric analysis, Macmillan, New York, 1990
9. Gujarati D. N., Porter D. C., Basic Econometrics, Mc Graw Hill Companies, Series
Economics, New York, 2010
10. Jemna D., Econometrie, Editura SEDCOM LIBRIS, Iași 2012
11. Maddala G. S., Introduction to Econometrics, Macmillan Publishing Company, New
York, 1992
12. Nenciu E., Gagea M., Lecții de econometrie, Editura Tehnopress, Iași, 2010