Statistische Methoden der Datenanalyse
Sommersemester
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt.
Statistische Methoden der Datenanalyse
Vorlesung (2 SWS)
Dr.-Ing. Sanam Moghaddamnia
Übung & Labor (3 SWS)
Cihan Katar
Salih NİŞANCI
Literatur
J. Hedderich und L. Sachs, Angewandte Statistik, Springer
Spektrum, Berlin, Heidelberg, 2016.
D. C. Montgomery and G. C. Runger, Applied Statistics and
Probability for Engineers, Wiley, 2014.
Prem S. Mann, Introductory Statistics, Wiley, 2012
Referenz
TU Berlin Vorlesungsfolien – Statistische Methoden der Datenanalyse
R. Frühwirth, Vorlesungsfolien – Statistische Methoden der
Datenanalyse
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 2
Statistische Methoden der Datenanalyse
Lehrplan
Deskriptive Statistik
Tabellen
Datenvisualisierung (Grafiken)
Maßzahlen
Wahrscheinlichkeitsrechnung
Zufallsvariable und Verteilungen
Induktive Statistik
Schätzen von Parametern
Testen von Hypothesen
Statistische Modellbildung (Regression)
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 3
Induktive Statistik – Schätzen von Parametern
Rückblick → Statistische Schlussbildung
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 4
Induktive Statistik – Schätzen von Parametern
Grundidee von Zufallsstreubereichen →
Schluss von einer bekannten Grundgesamtheit auf mögliche
Stichprobenergebnisse, d.h. man geht von gegebenen Parameter
einer bestimmten Verteilung aus und bestimmt daraus einen Bereich,
in dem die interessierenden Stichprobenwerte mit vorgegebener
Wahrscheinlichkeit liegen
wir suchen also Quantile, innerhalb derer Grenzen die künftige Realisierung
der Zufallsvariable wahrscheinlich ist
diesen Bereich nennt man auch Zufallsstreubereich bzw.
Schwankungsintervall
𝑃 𝑥 ≤𝑋≤𝑥 = 1−𝛼
Hinweis
Die aus der Stichprobe ermittelte Größe ist innerhalb des
Zufallsstreubereiches → Ergebnis durch die Zufallsstreuung erklärbar und
wir können nicht von systematischen Änderungen ausgehen
Ansonsten müssen wir mit einer Irrtumswahrscheinlichkeit von 𝛼 100%
davon ausgehen, dass der für die Abweichung ursächliche Einfluss
systematisch und nicht mehr zufällig ist
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 5
Induktive Statistik – Schätzen von Parametern
Zufallsstreubereiche der Normalverteilung → Ein Intervall
𝑥 ≤ 𝑥 ≤ 𝑥 , in dem die Stichprobenwerte 𝑥 in einer Stichproben
des Umfangs 𝑛 aus einer Grundgesamtheit normalverteilter
Merkmalswerte 𝑥 mit dem Mittelwert 𝜇 und der Standardabweichung
𝜎 mit der Wahrscheinlichkeit 𝑃 = 1 − 𝛼 zu erwarten sind, heißt 𝑃-
Zufallsstreubereich der Stichprobenwerte 𝑥.
Zweiseitig abgegrenzter Zufallsstreubereich der x:
𝜇 −𝑢 ∗𝜎 ≤𝑥 ≤𝜇 +𝑢 ∗𝜎
Einseitig nach unten abgegrenzter Zufallsstreubereich der x:
𝜇 −𝑢 ∗𝜎 ≤𝑥 ≤∞
Einseitig nach oben abgegrenzter Zufallsstreubereich der x:
−∞ ≤ 𝑥 ≤ 𝜇 + 𝑢 ∗𝜎
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 6
Induktive Statistik – Schätzen von Parametern
Zufallsstreubereiche der Normalverteilung
Beispielaufgabe → Der CO2 – Ausstoß von Motoren einer Baureihe
ist normalverteilt mit den Parametern = 12 ppm und = 0.35 ppm.
Welche Ausstoßmenge an CO2 wird von 95% der Motoren nicht
überschritten?
Lösung → Gefragt: Einseitig oberer Schwellenwert bei einem Zufallsstreubereich
von P = 1 - α = 95%.
u Φ(u) φ(u)
P(u ≤ up) = 0.95 = 95% 1,62 0,94738 0,10741
P(u = (x - µ)/σ ≤ u0.95) = 95% 1,63 0,94844 0,10567
P(x ≤ u0.95 * σ + µ) = 95% 1,64 0,94949 0,10396
1,65 0,95052 0,10226
x ≤ 1.65 * 0.35ppm + 12ppm
1,66 0,95154 0,10059
x ≤ 12.578
1,67 0,95254 0,09893
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 7
Induktive Statistik – Schätzen von Parametern
Zufallsstreubereiche der Binomialverteilung → Ein Intervall
𝑥 ≤ 𝑥 ≤ 𝑥 , in dem die Anzahl x merkmaltragender Einheiten in
Stichproben des Umfangs 𝑛 mit der Wahrscheinlichkeit 𝑃 = 1 − 𝛼 zu
erwarten sind, wenn der Anteil merkmaltragender Einheiten in der
Grundgesamtheit 𝑝 beträgt, heißt 𝑃-Zufallsstreubereich der Anzahlen
𝑥 merkmaltragender Einheiten.
Zweiseitig abgegrenzter Zufallsstreubereich der x:
𝑥 ≤𝑥≤𝑥 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹(𝑥; 𝑛, 𝑝) >
𝑥 ist das kleinste 𝑥, bei dem 𝐹 𝑥; 𝑛, 𝑝 ≥ 1 −
Einseitig nach unten abgegrenzter Zufallsstreubereich der x:
𝑥 ≤𝑥≤𝑛 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹(𝑥; 𝑛, 𝑝) > 𝛼
Einseitig nach oben abgegrenzter Zufallsstreubereich der x:
0≤𝑥≤𝑥 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹 𝑥; 𝑛, 𝑝 ≥ 1 − 𝛼
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 8
Induktive Statistik – Schätzen von Parametern
Beispielaufgabe → Bei einem Zulieferer ist der Anteil mangelhafter
Produkte 8,6%. Dieser Anteil soll durch Erneuerung der Fertigungslinie
verändert werden. Nach Umrüstung wurden unter 120 willkürlich
ausgewählter Produkte 6 mangelhafte gefunden. Wie ist das Ergebnis bei
einer Irrtumswahrscheinlichkeit von 5% zu beurteilen?
Anteil in der Stichprobe: 𝑝̂ = = = 0,050 = 5,0%
Aber wie groß ist die Wahrscheinlichkeit bei einem Anteil von 8,6% fehlerhafter
Produkte genau 6 mangelhafte Produkte unter 120 zu erhalten?
𝑃 𝑋 = 6 = 𝑓 6 = 𝑓 6; 120; 0,086 = 0,052 = 5,2%
→ Nicht so unwahrscheinlich, doch wo wird die Grenze gesetzt?
Abhilfe schafft die Verteilungsfunktion
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 9
Induktive Statistik – Schätzen von Parametern
Beispielaufgabe → Zufallsstreubereiche der Binomialverteilung
𝑥 𝑓(𝑥) 𝐹(𝑥)
ℎ𝑖𝑒𝑟: 𝑛 = 120, 𝑝 = 8,6%
… … …
3 0,0048 0,0064
4 0,0133 0,0196
𝛼
𝑥 =5 → 5 0,0289 0,0486 ← 𝑘𝑙𝑒𝑖𝑛𝑠𝑡𝑒𝑠 𝐹 𝑥 > = 0,0250
2
6 0,0522 0,1007
7 0,0800 0,1807 Die Werte, die um den 𝐸 𝑋 = 𝑛 ∗ 𝑝 = 10,32 mit einer
8 0,1063 0,2869 Wahrscheinlichkeit von 𝑷 = 1 − 𝛼 = 𝟗𝟓% liegen, werden als
5 ≤ 𝑥 ≤ 17 wahrscheinlich angenommen.
… … …
14 0,0587 0,9085
15 0,0391 0,9476
16 0,0241 0,9717
𝛼
𝑥 = 17 → 17 0,0139 0,9856 ← 𝑘𝑙𝑒𝑖𝑛𝑠𝑡𝑒𝑠 𝐹 𝑥 ≥ 1 − = 0,9750
2
18 0,0075 0,9931
19 0,0038 0,9968 𝛼 ist die Irrtumswahrscheinlichkeit und kann willkürlich
20 0,0018 0,9986
festgelegt werden → Vor- und Nachteile beachten
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 10
Induktive Statistik – Schätzen von Parametern
Beispielaufgabe → Zufallsstreubereiche der Binomialverteilung
0,95-Zufallsstreubereich der x: 𝑝 = 8,6%
5 ≤ 𝑥 ≤ 17 𝑛 = 120
𝐸 𝑋 = 𝑛 ∗ 𝑝 = 10,32
𝛼 𝛼
≤ = 0,025 ≤ = 0,025
2 2
So lange wie sich die Anzahl der fehlerhaften Produkte zwischen 5 und 17 bei
einer Stichprobe von n=120 bewegt, kann nicht davon ausgegangen werden,
dass der Anteil der fehlerhaften Produkte sich verändert hat.
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 11
Induktive Statistik – Schätzen von Parametern
Zufallsstreubereiche der Poisson-Verteilung→ Ein Intervall
𝑥 ≤ 𝑥 ≤ 𝑥 , in dem die Anzahl x von Ereignissen in Stichproben
des Umfangs 𝑛 mit der Wahrscheinlichkeit 𝑃 = 1 − 𝛼 zu erwarten
sind, wenn die mittlere Anzahl der Ereignisse je Einheit in der
Grundgesamtheit 𝑝 beträgt, heißt 𝑃-Zufallsstreubereich der Anzahlen
𝑥 von Ereignissen.
Zweiseitig abgegrenzter Zufallsstreubereich der x:
𝑥 ≤𝑥≤𝑥 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹(𝑥; 𝜆) >
𝑥 ist das kleinste 𝑥, bei dem 𝐹 𝑥; 𝜆 ≥ 1 −
Einseitig nach unten abgegrenzter Zufallsstreubereich der x:
𝑥 ≤𝑥≤𝑛 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹(𝑥; 𝜆) > 𝛼
Einseitig nach oben abgegrenzter Zufallsstreubereich der x:
0≤𝑥≤𝑥 mit 𝑥 ist das kleinste 𝑥, bei dem 𝐹 𝑥; 𝜆 ≥ 1 − 𝛼
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 12
Induktive Statistik – Schätzen von Parametern
Beispielaufgabe → In einer Gießerei kommt es bei der Produktion zu
Verunreinigung durch ungewollte Einschlüsse. Im Mittel beträgt die Anzahl
der Einschlüsse 0,36 je cm. Mit diesem Qualitätsniveau ist man zufrieden.
Bei welcher Anzahl von Einschlüssen bei einer Stichprobe von 10 cm würde
man eine negative Veränderung der Qualitätslage vermuten, wenn die
Irrtumswahrscheinlichkeit 0,5% beträgt?
𝐸 𝑋 = 𝑛 ∗ 𝑝 = 10 ∗ 0,36 = 3,6 = 𝜆 x f(x) F(x)
… … …
8 0,0191 0,9883
𝑥 =9 → 9 0,0076 0,9960 ← 𝑘𝑙𝑒𝑖𝑛𝑠𝑡𝑒𝑠 𝐹 𝑥 ≥ 1 − 𝛼 = 0,9950
10 0,0028 0,9987
… … …
So lange wie die Anzahl der
Einschlüsse nicht mehr als 9 bei 0,995-Zufallsstreubereich der x:
einer Stichprobe von n=10 cm 0≤𝑥≤9
betragen, kann davon
ausgegangen werden, dass sich
das Qualitätsniveau bei einer ≥ 1 − 𝛼 = 99,5% 𝐹(𝑥)
Irrtumswahrscheinlichkeit von
0,5% nicht verschlechtert hat.
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 13
Induktive Statistik – Schätzen von Parametern
Rückblick
Wahrscheinlichkeiten im …
diskreten Fall stetigen Fall
sind Stabhöhen sind Flächen in einem Intervall
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 14
Induktive Statistik – Schätzen von Parametern
Rückblick → Statistische Schlussbildung
Schätzwert für Wahrscheinlichkeiten
Schätzwert für Parameter
Konfidenzintervalle für Parameter
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 15
Induktive Statistik – Schätzen von Parametern
Motivation
Kernfrage in der Praxis (z.B. bekannter Prozess)
Ist dieses konkrete Stichprobenergebnis auf das Wirken
Direkter Schluss zufälliger oder systematischer Einflüsse
(Modellvalidierung) zurückzuführen?
Kernfrage in der Praxis (z.B. neuer Prozess) Indirekter Schluss
Welches Modell mit welchen spezifischen (Modellbildung)
Modellparametern kann dieses konkrete
Stichprobenergebnis erzeugt haben?
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 16
Induktive Statistik – Schätzen von Parametern
Schätzfunktionen Stichprobengröße 𝑋 ist eine spezielle Zufallsvariable,
die einen (den i-ten) Versuch beschreibt
theoretische Stichprobe 𝑋 , … , 𝑋 ist
Grundgesamtheit eine Folge von Stichprobengrößen
mit dem „wahren“ Parameter
𝜗 Stichprobenfunktion
𝜇 𝜃 = 𝑓(𝑋 , … , 𝑋 )
𝜎
𝜋 𝑋 𝑆 𝑌
𝑛
Stichprobenfunktionen sind
Verarbeitungsvorschriften für
Stichprobe theoretische Stichproben
𝜗 und das wiederum bedeutet,
𝑦
dass Stichprobenfunktionen
𝑥̅
𝑠
𝑛
selbst Zufallsvariablen sind
Ein konkretes Stichprobenergebnis wird
mit 𝑥 , … , 𝑥 bezeichnet
• Mit Hilfe der Schätzfunktionen werden die „wahren“ unbekannten Werte geschätzt.
• Mit den realisierten Stichproben variieren auch die Werte der daraus berechneten
empirischen Parameter durch die Schätzfunktion von Stichprobe zu Stichprobe.
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 17
Induktive Statistik – Schätzen von Parametern
Schätzfunktionen → zur Schätzung eines unbekannten
Parameters 𝜗 sind häufig mehrere Verfahren (Stichprobenfunktionen
𝜃 ) denkbar
die Stichprobenfunktion 𝑋 = ∑ 𝑋 ist ein potentielles Verfahren zur
Schätzung des wahren unbekannten Parameters 𝜇.
weitere denkbare Stichprobenfunktionen zur Schätzung von 𝜇 sind 𝑋 und 𝑋̇
Auswahl geeigneter Schätzverfahren
Gütekriterien, d.h. Eigenschaften von Stichprobenfunktionen
heranziehen → Fehlerbetrachtung als Grundidee zur Ableitung
von Gütekriterien
Möglichst keine Fehler/ wenigstens kleine Fehler
Mean Square Error – Konzept (MSE): Betrachtung des zu
erwartenden quadrierten Schätzfehlers
𝑀𝑆𝐸 𝜃 = 𝐸 𝜃 − 𝜗 = 𝐸 𝜃 − 𝐸(𝜃 ) + 𝐸 𝜃 −𝜗 = 𝑉𝑎𝑟 𝜃 + 𝐵𝑖𝑎𝑠
Schätzfunktionen mit möglichst geringem MSE, d.h. mit geringer Varianz
und ohne Verzerrung (systematische Abweichungen), sind zu bevorzugen
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 18
Induktive Statistik – Schätzen von Parametern
Schätzfunktionen → Gütekriterien
Erwartungstreu: 𝐸 𝜃 = 𝜗
𝑀𝑆𝐸 𝜃 = 𝐸 𝜃 − 𝐸(𝜃) + 𝐸 𝜃 −𝜗 = 𝐸 𝜃 − 𝐸(𝜃) + 𝜗−𝜗 = 𝐸 𝜃 − 𝐸(𝜃)
= 𝑉𝑎𝑟 𝜃
Wirksamkeit:
𝐸 𝜃 = 𝜗 und 𝐸 𝜃 = 𝜗, wobei 𝑉𝑎𝑟 𝜃 < 𝑉𝑎𝑟 𝜃
→ 𝜃 ist wirksamer als 𝜃
Konsistenz: lim 𝐸 𝜃 − 𝜗 = 0 → 𝜃 ist konsistent
→
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 19
Induktive Statistik – Schätzen von Parametern
Schätzfunktionen → Schätzmethodik
Schätzmethoden
Methode der
kleinsten Quadrate Maximum-
Momentenmethode
Likelihood-Methode
(OLS)
Wird in der Regressionsanalyse
aufgegriffen
Jegliche Änderung, Vervielfältigung sowie die Weitergabe an Dritte sind streng untersagt. 20