Máster en Big Data y Data Science

12/01/2018 Estadística

Estadística

Francisco de Borja Rodríguez Ortiz

  1. Introducción
 ¿Que es la estadística?
 Modelo estadístico
 Método estadístico
 Algunas herramientas de análisis de datos mediante estadística
 2. Datos
 Descripción de una sola variable
 Descripción conjunta de varias variables
Contenido  3. Modelos
 Probabilidad y variables aleatorias
 Modelos de distribución de probabilidad
 Modelos Multivariantes
 4. Inferencia estadística
 Estimación puntual
 Estimación por intervalos
 Estimación bayesiana
 Contraste de hipótesis

Máster en Big Data y Data Science Estadística 1

 Introducción

 Introducción
 ¿Que es la estadística?
 Modelo estadístico
 Método estadístico
 Construir un Modelo estadístico
 Algunas herramientas de análisis de datos mediante estadística
(además de Python): Matlab y SPSS

Máster en Big Data y Data Science Estadística 2

 Introducción
 ¿Que es la estadística?
 Es la ciencia que estudia como obtener conclusiones de la investigación
empírica mediante el uso de modelos matemáticos.
 Actúa como vínculo en los modelos matemáticos y los fenómenos reales.
 Un modelo matemático es una abstracción simplificada de algún
aspecto de la realidad más compleja.
 Siempre existen discrepancias entre el modelo y lo que representa este en
la realidad.
 La estadística proporciona una metodología para medir esas
discrepancias (fundamental en ciencia aplicada, como tecnología,
economía, sociología, medicina, y hoy en día en Big Data, etc.).
 Es la tecnología del método científico experimental.

Máster en Big Data y Data Science Estadística 3

 Introducción
 ¿Que problemas puede resolver?
 Descripción de datos: permite resumir la información contenida en los datos.
 Análisis de muestras: No es posible en algunos caso estudiar todos los elementos
de una población. Así dada una muestra representativa se pueden hacer inferencias
respecto la población completa. La inferencia se puede realizar mediante un modelo
probabilístico obtenido de la muestra. Hoy en día con Big Data, casi se puede tener
una población.
 Contrastación de hipótesis: En investigación empírica es fundamental la
contrastación de hipótesis. Nos permiten comparar las predicciones resultantes de la
hipótesis con los datos observados.
 Medición de relaciones: las relaciones que observamos entre variables físicas,
sociales y técnicas son prácticamente siempre estadísticas, por los errores de
medición.
 Predicción: el estudio de la historia de variables estadísticas permite inferir valores
futuros.

Máster en Big Data y Data Science Estadística 4

 Introducción: Método estadístico
Datos Información Conocimiento

Síntesis y resumen Modelo univariante

o multivariante
Estadística Estadística
Descriptiva Inferencial
 Estadística descriptiva: recolecta, ordena, analiza y representa a un conjunto de datos,
con el fin de describir apropiadamente las características de este y así resumirlos.
 Calcula que parámetros estadísticos el conjunto de datos: gráficos, medidas de frecuencias,
centralización, posición, dispersión, etc.

 La estadística inferencial: saca conclusiones generales para toda la población a partir

del estudio de una muestra (para un grado de fiabilidad o significación de los
resultados obtenidos.
 Utiliza herramientas como el muestreo, la estimación de parámetros, el contraste de hipótesis, etc.

Máster en Big Data y Data Science Estadística 5

 Introducción: Modelo estadístico

 El Modelo estadístico descompone una variable respuesta de estudio en dos valores:

 Parte predecible o sistemática
 Parte aleatoria, impredecible o residual.
 Así el modelo estadístico define la forma de la parte predecible (respuesta media), y la
variabilidad de la impredecible respecto a la respuesta media.
 Observación=parte sistemática (predecible) + parte aleatoria (impredecible).
 En un problema real, en definitiva un variable respuesta y (o varias yi en el caso
multivariante), será función de otras variables de número desconocido (incluso no
observables), siendo el modelo estadístico un acercamiento aproximación de esta
realidad.
 Esta aproximación tiene en cuenta las variables observables presumiblemente más importantes y
engloba en la parte aleatoria los efectos del resto de variables que no se tienen en cuenta.
 Para el cálculo de modelos estadísticos se suele utilizar distribuciones de
probabilidad.

Máster en Big Data y Data Science Estadística 6

 Introducción: Método estadístico
[Link] Parte sistemática
Parte de la foto sacada de

Parte aleatoria (y-recta)

Máster en Big Data y Data Science Estadística 7

 Introducción: Etapas para construir un Modelo estadístico
Problema Real
Planteamiento del problema
Construcción y refinamiento del modelo estadístico

Modelo estadístico Calculo de probabilidades

Recogida de información muestral Muestreo en experimentos
Depuración delos datos Análisis de datos
Estimación de los parámetros del modelo Teoría de estimación
Contrastes de simplificación Contrastes de hipótesis
Citica y diagnosis del modelo Análisis de datos

¿Es el modelo
adecuado?

Decisiones Conocimiento científico Previsiones

Máster en Big Data y Data Science Estadística 8

 Introducción: Metodología Estadística y Big Data
 El Big Data empieza a cambiar la metodología vista anteriormente de
estadística:
 Según lo que hemos mostrado anteriormente, generalmente tenemos un problema real que
queremos resolver, así empezamos a tomar datos mediante un muestreo de una población
definida orientados a resolver ese problema. Es decir no tenemos los datos al principio.
 Sin embargo en Big Data, tenemos los datos al principio y empezamos ha hacer un
análisis exploratorio para aprender sus estructuras.

 Generalmente en estadística proponemos un modelo para hacer inferencia respecto unos

parámetros del modelo que ajusto con la población.
 Con Big Data es muy difícil hacer esto, no sabemos como parametrizar en algunos casos.

 En estadística es muy importante como extraer de la muestra la máxima información

(eficiencia estadística) que me pueda dar a conocer la población de la que proviene esa
muestra.
 En Big Data no es tan importante la eficiencia estadística ya que en algunos casos
tenemos casi la población.

Máster en Big Data y Data Science Estadística 9

 Introducción: Algunas Herramientas - Matlab
 Introducción
 Tipos de elementos
 Tipos de estructuras de datos
 Importar ficheros cvs
 Histogramas
 Medidas de centralidad y posición
 Medidas de forma
 Diagramas de caja (boxplot)
 Q-Qplots
 Diagramas de dispersión e histogramas

Máster en Big Data y Data Science Estadística 10

Introducción
 Matlab (abreviatura de MATrix LABoratory, "laboratorio de matrices") es un software matemático comercial, cuya
función principal es análisis de datos:
 Entorno de desarrollo integrado (IDE).

[Link]
 Lenguaje de programación propio (lenguaje M).
 ¿Qué puede hacer Matlab?
 Manipulación de matrices
 representación de datos y funciones
 implementación de algoritmos
 creación de interfaces de usuario (GUI)

Imagen extraída de
 Comunicación con programas en otros lenguajes y con otros dispositivos hardware.
 MATLAB dispone de dos herramientas adicionales:
 Simulink (plataforma de simulación multidominio)
 GUIDE (editor de interfaces de usuario - GUI)
 Paquetes para ampliar las capacidades de Matlab:
 Cajas de herramientas (toolboxes)
 Y las de Simulink:
 Paquetes de bloques (blocksets)
 Es un software muy usado en universidades, centros de investigación y desarrollo.

Máster en Big Data y Data Science Estadística 11

Introducción
 Por ejemplo, la Toolbox Statistics proporciona un conjunto
completo de herramientas para evaluar e interpretar datos:
 Organización y gestión de datos
 Estadística descriptiva
 Elaboración de gráficos estadísticos y visualización de datos
 Distribuciones de probabilidades
 Modelo lineal y no lineal
 Contrastes de hipótesis
 Estadística multivariante
 Etc.

Máster en Big Data y Data Science Estadística 12

Tipos de elementos
 Los tipos de elementos en Matlab para generar expresiones:
 Números d1 =
10
 Decimales c3 =
d2 =
0.3416
 Notación científica 2

 Números imaginarios d3 = i1 =

-15 0.0000 + 3.0000i

d4 =
% Números decimales i2 =
d1=10, d2=+2, d3=-15, d4=2.1, d5=-2.5 2.1000
0.0000 + 3.0000i
d5 =
% Notación científica i3 =
c1=0.416e+1, c2=0.0000416e5, c3=4.16e-2 -2.5000
c1 = 0.0000 - 1.6000i
% Números imaginarios
i1=3i, i2=3j, i3=-1.6*i, i4=2.1e4*i 4.1600
i4 =
c2 =
2.0000e+00 + 2.1000e+04
4.1600

Máster en Big Data y Data Science Estadística 13

Tipos de elementos
 Los tipos de elementos en Matlab para generar expresiones:
 Variables: no requiere declaración del tipo de variable, ya que son
consideradas como matrices de tamaño variable.
 Por defecto se inicializan a 0.
 El nombre de la variable siempre empieza por una letra seguida por letras,
dígitos y “_”, máximo 31 (son los que se leen).
 Se distingue entre mayúsculas y minúsculas.
 También se pueden usar como variables lógicas.
Salida en la terminal:
% Variables lógicas
if (0), disp('0 equivale a False'), end 1 equivale a True
if (1), disp('1 equivale a True'), end
a_1=21; if (a_1), disp('a_1 distinto 0 equivale a True'), end a_1 distinto 0 equivale a True
if (~0), disp(' ~ 0 equivale a True'), end ~ 0 equivale a True

Máster en Big Data y Data Science Estadística 14

Tipos de elementos
 Los tipos de elementos en Matlab para generar expresiones:
 Operadores
a=
 Operadores aritméticos: + , - , *, / , ^ 10
b=
10.1000
s=
% Operadores aritméticos + , - , *, / , ^ 20.1000
a = 10
b = 10.1 r=
s=a + b % Suma 7
r=a - 3 % Resta p=
p=b*3 % Multiplicación
d=3.5/7 % División 30.3000
e=a^b % Exponención d=
0.5000
e=
1.2589e+10

Máster en Big Data y Data Science Estadística 15

Tipos de elementos
 Los tipos de elementos en Matlab para generar expresiones:
 Funciones: realizan un conjunto de operaciones sobre los parámetros de
las funciones. Las funciones están vectorizadas:

>> help elfun

Elementary math functions.

% Ayuda sobre funciones Trigonometric.

sin - Sine.
elementales sind - Sine of argument in degrees.
sinh - Hyperbolic sine.
help elfun asin - Inverse sine.
asind - Inverse sine, result in degrees.
asinh - Inverse hyperbolic sine.
cos - Cosine.
cosd - Cosine of argument in degrees.
…………..

Máster en Big Data y Data Science Estadística 16

Tipos de estructuras de datos
 Las estructuras fundamentales son las matrices:
 Matrices de dimensión n x 1(vectores), por ejemplo para organizar n
observaciones de variables unidimensionales
% Vectores
vf1=[2 3 4 5 6] % vector fila (1,5)
vf2=[2, 3, 4, 5, 6] % vector fila (1,5) vc =
vc=[2; 3; 4; 5; 6] % vector columna (5,1)
2
vf1 = 3
2 3 4 5 6 4
vf2 = 5
2 3 4 5 6 6

Máster en Big Data y Data Science Estadística 17

Tipos de estructuras de datos
 Las estructuras fundamentales son las matrices:
 Matrices de dimensión n x m (matrices), por ejemplo para organizar n
observaciones multivariantes en filas y columnas

% Matrices
a=[2 3 4 5 6;2 3 4 5 6] % Matriz (2,5) c1 =
2 3 4 5 6
b=[1 2 3 4 5;1 2 3 4 5] % Matriz (2,5) 2 3 4 5 6
c1=[a;b] % Matriz (4,5) 1 2 3 4 5
a= 1 2 3 4 5
c2=[a b] % Matriz (2,10) 2 3 4 5 6 c2 =
2 3 4 5 6 2 3 4 5 6 1 2 3 4 5
b= 2 3 4 5 6 1 2 3 4 5
1 2 3 4 5
1 2 3 4 5

 Cells para organizar datos heterogéneos con diferentes tamaños,

unidades, etc,…

Máster en Big Data y Data Science Estadística 18

Tipos de estructuras de datos
 La generación y manipulación de matrices se hace con el
operador colon “:”
%Generación y manipulación de matrices
":" a=
a=1:10 %vector (1,10) 1 2 3 4 5 6 7 8 9 10
b=1:0.5:10 %vector (1,19)
c=[1:10; 11:20; 21:30] %matriz (3,10)
ct=c' %matriz (10,3) b=
a=[1 2 3; 4 5 6; 7 8 9] %matriz (3,3) Columns 1 through 12
f1a=a(1,:) % fila 1 de la matriz a
f3a=a(3,:) % fila 3 de la matriz a 1.0000 1.5000 2.0000 2.5000 3.0000
3.5000 4.0000 4.5000 5.0000 5.5000
c1a=a(:,1) % columna 1 de la matriz a 6.0000 6.5000
c2a=a(:,2) % columna 2 de la matriz a
v=[] % matriz vacía Columns 13 through 19
a=[1 2 3; 4 5 6; 7 8 9] %matriz (3,3) 7.0000 7.5000 8.0000 8.5000 9.0000
r1=a(1:3,2:3) %matriz (3,2) 9.5000 10.0000
r2=a(1:3,[1 3]) %matriz (3,2)

Máster en Big Data y Data Science Estadística 19

Tipos de estructuras de datos
 La generación y manipulación de matrices se hace con el
operador colon “:” ct =
1 11 21
2 12 22 c2a =
%Generación y manipulación de matrices 3 13 23 2
":" 4 14 24 5
a=1:10 %vector (1,10) 5 15 25 8
b=1:0.5:10 %vector (1,19) 6 16 26 v=
7 17 27 []
c=[1:10; 11:20; 21:30] %matriz (3,10) 8 18 28 a=
ct=c' %matriz (10,3) 9 19 29 1 2 3
a=[1 2 3; 4 5 6; 7 8 9] %matriz (3,3) 10 20 30 4 5 6
a= 7 8 9
f1a=a(1,:) % fila 1 de la matriz a 1 2 3
f3a=a(3,:) % fila 3 de la matriz a 4 5 6
r1 =
7 8 9 2 3
c1a=a(:,1) % columna 1 de la matriz a 5 6
c2a=a(:,2) % columna 2 de la matriz a f1a =
1 2 3 8 9
v=[] % matriz vacía f3a = r2 =
a=[1 2 3; 4 5 6; 7 8 9] %matriz (3,3) 7 8 9 1 3
r1=a(1:3,2:3) %matriz (3,2) c1a = 4 6
1 7 9
r2=a(1:3,[1 3]) %matriz (3,2) 4
7

Máster en Big Data y Data Science Estadística 20

Importar ficheros cvs
 Para leer un fichero cvs, se hace mediante la función cvsread()

%Importando datos en cvs

data = csvread('[Link]', 1);

 El parámetro 1 sirve para eliminar la fila de etiquetas.

 Podemos eliminar columnas también, por ejemplo las 4
primera columnas:
 data = csvread('[Link]', 1,4);

Máster en Big Data y Data Science Estadística 21

Histogramas
 Haciendo histogramas por defecto
%Calculando histogramas
size(data) %filas columnas
hist(data(:,1)) % histograma de la columna
hist(data(:,1),10) % igual que el anterior
hist(data(:,1),100) % con 100 bins
[N,X] = hist(data(:,1),10) % no pinta nada
hist(data) % pinta todos a la vez

ans =
100 16
N=
4 9 10 15 22 17 13 7 2 1
X=
-1.9690 -1.4932 -1.0174 -0.5416 -0.0658 0.4100 0.8857 1.3615 1.8373 2.3131

Máster en Big Data y Data Science Estadística 22

Histogramas 4000

3500

3000

 Haciendo histogramas por defecto 2500

2000

1500

1000

500

0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
4500

4000 5000

4500
3500
4000
3000
3500
2500
3000
2000 2500

1500 2000

1000 1500

1000
500
500
0
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 0
0 2000 4000 6000 8000 10000 12000 14000 16000

Máster en Big Data y Data Science Estadística 23

Histogramas
 Pintando varios histogramas en una matriz:

%Pintando varios histogramas en una matriz

data=randn(100,16); % matriz de datos
aleatorios gaussianos (100,16)
for(i=1:16)
subplot(4,4,i)% matriz de 4x4 subfiguras
hist(data(:,i))
end

Máster en Big Data y Data Science Estadística 24

Matriz de Histogramas
40 20 40 20

20 10 20 10

0 0 0 0
-5 0 5 -5 0 5 -5 0 5 -5 0 5
20 40 40 20

10 20 20 10

0 0 0 0
-5 0 5 -5 0 5 -5 0 5 -5 0 5
40 20 40 40

20 10 20 20

0 0 0 0
-5 0 5 -5 0 5 -5 0 5 -5 0 5
20 40 40 40

10 20 20 20

0 0 0 0
-5 0 5 -5 0 5 -5 0 5 -5 0 5

Máster en Big Data y Data Science Estadística 25

Medidas de centralidad y posición
 Para el calculo la media aritmética podemos utilizar mean()
 Para el calculo de la mediana podemos utilizar median ()
 Para el calculo de percentiles podemos utilizar prctile()
 prctile(x,p) devuelve un valor que sería mayor que el p% de los valores
del vector x.
 Así la mediana es el percentil 50% median(x)=prctile(x,50)
 Los cuartiles se calculan como prctile(x,[25,50,75])

Máster en Big Data y Data Science Estadística 26

Medidas de centralidad y posición
 Distribución uniforme de datos
%Medidas de centralidad y posición de datos uniformes
x_uniforme=rand(1000,1); % 1000 datos distribuidos
uniformemente entre 0 y 1
m=mean(x_uniforme)
med=median(x_uniforme)
hist(x_uniforme)
hold on
plot([m m],[0 200],'r')
plot([med med],[0 200],'g')
hold off
pcr=prctile(x_uniforme,50)
q=prctile(x_uniforme,[25,50,75])

Máster en Big Data y Data Science Estadística 27

Medidas de centralidad y posición
200 m=
180
0.4932
160

140 med =
120 0.4892
100

80
pcr =

60 0.4892
40
q=
20
0.2384 0.4892 0.7532
0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Máster en Big Data y Data Science Estadística 28

Medidas de centralidad y posición
 Distribución gaussiana de datos
%Medidas de centralidad y posición de datos distribuidos
según una gaussiana
x_g=randn(1000,1); % 1000 datos distribuidos
uniformemente entre 0 y 1
m=mean(x_g)
med=median(x_g)
hist(x_g)
hold on
plot([m m],[0 300],'r')
plot([med med],[0 300],'g')
hold off
pcr=prctile(x_g,50)
q=prctile(x_g,[25,50,75])

Máster en Big Data y Data Science Estadística 29

 Medidas de centralidad y posición
m=
300

0.0745
250

med =
200
0.0621
150

pcr =
100
0.0621
50

q=
0
-3 -2 -1 0 1 2 3 -0.5949 0.0621 0.7452

Máster en Big Data y Data Science Estadística 30

Medidas de centralidad y posición
 Distribución de Poisson para los datos
%Medidas de centralidad y posición de datos
distribuidos según una poisson
x_p=poissrnd(4,1000,1); % 1000 datos distribuidos
seún una poisson de lambda 4
m=mean(x_p)
med=median(x_p)
hist(x_p)
hold on
plot([m m],[0 300],'r')
plot([med med],[0 300],'g')
hold off
pcr=prctile(x_p,50)
q=prctile(x_p,[25,50,75])

Máster en Big Data y Data Science Estadística 31

Medidas de centralidad y posición
300

m=
250
4.0800

200 med =
4
150

pcr =
100
4
50
q=
0 3 4 5
0 2 4 6 8 10 12

Máster en Big Data y Data Science Estadística 32

 Medidas de dispersión
 Rango
 range(x)
 max(x)-min(x)  Desviación típica
 Rango intercuartílico  sqrt(sum((x-mean(x)).^2))/ length(x)
 iqr(x)  sqrt(var(x)) %normaliza por n -1
 prctile(x,75)-prctile(x,25)  std(x) %normaliza por n -1
 Varianza  sqrt(var(x,1)) %normaliza por n
 sum((x-mean(x)).^2))/length(x)  std(x,1) %normaliza por n
 var(x) %normaliza por n -1
 var(x,1) %normaliza por n

Máster en Big Data y Data Science Estadística 33

 Medidas de dispersión r1 =
6.8901
s1 =
%Medidas de dispersión de datos distribuidos según r2 =
una gaussiana 1.0108
6.8901
x_g=randn(1000,1); % 1000 datos distribuidos según
una gaussiana s2 =
i1 =
r1=range(x_g) %Rango 1.4083 1.0108
r2=max(x_g)-min(x_g)
i1=iqr(x_g) %Rango intercuartílico s3 =
i2=prctile(x_g,75)-prctile(x_g,25) i2 =
1.4083 1.0108
v1=sum(((x_g-mean(x_g)).^2))/length(x_g) %Varianza
v2=var(x_g) % normaliza por n-1 s4 =
v3=var(x_g,1) % normaliza por n v1 =
1.0217 1.0108
s1=sqrt(sum((x_g-mean(x_g)).^2)/length(x_g))
%Desviación típica
v2 = s5 =
s2=sqrt(var(x_g,1)) % normaliza por n
1.0227
s3=std(x_g,1) % normaliza por n 1.0108
s4=sqrt(var(x_g,1))% normaliza por n
s5=std(x_g,1) % normaliza por n v3 =
1.0217

Máster en Big Data y Data Science Estadística 34

Medidas de forma
 Coeficiente de asimetría:
 CA=∑(xi-<x>)3/ns3
 skewness(x)
 Coeficientes de apuntamiento o curtosis:
 CAp=∑(xi-<x>)4/ns4
 kurtosis(x)

Máster en Big Data y Data Science Estadística 35

Medidas de forma CA_u =
0.0281
%Medidas de forma
x_u=rand(1000,1); % 1000 datos CA_g =
distribuidos uniformemente entre 0 y 1 -0.0526
figure(1); hist(x_u)
x_g=randn(1000,1); % 1000 datos
distribuidos según una gaussiana CA_p =
figure(2);hist(x_g) 0.6886
x_p=poissrnd(4,1000,1); % 1000 datos
distribuidos según una Poisson de lambda CAp_u =
4 1.8104
figure(3);hist(x_p)
CA_u=skewness(x_u), CA_g=skewness(x_g), CAp_g =
CA_p=skewness(x_p) % Coeficientes de 2.9335
asimetría
CAp_u=kurtosis(x_u), CAp_g=kurtosis(x_g),
CAp_p=kurtosis(x_p) % Coeficientes de CAp_p =
curtosis 3.8057

Máster en Big Data y Data Science Estadística 36

 Medidas de forma
CA_u = CA_g = CA_p =
0.0281 -0.0526 0.6886
CAp_u = CAp_g = CAp_p =
1.8104 2.9335 3.8057
figure(1); hist(x_u) figure(2);hist(x_g) figure(3);hist(x_p)
120 250 450

400
100
200 350

80 300
150
250
60
200
100
40 150

100
50
20
50

0 0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -3 -2 -1 0 1 2 3 4 0 2 4 6 8 10 12 14

Máster en Big Data y Data Science Estadística 37

 Diagramas de caja (boxplot)
 La información obtenida a partir de las medidas de centralización, dispersión y
forma se pueden resumir en un único diagrama: boxplots.
 El diagrama de caja consta de una caja central que está delimitada por la
posición de los cuartiles Q3 y Q1.
 La caja está dividida por la mediana.
 De los extremos de la caja salen unas líneas que se extienden hasta los punto
inferior y superior:
 LI = máx{ mín(xi) , Q1 -1.5 RIC }
 LS = mín{ máx(xi) , Q3 + 1.5 RIC }
 Algunas veces los “bigotes” son las líneas que van desde cada extremo del
rectángulo central hasta el valor más alejado no atípico, es decir, que está dentro
del intervalo (LI, LS).
 Los datos fuera del intervalo (LI,LS) se consideran atípicos y se pintan en el
gráfico.
 La función de Matlab es boxplot(x).
Máster en Big Data y Data Science Estadística 38
Diagramas de caja (boxplot)
%Boxplots
x_u=rand(1000,1); % 1000 datos distribuidos
uniformemente entre 0 y 1
subplot(2,2,1); hist(x_u)
x_g=randn(1000,1); % 1000 datos distribuidos según
una gaussiana
subplot(2,2,2);hist(x_g)
x_p=poissrnd(4,1000,1); % 1000 datos distribuidos
según una Poisson de lambda 4
subplot(2,2,3);hist(x_p)
subplot(2,2,4);boxplot([x_u x_g x_p])

Máster en Big Data y Data Science Estadística 39

 Diagramas de caja (boxplot)
120 250

100
200

80
150

60

100
40

50
20

0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -4 -3 -2 -1 0 1 2 3

300
12

250 10

8
200
6

150 4

2
100
0

50 -2

-4
0 1 2 3
-2 0 2 4 6 8 10 12

Máster en Big Data y Data Science Estadística 40

 Visualización datos con medidas de
posicionamiento: Gráficos Q-Q
 Los gráficos Q-Q (Q-Q plots) se caracterizan por visualizar de una manera
muy rápida y sencilla como se diferencian los datos de dos distribuciones
de observaciones.
 Se basan en representar enfrentados en un gráfico x-y los cuantiles de
ambas distribuciones. El “Q” viene de cuantil en inglés.
 Si todos los cuantiles son iguales aparecerá la recta x=y en el gráfico, y
significará los dos conjuntos de datos se distribuyen de manera idéntica.
 Generalmente una de la distribuciones es conocida (por ejemplo una
normal en Matlab por defecto), para contrastar si los datos observados se
ajustan a la distribución conocida.
 La función en Matlab es qqplot().

Máster en Big Data y Data Science Estadística 41

Visualización datos con medidas de posicionamiento: Gráficos Q-Q
%QQplots
x_u=rand(1000,1); % 1000 datos distribuidos uniformemente entre
0 y 1
subplot(2,2,1); hist(x_u)
x_g=randn(1000,1); % 1000 datos distribuidos según una
gaussiana
subplot(2,2,2);hist(x_g)
x_p=poissrnd(4,1000,1); % 1000 datos distribuidos según una
Poisson de lambda 4
subplot(2,2,3);hist(x_p)
subplot(2,2,4);boxplot([x_u x_g x_p])
figure(2)
subplot(2,2,1); qqplot(x_u)
subplot(2,2,2);qqplot(x_p)
subplot(2,2,3);qqplot(x_g)
subplot(2,2,4);qqplot(x_g,x_u)

Máster en Big Data y Data Science Estadística 42

Visualización datos con medidas de posicionamiento: Gráficos Q-Q
120 250

100
200

80
150

60

100
40

50
20

0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -4 -3 -2 -1 0 1 2 3

300
12

250 10

8
200
6

150 4

2
100
0

50
-2

-4
0 1 2 3
-2 0 2 4 6 8 10 12

Máster en Big Data y Data Science Estadística 43

Visualización datos con medidas de posicionamiento: Gráficos Q-Q
QQ Plot of Sample Data versus Standard Normal QQ Plot of Sample Data versus Standard Normal
2 12

10
1.5
Quantiles of Input Sample

Quantiles of Input Sample

8
1

6
0.5
4

0
2

-0.5
0

-1 -2
-4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3 4
Standard Normal Quantiles Standard Normal Quantiles

QQ Plot of Sample Data versus Standard Normal

4 2

3
1.5

2
Quantiles of Input Sample

1
1

Y Quantiles
0 0.5

-1
0

-2

-0.5
-3

-4 -1
-4 -3 -2 -1 0 1 2 3 4 -4 -3 -2 -1 0 1 2 3
Standard Normal Quantiles X Quantiles

Máster en Big Data y Data Science Estadística 44

Diagramas de dispersión e histogramas
 Se suelen combinar en estadística multivariante los diagramas
de dispersión de las diferente variables junto con los
histogramas.
 Un diagrama de dispersión es la representación de las
observaciones de dos o tres variables enfrentadas.
 Existen varios tipos en matlab:
 scatterhist()
 gplotmatrix()

Máster en Big Data y Data Science Estadística 45

 Diagramas de dispersión e histogramas
%Diagramas de dispersión e histogramas
figure(1);
x_u=rand(1000,1); % 1000 datos distribuidos uniformemente entre 0 y 1
subplot(2,2,1); hist(x_u)
x_g=randn(1000,1); % 1000 datos distribuidos según una gaussiana
subplot(2,2,2);hist(x_g)
x_p=poissrnd(4,1000,1); % 1000 datos distribuidos según una Poisson de
lambda 4
subplot(2,2,3);hist(x_p)
subplot(2,2,4);boxplot([x_u x_g x_p])
data_ug=[x_u x_g];
data_gp=[x_g x_p];
data_pu=[x_p x_u];
figure(2); scatterhist(data_ug(:,1),data_ug(:,2)); title('data_{ug}')
figure(3); scatterhist(data_gp(:,1),data_gp(:,2)); title('data_{gp}')
figure(4); scatterhist(data_pu(:,1),data_pu(:,2)); title('data_{pu}')
data=[x_u x_g x_p];
figure(5); gplotmatrix(data);

Máster en Big Data y Data Science Estadística 46

 Diagramas de dispersión e histogramas
120 300

100 250

80 200

60 150

40 100

20 50

0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -4 -3 -2 -1 0 1 2 3 4

400

12
350

10
300
8
250
6
200
4

150
2

100 0

50 -2

0 1 2 3
0 2 4 6 8 10 12 14

Máster en Big Data y Data Science Estadística 47

Diagramas de dispersión e histogramas dataug

y
-1

-2

-3

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

x

Máster en Big Data y Data Science Estadística 48

Diagramas de dispersión e histogramas datagp

12

10

y
6

0
-3 -2 -1 0 1 2 3
x

Máster en Big Data y Data Science Estadística 49

Diagramas de dispersión e histogramas datapu
1

0.9

0.8

0.7

0.6

0.5

y
0.4

0.3

0.2

0.1

0
0 2 4 6 8 10 12
x

Máster en Big Data y Data Science Estadística 50

Diagramas de dispersión e histogramas
1

0.8

0.6

0.4

0.2

-1

-2

-3

12

10

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 -3 -2 -1 0 1 2 3 0 2 4 6 8 10 12

Máster en Big Data y Data Science Estadística 51

Bibliografía y lecturas relacionadas:
 [Link]
 [Link]
 [Link]
[Link]
 Fundamentos de estadística. Daniel Peña Sánchez Ribera.
Alianza Editorial, 2001 o 2008.
 Computational statistics handbook with MATLAB. Martinez,
Wendy L. Chapman & Hall/CRC, 2008.
 Statistics in MATLAB A Primer. Cho, MoonJung. Chapman and
Hall/CRC, 2014.

Máster en Big Data y Data Science Estadística 52

 Introducción: Algunas Herramientas - SPSS

 Introducción
 Las cuatro ventanas
 Análisis Básico
 Frecuencias
 Descriptivos
 Análisis de regresión lineal
 Varias representaciones Visuales

Máster en Big Data y Data Science Estadística 53

Introducción
 Originalmente es un acrónimo del Paquete
Estadístico para las Ciencias Sociales
(Statistical Package for the Social Science),
Sin embargo, en la actualidad la parte SPSS
del nombre completo del software (IBM
SPSS) no es acrónimo de nada.
 Es uno de los paquetes estadísticos hoy en
día más populares que puede realizar la Imagen extraída de
[Link]
manipulación de datos de gran complejidad rg/wiki/SPSS
y un análisis de los mismos con instrucciones
muy simples.

Máster en Big Data y Data Science Estadística 54

Las cuatro ventanas
 En SPSS puedes manejar lo básico con cuatro ventanas.
 Las cuatro ventanas:
 Editor de datos
 Una ventana de salida de resultados
 Un editor de sintaxis
 Y una ventana para ejecutar secuencias de comandos
 Estas cuatro ventanas pueden ser invocadas desde
 Si son nuevas: archivo>nuevo y aparecen las cuatro opciones.
 Si ya existen como fichero: archivo>abrir y aparecen las cuatro
opciones

Máster en Big Data y Data Science Estadística 55

Las cuatro ventanas: Editor de datos
 Editor de datos: Sistema de hoja de cálculo para definir, introducir,
editar y visualizar datos. La extensión del archivo guardado será
"SAV“, esto es lo que se llama archivo muestral.
 Vamos a utilizar [Link]: es un estudio ficticio de varios miles de
personas que contiene información básica demográfica y de
consumo (viene en el directorio de “samples” de SPSS con otros
muchos ejemplos).
 [Link] es un fichero binario, y para abrirlo
archivo>abrir>datos….
 Descripción de todos los archivos muestrales de SPSS

Máster en Big Data y Data Science Estadística 56

Las cuatro ventanas: Editor de datos
 La ventana por defecto tendrá el editor de datos
 Hay dos hojas en la ventana:
 Vista de datos
 Vista de variables
 La ventana Vista de datos es visible cuando se abre por
primera vez el Editor de datos
 Esta hoja contiene los datos que se han cargado
 Se pueden marcar datos con el ratón y hacer análisis
estadísticos.

Máster en Big Data y Data Science Estadística 57

Las cuatro ventanas: Editor de datos

Máster en Big Data y Data Science Estadística 58

Las cuatro ventanas: Editor de datos
 Si hacemos clic en la pestaña Vista de variables, pasamos a vista
de variables.
 Esta hoja contiene información sobre el conjunto de datos que se
almacena en el conjunto de datos: nombre, tipo, anchura, …
 Nombre: el primer carácter del nombre de la variable debe ser
alfabético
 Los nombres de variables deben ser únicos, y tiene que ser inferior a 64
caracteres.
 No se permiten espacios.
 Tipo: indica el tipo de variable.
 Haga clic en la casilla de «tipo». Los dos tipos básicos de las variables que
se utilizarán son numéricas y de cadena. Esta columna le permite especificar
el tipo de variable.

Máster en Big Data y Data Science Estadística 59

Las cuatro ventanas: Editor de datos
 Anchura: el número de dígitos para valores numéricos o la longitud
de una variable de cadena.
 Decimales: número de decimales
 Tiene que ser menor o igual a 16
 Etiqueta: puede especificar los detalles de la variable
 Se puede escribir caracteres hasta 256.
 Valores: esto se utiliza y sugerir que los números representan la
categoría de la variable, cuando esta representa una categoría.
 Definición de las etiquetas de valor:
 Haga clic en la celda de la columna los valores.
 Para el valor, y la etiqueta, puede poner hasta 60 caracteres.
 Después de definir los valores haga clic en Agregar y, a continuación, haga clic
en Aceptar.

Máster en Big Data y Data Science Estadística 60

Las cuatro ventanas: Editor de datos

Máster en Big Data y Data Science Estadística 61

Las cuatro ventanas: Salida de resultados
 Una ventana de salida de resultados: visualiza la salida de los
resultado.
 Puede grabar los resultados en ficheros de extensión “spv”.
 Aparece los comandos que se introducen a SPSS en la parte
de arriba.
 Aparece un árbol de operaciones a la izquierda.
 Puedes modificar las etiquetas de la salida.
 p. ej. marcar columnas con el ratón>botón
derecho>estadísticos descriptivos.

Máster en Big Data y Data Science Estadística 62

Las cuatro ventanas: Salida de resultados

Máster en Big Data y Data Science Estadística 63

Las cuatro ventanas: Editor de sintaxis
 Es un editor para composición de comandos y lenguaje de SPSS y
luego ejecutarlo.
 Se pueden grabar las hojas de composición de expresiones en SPSS
con la extensión “sps”. Son archivos de texto.
 Puede ahorrar y automatizar muchas tareas comunes mediante el
eficaz lenguaje de comandos.
 El lenguaje de comandos también proporciona algunas
funcionalidades no incluidas en los menús y cuadros de diálogo.
 El lenguaje de comandos también permite guardar los trabajos en
un archivo de sintaxis, con lo que podrá repetir los análisis en otro
momento.

Máster en Big Data y Data Science Estadística 64

Las cuatro ventanas: Editor de sintaxis

Máster en Big Data y Data Science Estadística 65

Las cuatro ventanas: Ventana de Script
 Brinda la oportunidad de escribir programas en toda regla,
en un lenguaje muy similar al BASIC.
 La ventana es un simple editor de texto para la composición
de sintaxis. La extensión del archivo guardado será “sbs".
 El fichero se puede ejecutar en el SPSS.
 Esta ventana es para usuarios más avanzados.
 Algunos ejemplos en:
 [Link]
acollection_cads_ddita/datacollection/mrstudio/xml/dmgr_cads_script
_example.html

Máster en Big Data y Data Science Estadística 66

Las cuatro ventanas: Ventana de Script

Máster en Big Data y Data Science Estadística 67

Análisis Básico
 Frecuencias
 Este análisis genera tablas de frecuencias que muestran recuentos de
frecuencias y porcentajes de los valores de las variables individuales.

 Descriptivos
 Este análisis muestra el máximo, mínimo, media y desviación estándar de
las variables

 Análisis de regresión lineal

 La regresión lineal estima los coeficientes de la ecuación lineal

Máster en Big Data y Data Science Estadística 68

Análisis Básico: Frecuencias
 Haga clic en Analizar>estadísticos descriptivos>Frecuencias
 Haga clic en la variable de estudio y muévala a la derecha
 En estadísticos: se puede selccionar lo que quieres presentar.
 En gráficos puedes elegir barras, histograma, etc.
 En aceptar presenta los cálculos y gráficas.

Máster en Big Data y Data Science Estadística 69

Análisis Básico: Frecuencias

Máster en Big Data y Data Science Estadística 70

Análisis Básico: Frecuencias
 Todos procedimientos utilizando la GUI de SPSS, se pueden hacer
mediante el editor de sintaxis, copiando los comandos que
aparecen al principio de los cálculos del visor de resultados:

Máster en Big Data y Data Science Estadística 71

Análisis Básico: Descriptivos
 Este análisis muestra el máximo, mínimo, media y desviación estándar de
las variables.
 Haga clic en Analizar>estadísticos descriptivos>Descriptivos
 Haga clic en la variable de estudio y muévala a la derecha
 En aceptar presenta los cálculos y gráficas.

Máster en Big Data y Data Science Estadística 72

Análisis Básico: Análisis de regresión lineal
 La regresión lineal estima los coeficientes de la ecuación lineal
 Haga clic en Analizar>Regresiones>Lineales y por ejemplo:

Máster en Big Data y Data Science Estadística 73

 Análisis Básico: Análisis de regresión lineal
 Pintar la regresión: Gráficos>Gráficos de variables de regresión.

Máster en Big Data y Data Science Estadística 74

 Análisis Básico: Análisis de regresión lineal
 Pintar la regresión: Gráficos>Gráficos de variables de regresión.

Máster en Big Data y Data Science Estadística 75

Análisis Básico: Análisis de regresión lineal
 Pintar la regresión: Gráficos>Gráficos de variables de regresión.

Máster en Big Data y Data Science Estadística 76

Análisis Básico: Análisis de regresión lineal

Máster en Big Data y Data Science Estadística 77

Representaciones Visuales: Histogramas

Máster en Big Data y Data Science Estadística 78

Representaciones Visuales: Matriz de dispersión

Máster en Big Data y Data Science Estadística 79

Representaciones Visuales: Boxplots

Máster en Big Data y Data Science Estadística 80

Representaciones Visuales: Histogramas

Máster en Big Data y Data Science Estadística 81

Representaciones Visuales: QQplot

Máster en Big Data y Data Science Estadística 82

Representaciones Visuales: QQplot

Máster en Big Data y Data Science Estadística 83

Bibliografía y lecturas relacionadas:

 SPSS White Papers

 SPSS Demos and Tutorials
 Repositorio de IBM: [Link]
 [Link]
 Descripción de todos los archivos muestrales de SPSS
 Discovering Statistics Using IBM SPSS Statistics. Field, Andy.
Sage Publications Ltd, 2012.

Máster en Big Data y Data Science Estadística 84