ESTADÍSTICA APLICADA. Tema 4: Regresión lineal simple

Transcripción

1 ESTDÍSTIC PLICD Grado en Nutrición Humana y Dietética Planteamiento del problema Tema 4: Regresión lineal simple Recta de regresión de mínimos cuadrados El modelo de regresión lineal simple IC y contrastes para los parámetros del modelo Predicción Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 1

2 Planteamiento del problema En algunas situaciones, los diagramas de dispersión sugieren que hay una relación lineal entre dos variables. 7 sociación positiva 7 sociación negativa Pregunta: Cómo es la correlación en estos dos ejemplos? Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 2

3 7 sociación positiva 7 sociación negativa Objetivos de la regresión lineal simple: Resumir la información de los datos mediante una recta. Predecir valores de una variable usando la otra. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 3

4 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Consideramos dos variables (fichero vino.sav) X : Consumo anual de vino en litros por habitante Y : Número de muertes por enfermedad cardíaca, por cada habitantes. lgunas preguntas: Qué podemos decir sobre la relación entre las dos variables? Podemos afirmar que valores altos en consumo de vino están asociados con valores bajos en número de muertes por enfermedad cardíaca? Podemos predecir aproximadamente el valor de la variable Y si sabemos el valor de X? Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 4

5 Ejemplo Frecuencias5.1 (consumo de vino y dolencias cardíacas): [Conjunto_de_datos1] C:\Documents and Settings\usuario\Mis documentos\joser\docencia \estap\datos\vino.sav Correlaciones 0,0 2,0 4,0 Vino 6,0 N Media Desv. típ. Estadísticos Válidos Perdidos Vino Card , ,05 2, ,396 Vino Card Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Vino Card 1 -,843, ,843 1, Irlanda Finlandia GBretaña 300 NZelanda Noruega Islandia Suecia Dinamarca Card 200 ustralia Canada EEUU lemania Holanda ustria Card Belgica Suiza Italia 100 España 100 Francia Vino Vino Pregunta: Implica esta asociación causalidad? Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 5

6 sociación estadística y causalidad Consideramos que dos o más variables aleatorias están relacionadas, desde el punto de vista estadístico, si un cambio (un aumento o una disminución) en el valor de una de las variables está asociado a un cambio en las otras variables. Por ejemplo, sería razonable que las variables número de horas trabajadas y remuneración estuvieran relacionadas, en el sentido de que un aumento en las horas de trabajo estuviera asociado a un aumento en el salario. La correlación es un índice estadístico que describe el grado y la dirección de una relación entre dos variables. Sin embargo, el hecho de que dos variables estén correladas no implica automáticamente que cambios en una de las variables causen cambios en la otra variable. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 6

7 El fenómeno de la causalidad o de causa y efecto se refiere a que uno de los sucesos considerados es, al menos en parte, resultado de la ocurrencia del otro suceso. Es decir, cambios en una de las variables aleatorias (la causa) producen directamente cambios en la segunda variable (el efecto). La existencia de correlación entre dos variables no es sinónimo de existencia de una relación de causalidad. Dicha correlación puede deberse a la existencia de una tercera variable de la que dependen las dos primeras. La relación de causalidad entre dos variables se establece mediante estudios controlados en los que dos muestras de individuos se diferencian sólo en los valores de estas dos variables (y en todos los demás aspectos son comparables). Ejemplo: Posible causa Cantidad de carne procesada consumida diariamente Nivel de ansiedad/estrés Nivel de adicción al tabaco Posible efecto Riesgo de sufrir cáncer Capacidad intelectual Nivel de adicción al alcohol Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 7

8 Ejemplo 5.2 (renta y fracaso escolar en la CM): na Justel Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 8

9 Ejemplo 5.2 (renta y fracaso escolar en la CM): % fracaso escolar rganda Torrelodones Renta (en miles de euros) Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 9

10 Problema de regresión Observamos dos variables, X e Y. El objetivo es analizar la relación existente entre ambas, de forma que podamos predecir o aproximar el valor de la variable Y a partir del valor de la variable X. La variable Y se llama variable respuesta o dependiente La variable X se llama variable regresora o explicativa o independiente Observación: En un problema de regresión (a diferencia de cuando calculamos el coeficiente de correlación) el papel de las dos variables no es simétrico. La variable X juega el papel de variable independiente y la variable Y el papel de variable dependiente (de la primera variable). Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 10

11 La recta de regresión de mínimos cuadrados El modelo de relación más sencillo entre dos variables cuantitativas, X e Y, es el que establece la existencia de una relación aproximadamente lineal entre las variables observadas: y i β 0 + β 1 x i, i = 1,..., n. La recta y = β 0 + β 1 x es una recta de regresión. El parámetro β 1 es la pendiente de la recta. Indica cómo cambia la variable respuesta cuando el incremento de x es una unidad. El parámetro β 0 es el término independiente de la recta. Indica el valor de Y cuando X = 0. Problema estadístico: Estimar los parámetros β 0 y β 1 a partir de los datos (x i, y i ), i = 1,..., n, de una muestra. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 11

12 Si estimamos β 0 y β 1 mediante ˆβ 0 y ˆβ 1, la predicción de la variable respuesta Y en función de la regresora X es: Ŷ = ˆβ 0 + ˆβ 1 X. En particular, para los datos de la muestra: ŷ i = ˆβ 0 + ˆβ 1 x i, i = 1,..., n. Unos buenos estimadores (de β 0 y β 1 ) deben ser tales que los residuos (errores de predicción) sean pequeños: e i = y i ŷ i = y i ( ˆβ 0 + ˆβ 1 x i ). La recta de regresión de mínimos cuadrados utiliza los valores de ˆβ 0 y ˆβ 1 que minimizan la suma cuadrática de los residuos: n ei 2 = i=1 n (y i ŷ i ) 2 = i=1 n i=1 ( y i ( ˆβ 0 + ˆβ 1 x i )) 2. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 12

13 Los residuos x y x y Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 13

14 Estimadores de mínimos cuadrados La recta de regresión de Y sobre X es la recta y = ˆβ 0 + ˆβ 1 x con Pendiente: y = ȳ + r s y s x (x x) y ȳ = r s y s x (x x). ˆβ 1 = r s y s x, donde r es el coeficiente de correlación, s y es la desviación típica de la variable respuesta y s x es la desviación típica del regresor. Término independiente: ˆβ 0 = ȳ ˆβ 1 x. Las predicciones ŷ i = ˆβ 0 + ˆβ 1 x i son los valores previstos o ajustados. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 14

15 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Estimadores de los parámetros: ˆβ 1 = r s y s x = = ˆβ 0 = ȳ ˆβ 1 x = ( ) = Recta de regresión: y = x. Predicción de Y para x 0 = 4: ŷ 0 = = Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 15

16 Card Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Diagrama de dispersión y recta estimada: 300 Regresión lineal Card = 260, ,97 * Vino R-cuadrado = 0,71 2,0 4,0 6,0 8,0 Vino Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 16

17 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Valores previstos ŷ i y residuos e i Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 17

18 Observaciones La recta de mínimos cuadrados pasa por el punto cuyas coordenadas son las medias: ( x, ȳ). Si el regresor x se incrementa en una unidad, entonces la predicción de la variable respuesta ŷ se incrementa en ˆβ 1 unidades. La suma de los residuos siempre vale cero: n i=1 e i = 0. La recta para predecir Y en función de X no es la misma que la recta para predecir X en función de Y. Una medida de la bondad del ajuste de la recta a los datos es el coeficiente de determinación n R 2 Suma de Cuadrados Explicada i=1 = = (ŷ i ȳ) 2 n Suma de Cuadrados Total i=1 (y i ȳ), 2 que coincide con r 2, el cuadrado del coeficiente de correlación. Cuando R 2 está cerca de 0, el ajuste será malo. Cuando R 2 está cerca de 1, el ajuste será bueno. R 2 representa el porcentaje de la variabilidad de Y explicado por la regresión lineal respecto a la variable X. No es aconsejable realizar predicciones con la recta de regresión fuera del rango de valores observados, es decir, para x < mín x i o para x > máx x i. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 18

19 El modelo de regresión lineal simple Para poder hacer inferencia (IC y contrastes) sobre los parámetros, suponemos que se verifica el siguiente modelo: Y i = β 0 + β 1 x i + ɛ i, i = 1,..., n, donde los errores o perturbaciones ɛ 1,..., ɛ n son v.a. independientes N(0,σ). Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 19

20 En cuáles de las 4 situaciones se verifica el modelo? x y x2 y x y x y4 Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 20

21 Una simulación Supongamos que σ = 1, β 0 = 0 y β 1 = 1. Entonces el modelo es Y i = x i + ɛ i, (1) donde los errores ɛ i tienen distribución normal estándar y son independientes Fijamos x 1 = 1, x 2 = 2,..., x 10 = 10 (es decir, tamaño muestral n = 10) y generamos las respuestas correspondientes de acuerdo con el modelo (1). Posteriormente calculamos la recta de mínimos cuadrados (azul) y la representamos junto con la verdadera recta y = x (ĺınea discontinua). Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 21

22 Repetimos 6 veces el experimento: beta1= beta1= beta1= beta1= 0.95 beta1= 1.01 beta1= 0.99 Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 22

23 Repetimos 1000 veces el experimento de generar respuestas de acuerdo con el modelo (1) para los valores del regresor x 1 = 1, x 2 = 2,..., x 10 = β 0 Para cada nueva muestra los estimadores ˆβ 0 y ˆβ 1 cambian. Existen fórmulas del error típico de ˆβ 0 y ˆβ 1 que recogen esta variabilidad β 1 Estas fórmulas son las que se utilizan para calcular IC y llevar a cabo contrastes de hipótesis acerca de β 0 y β 1. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 23

24 IC y contrastes para los parámetros del modelo Los intervalos de confianza de nivel 1 α para los parámetros ˆβ i (i = 0, 1) tienen la estructura habitual: [ ˆβi t n 2,α/2 e.t.( ˆβ i )] En comparación con los intervalos de confianza para la media: Los grados de libertad son n 2 en lugar de n 1. La fórmula del error típico es más complicada (siempre lo calcularemos con el ordenador). Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 24

25 Contrastes unilaterales: Hipótesis: H 0 : β i βi Región crítica: frente a H 1 : β i > β i R = { ˆβ i β i e.t.( ˆβ i ) > t n 2,α }. Hipótesis: H 0 : β i βi Región crítica: frente a H 1 : β i < β i R = { ˆβi β i e.t.( ˆβ i ) < t n 2,α }. Contraste bilateral: Hipótesis: H 0 : β i = βi Región crítica: frente a H 1 : β i β i R = { } ˆβ i βi e.t.( ˆβ i ) > t n 2,α/2. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 25

26 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Sabiendo que el error típico del estimador de mínimos cuadrados de la pendiente es 3.557, calcula un IC para β 1 de nivel 95 %: [ ˆβ 1 t n 2,α/2 e.t.( ˆβ 1 )] = [ ] ya que t 17,0.025 = = [ ] = [ 30.48, 15.47] portan los datos evidencia para afirmar (α = 0.01) que un incremento en el consumo de vino está asociado a un menor número de muertes por enfermedad cardíaca? Queremos contrastar H 0 : β 1 0 frente a H 1 : β 1 < 0. Calculamos: t = = y t 17,0.01 = Como < estamos en la región crítica y podemos rechazar H 0. Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 26

27 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Con SPSS Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 27

28 Ejemplo 5.1 (consumo de vino y dolencias cardíacas): Con SPSS Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,843 a,710,693 37,879 a. Variables predictoras: (Constante), Vino b. Variable dependiente: Card Coeficientes a Coeficientes Coeficientes no estandarizados estandarizado s Modelo B Error típ. Beta t Sig. 1 (Constante) 260,563 13,835 18,833,000 Vino -22,969 3,557 -,843-6,457,000 a. Variable dependiente: Card Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 28

29 Ejemplo 5.2 (renta y fracaso escolar en la CM): Para los datos de nivel de renta y fracaso escolar en la CM se tiene la siguiente salida de SPSS: Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,742 a,550,528 4,7566 a. Variables predictoras: (Constante), Renta b. Variable dependiente: Fracaso Coeficientes a Coeficientes Coeficientes no estandarizados estandarizado s Modelo B Error típ. Beta t Sig. 1 (Constante) 38,494 **** 10,562,000 Renta -1,347,266 -,742-5,065,000 a. Variable dependiente: Fracaso Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 29

30 Ejemplo 5.2 (renta y fracaso escolar en la CM): Cuestiones: (a) Escribe la ecuación de la recta de mínimos cuadrados que describe el nivel de fracaso escolar como función de la renta. (b) Calcula los intervalos de confianza de nivel 95 % para la pendiente y el término independiente de la recta de regresión. (c) Podemos afirmar, a nivel α = 0.05 que niveles más altos de renta están asociados a niveles más bajos de fracaso escolar? (d) Cuánto vale el coeficiente de correlación entre el nivel de renta y el porcentaje de fracaso escolar? (e) Qué porcentaje de fracaso escolar se predice en una población cuya renta es x 0 = euros? (f) Cuál es el residuo correspondiente a Colmenar Viejo? Estadística plicada (NHyD). Profesora: mparo Baíllo Tema 4: Regresión lineal simple 30