Evaluación Ex Post - SNI. Fernando Cartes Mena Jefe División de Evaluación Social de Inversiones Ministerio de Desarrollo Social - Chile

Transcripción

1 Evaluación Ex Post - SNI Fernando Cartes Mena Jefe División de Evaluación Social de Inversiones Ministerio de Desarrollo Social - Chile

2 SISTEMA NACIONAL DE INVERSIONES (SNI) El SNI norma y rige el proceso de inversión pública de Chile. Reúne las metodologías, normas y procedimientos que orientan la formulación, ejecución y evaluación de las Iniciativas de Inversión (IDI) que postulan a fondos públicos. El SNI está compuesto por 4 subsistemas: Evaluación Ex Ante Ministerio de Desarrollo Social Evaluación Ex Post Formulación Presupuestaria Ministerio de Hacienda Ejecución Presupuestaria

3 TEMARIO OBJETIVOS TIPOS DE EVALUACIÓN EX POST EVALUACIÓN EX POST DE CORTO PLAZO EVALUACIÓN EX POST DE MEDIANO PLAZO EVALUACIÓN EX POST DE LARGO PLAZO

4 OBJETIVOS DE LA EVALUACIÓN EX POST Identificar el grado de cumplimiento de los objetivos planteados y la validez de las proyecciones ex ante. Analizar el cumplimiento de los procesos y procedimientos técnicos y administrativos establecidos en la evaluación ex ante. Derivar acciones correctivas para mejorar los procesos de inversión vigentes y la gestión de los proyectos. Generar información y lecciones para apoyar el proceso de actualización de metodologías, capacitación, criterios de formulación y evaluación ex ante.

5 TIPOS DE DE EVALUACIÓN EX POST Evaluación Ex Post Oportunidad en que se realiza la evaluación Alcances Corto Plazo (Producto) Al término de la Ejecución Entrada en Operación (1 o 2 años) Fase I: Medición y análisis de variables relevantes. Fase II: Visitas a terreno de proyectos en operación. Mediano Plazo (Intermedio) En la etapa de Operación. Proyectos con 3 a 7 años de operación. Medición de flujos (demanda, oferta, beneficiarios, costos de operación) y efectos intermedios. Aspectos de calidad de servicio Análisis de la operación y modelo de gestión de Largo Plazo (Impacto) En la etapa de operación en régimen. Proyectos con más de 7 años de operación Levantamiento de línea base Medición de resultados a nivel de impacto.

6 EVALUACIÓN EX POST DE CORTO PLAZO 1. Conceptualización 2. Características del proceso, variables e Indicadores 3. Sistema Informático 4. Informes

7 EX POST DE CORTO PLAZO 1. CONCEPTUALIZACIÓN Ex Post de Corto Plazo Fase I Consiste en la evaluación y análisis de los costos, plazos y magnitudes de los proyectos (al término de su ejecución), a objeto de contar con referencias para la formulación y evaluación de proyectos nuevos. Fase II Consiste en visitar proyectos en operación para observar, registrar y analizar cómo funcionan aspectos relevantes de la formulación, con el objeto de extraer lecciones aprendidas, que sean útiles para otros proyectos. Evaluación Programado Real

8 EX POST DE CORTO PLAZO 2. CARACTERISTÍCAS DEL PROCESO Dimensiones Aspectos Hasta el Proceso 2010 Modalidad de Evaluación Muestra de proyectos, programas y estudios básicos Del Proceso 2011 al % de proyectos A partir del Proceso 2015 Selección Estratégica de proyectos por subsector y visitas a terreno COBERTURA N Proyectos 200 Más de 600 FASE I: Alrededor de 215 FASE II: Piloto: entre 3 y 5 proyectos. GENERACIÓN DE RESULTADOS OPTIMIZACIÓN DEL TIEMPO Fuente Financiamiento Período de Referencia Informes Registro por Proyecto evaluado Sistema FNDR Dos años anteriores a la evaluación Nacional Ninguno Manual FNDR y Sectoriales El año anterior a la evaluación Nacional y Informes Nacional, Sectorial Sectorial y de Visita Informe Individual en el Banco Integrado de Proyectos Automático (con carga de información del BIP)

9 EX POST DE CORTO PLAZO: FASE I 3. QUÉ ANALIZA?

10 EX POST DE CORTO PLAZO: FASE I 4. INDICADORES Variable Nombre indicador Descripción Plazos (meses) Variación plazo recomendado por ítems Variación plazo total recomendado Plazo Real vs Plazo Recomendado de: Obra Civil, Equipos, Equipamiento, Consultorías, Terreno Plazo Total Real vs Plazo Total recomendado de Ejecución del Proyecto Costos (M$) Magnitud Variación del monto recomendado Variación del Monto Contratado Costo por Magnitud Cumplimiento de la magnitud recomendada Monto Contratado v/s Monto Recomendado Monto Ejecutado v/s Monto Recomendado Monto Ejecutado v/s Monto Contratado Monto Ejecutado v/s Magnitud Real Magnitud Ejecutada v/s magnitud recomendada

11 EX POST DE CORTO PLAZO: FASE I 5. FUNCIONAMIENTO DEL SISTEMA INFORMÁTICO : AVANCES TECNOLÓGICOS IMPLEMENTADOS Sistema en línea de empuje y simultáneo Comunicación Módulo Unidad Técnica Módulo Unidad Financiera Módulo SEREMI Cierre Control Control Usuario Técnico Usuario Financiero Evaluación Analista Retorno a Evaluación

12 EX POST DE CORTO PLAZO: FASE II QUÉ ANALIZA? Las Visitas a Terreno buscan entender las causas que generan un determinado resultado (el porqué), en las siguientes áreas Identificación del problema Área de influencia Localización Población beneficiaria Estimación de demanda Capacidad instalada Diseño Funcionalidad Uso de la infraestructura Calidad del servicio Equipos y equipamiento Operación y mantenimiento Personal Adecuación metodológica para expresarlas en forma de lecciones aprendidas.

13 EX POST DE CORTO PLAZO INFORMACIÓN PAGINA WEB

14 EVALUACIÓN EX POST DE MEDIANO PLAZO 1. Objetivo 2. Metodología Selección de Proyectos 3. Aspectos a Evaluar 4. Estudios Realizados 5. Información Disponible

15 EX POST DE MEDIANO PLAZO 1. OBJETIVO Analizar y comparar el comportamiento de lo estimado en la formulación del proyecto vs lo real en las variables relevantes de un proyecto; y se lleva a cabo cuando el proyecto lleva entre 3 a 7 años de operación. Algunos aspectos analizados en esta etapa son los flujos de oferta y demanda, costos operacionales y de mantenimiento; como también, el modelo de gestión de la infraestructura, calidad del servicio (satisfacción del usuario), flexibilidad de la infraestructura en operación, entre otros. Anteproyecto y Proyecto Ejecutado Mejoramiento Estadio Municipal Nelson Oyarzún Arenas de Chillán Código BIP Fuente: Evaluación ex post de Mediano Plazo a Estadios Mundialistas (2012).

16 EX POST DE MEDIANO PLAZO 2. METODOLOGÍA DE SELECCIÓN DE PROYECTOS Aspectos Modalidad de Evaluación Modalidad de Ejecución Fuente Período de Referencia Estudio Producto final Proceso vigente Selección de proyectos relevantes en coordinación con el sector y los equipos de Inversiones y Metodologías Selección de alrededor 15 proyectos según tipo de proyecto, considerando la disponibilidad de información FNDR y Sectorial En operación (entre 3 y 7 años) Licitación pública Informe y presentación de la evaluación de indicadores La metodología depende principalmente del objetivo del estudio, considerando qué para el análisis de la evaluación social del proyecto se aplica la misma metodología ex ante, pero esta vez, considerando antecedentes reales o efectivos del proyecto, obtenidos en el ex post (Inversión real, costos de operación y mantenimiento, demanda, entre otros). A partir del 2014 para la evaluación ex post de mediano plazo se priorizan proyectos que presenten evaluación ex post de corto plazo, con una operación mínima de 3 años.

17 EX POST DE MEDIANO PLAZO 3. ASPECTOS A EVALUAR Los aspectos transversales analizados y medidos en la evaluación ex post de mediano plazo son: Demanda Económico Gestión Dimensión Calidad servicio Infraestructura Beneficiarios Variable Demanda efectiva Costo de operación y mantenimiento Indicador económico en operación Modelo de gestión Satisfacción usuario Uso efectivo, mantenimiento efectivo y estado actual Localización / Accesibilidad Área de influencia Población atendida Las variables medidas están relacionadas con los resultados de la operación del proyecto y se ajustan dependiendo del origen del proyecto.

18 EX POST DE MEDIANO PLAZO 4. ESTUDIOS Sector Estudio / Año N Proyectos Aspectos analizados Educación Establecimientos Educacionales (2012) Multisectorial Complejos Fronterizos (2011) 4 Riego Embalse Santa Juana (2012) 1 10 Embalse Puclaro (2012) 1 N matrículas, Capacidad de uso, Costos de operación y mantenimiento, Calidad del servicio, Indicador económico en operación. Demanda efectiva, Costo de operación y mantenimiento, Modelo de gestión, Calidad del servicio, Indicador económico en operación. Costo de operación y mantenimiento, Modelo de gestión, Traspaso, Designación derechos de agua, Volumen acumulado, Indicador económico en operación.

19 EX POST DE MEDIANO PLAZO 4. ESTUDIOS La línea de ex post de mediano plazo es la más antigua implementada, comenzó el año 1992 y en forma casi ininterrumpida ha realizado estudios de distintos sectores y proyectos de distinta envergadura. A continuación se presenta una muestra de los sectores analizados en el periodo : Sector Estudio (Año) N Proyectos Aspectos analizados Agua potable y alcantarillado Defensa y Seguridad Deporte Agua Potable Rural (2014) 12 Cuarteles de Carabineros (2013) 12 Estadios Mundialistas (2011) 4 Polideportivos y Gimnasios recreativos (2015) 15 N Arranques, consumo efectivo, Costo de operación y mantenimiento, Satisfacción usuario, Tarifas, Indicador económico. Siniestros, Costo de operación y mantenimiento, Modelo de gestión Calidad del servicio,indicador económico Demanda de actividades y deportes, Costo de operación y mantenimiento, Modelo de gestión, Estado de conservación, Modificaciones programa arquitectónico, indicador económico, calidad del servicios, localización, Traspaso, área de influencia.

20 EX POST DE MEDIANO PLAZO 4. ESTUDIOS Sector Salud Transporte Vivienda Estudio / Año N Proyectos Hospitalización Domiciliaria (2013) 7 Efecto de la construcción de hospitales sobre su Red asistencial (2013) Eficiencia Modelo Gestión Equipos Imaginología (2012) 2 8 Aspectos y variables analizadas N de camas, rotación, demanda efectiva, costos de operación y mantenimiento, recursos humanos, modelo de gestión, equipamiento, indicador económico. Transporte caminero (2014) 5 Flujo vehicular, Costos de operación y mantenimiento, Velocidades, Tasa de Tránsito generado (2012) 12 ocupación, Rugosidades, indicador económico. Viviendas para Adultos Mayores ELEAM y CVT (2015) 15 Oferta y Demanda, Costo de operación y mantenimiento, equipamiento, estándares, Modelo de gestión, Traspaso, Rentabilidad

21 EX POST DE MEDIANO PLAZO 5. INFORMACIÓN PAGINA WEB

22 EX POST DE MEDIANO PLAZO FICHA RESUMEN ESTUDIO

23 EVALUACIÓN EX POST DE LARGO PLAZO 1. Objetivo 2. Avances

24 MOMENTOS DE LA DE EVALUACIÓN EX POST Evaluación Ex Post Oportunidad en que se realiza la evaluación Alcances/Tipo de resultados medidos Corto Plazo (Producto) Al término de la Ejecución Entrada en Operación Fase I: Análisis de productos, procesos y procedimientos realizados en la ejecución. Fase II: Visitas a terreno de proyectos en operación. Mediano Plazo (Intermedio) En la etapa de Operación. Proyectos con 3 a 7 años de operación. Medición de flujos (demanda, oferta, beneficiarios, costos de operación) y efectos intermedios. Aspectos de calidad de servicio Análisis de la operación y modelo de gestión de Largo Plazo (Impacto) En la etapa de operación en régimen. Proyectos con más de 7 años de operación Levantamiento de línea base Medición de resultados a nivel de impacto.

25 EX POST DE LARGO PLAZO (IMPACTO) 1. OBJETIVO Medir los resultados finales (impacto) a nivel de propósito o fin del proyecto. En general, la evaluación de largo plazo mide el beneficio de mediano y largo plazo ejercido en la población objetivo (indicadores macroeconómicos y socioeconómicos). El horizonte de tiempo para medir resultados de largo plazo es variable según el tipo de proyecto, sin embargo se estima en más de 7 años de operación del proyecto. El análisis puede estar enfocado en proyectos de gran envergadura o en grupos de proyectos.

26 EX POST DE LARGO PLAZO (IMPACTO) 2. AVANCES Este proceso aún es incipiente en el Subsistema de Evaluación Ex Post. El año 2009 se inició con un primer intento de traspasar la metodología de evaluación de impacto de programas a proyectos de inversión en infraestructura, con un estudio en el tema que entrega lineamientos muy básicos y revisa exhaustivamente la evaluación de programas entregando una propuesta metodológica para el caso de inversión en infraestructura. Por otra parte, el SNI está sentando las bases para efectuar evaluación de impacto a través de la generación de Líneas de Base para proyectos de gran envergadura, para el caso de embalses y carreteras de gran magnitud. (Embalses Chacrillas y Valle Hermoso, Carretera Austral, p.ej.)

27 Gracias