Gabinet Tècnic de Programació Oficina Municipal de Dades SEGUIMIENTO Y EVALUACIÓN DE POLÍTICAS Y SERVICIOS MUNICIPALES Estado de la cuestión y recopilación de actuaciones del mandato 2015-2019 1 Gabinet Tècnic de Programació Oficina Municipal de Dades 1. Introducción Toda administración pública comprometida con la participación democrática, la transparencia, la calidad de los servicios y la creación de valor social debe estar plenamente capacitada para el seguimiento y la evaluación de sus acciones. En los últimos 20 años los países más innovadores en materia de gestión pública han pasado de una evaluación básicamente centrada en la percepción de la calidad de los servicios -servicios estables, que se suponen necesarios y eficaces- a una evaluación que también quiere llegar a saber hasta qué punto los efectos de una política pública (y/o de sus componentes) transforman la realidad en el sentido deseado y previsto. La corriente favorable a las "políticas basadas en la evidencia" se sustenta sobre dos cambios muy relevantes: una creciente complejidad de los problemas sociales (incluyendo aquí a los conocidos como “problemas malditos”, wicked problems) y una creciente capacidad tecnológica para obtener y analizar evidencias. Estos estudios de evaluación requieren una base teórica (una teoría del cambio), unos objetivos y una metodología bien acotados y definidos; y pueden ser de varios tipos, según lo pretendan observar y medir (necesidades, procesos, productos, impactos). En los países del sur de Europa el interés por la evaluación llegó más tarde, y colisionó con una cultura administrativa poco propicia. En un modelo en el que el principio jerárquico y la norma escrita lo son todo, actuar correctamente se equipara con cumplir la norma que, en cada caso, habilite la acción administrativa, sin tomar demasiado en consideración los efectos generados por tal acción. Sin embargo, en el caso de España la democratización y las presiones por la modernización de la gestión pública comportaron, a partir de los años 90 del siglo XX, un creciente interés por la evaluación como instrumento necesario para la mejora de la eficiencia, eficacia y efectividad de la administración. Así, en 2006 se constituyó el Instituto Catalán de Evaluación de Políticas Públicas (Ivàlua), adoptando la forma jurídica de un consorcio público constituido por la Generalitat de Cataluña (Departamento de Economía), la Diputación de Barcelona, la Universidad Pompeu Fabra, el Consejo Interuniversitario de Cataluña y el Consejo de Trabajo Económico y Social de Cataluña. Su misión es la "promoción de la evaluación de políticas públicas entre las administraciones públicas catalanas, las entidades sin ánimo de lucro que persigan fines de interés público y entre la ciudadanía en general". Casi en paralelo, en enero de 2007 se constituyó la Agencia Estatal para la Evaluación de Políticas Públicas (AEVAL), en el marco del primer gobierno Zapatero y a propuesta del Ministro de Administraciones Públicas, Jordi Sevilla. Su trayectoria no fue precisamente fácil. El cambio de ministro en 2008 y el estallido de la crisis económica ese mismo año relegaron la evaluación en la lista de prioridades del gobierno español. El gobierno de Rajoy redujo aún más su importancia hasta que, en virtud de un cambio legislativo, en el año 2017 la suprimió y trasladó sus funciones a una dirección general del Ministerio de Economía. Entretanto, Ivàlua ha consolidado una sustancial agenda de investigación aplicada y de 2 Gabinet Tècnic de Programació Oficina Municipal de Dades formación. Aunque no ha experimentado el crecimiento que seguramente se esperaba en el momento en que se creó, es remarcable el hecho de que sea, a día de hoy, la única organización de naturaleza pública en España dedicada exclusivamente a la evaluación de políticas y servicios públicos. Sobre las razones que pueden explicar este fracaso -al menos relativo- en la institucionalización de la evaluación, encontraríamos la enorme fortaleza de las concepciones juridicista (sólo la norma importa) y economicista (sólo el balance contable importa) en la administración española, junto con un pragmatismo exacerbado los "gobiernos de la crisis", refractario a poner sobre la mesa propuestas innovadoras de política pública. Por otra parte, durante estos años los impulsos reformistas de la administración se han centrado en el objetivo de la transparencia, siguiendo la agenda que el presidente norteamericano Obama esbozó durante su primer mandato. Con el tiempo se ha constatado, sin embargo, que la transparencia desligada de la evaluación tiene un recorrido muy limitado. Sirve de bien poco ofrecer un gran volumen de datos en abierto si estos no permiten hacerse una idea plausible de lo que pasa y lo que hace la administración. Hay que saber identificar, de entre todos los datos disponibles, aquellos que aportan evidencias relevantes sobre el funcionamiento y los efectos de una determinada acción de gobierno. El Ayuntamiento de Barcelona, una de las administraciones en que el impulso modernizador fue más avanzado e intenso, la orientación hacia los resultados se manifiesta ya desde mediados de los años 80 y prueba de ello es la creación de una Dirección de Servicios de Calidad y Evaluación. Ésta incorporaba un Servicio de Estudios y Evaluación municipal, muy centrado en conocer, a través de encuestas de satisfacción de alcance y periodicidad diversa, la percepción que los usuarios tienen de los servicios municipales. La Encuesta de Servicios Municipales (multitemática, representativa por distritos y grandes barrios, anual, obligatoria) se consolidó como el instrumento de referencia en este campo. Con el tiempo, el término "evaluación" desapareció del nombre del departamento que llevaba a cabo los estudios de opinión. Posteriormente el Servicio de Estudios de Opinión se integró con el Servicio de Estadística y ambos, a su vez, con el Servicio de Estudios y Programación. Conjuntamente configuraron el Gabinete Técnico de Programación (GTP), responsable de la mayor parte de los datos y los “productos” para el seguimiento y evaluación de las políticas municipales. En enero de 2018 el GTP fue incorporado a la recién creada Oficina Municipal de Datos (OMD), que también asumió la gestión de información de base y el servicio de datos abiertos. La OMD es actualmente el principal suministrador de la materia prima con la que es construye tota evaluación: las evidencias empíricas; pero no el único (ver secciones 2 y 3). Más allá de estos productos, la función evaluadora es responsabilidad de cada una de las unidades de la organización municipal. De hecho, tradicionalmente cada área ha podido 3 Gabinet Tècnic de Programació Oficina Municipal de Dades encargar a proveedores externos estudios para evaluar de una manera más profunda servicios, proyectos o programas de especial relevancia. En tales casos, lo habitual es recurrir a indicadores cuantitativos de producción (los llamados outputs) y entrevistas semiestructuradas -individuales y / o grupales- a través de las que se pueden recoger y contrastar las opiniones de los actores clave, de una forma que permite alcanzar un conocimiento más profundo de la acción estudiada. En el mandato municipal 2015-2019 han proliferado los proyectos de evaluación (ver sección 4), en buena medida porque el Ayuntamiento ha propuesto políticas y programas nuevos, que incorporan un notable grado de experimentación e incertidumbre. El reto es que, más allá de los resultados obtenidos, los aprendizajes de estas experiencias de evaluación lleguen más allá del departamento que, en cada caso, haya encargado el estudio. Capitalizando este conocimiento se consolidará la experiencia que el Ayuntamiento necesita tanto para supervisar encargos externos de evaluación como para realizar estudios de evaluación con recursos propios. Precisamente con esta finalidad el 23 de enero de 2019 el Ayuntamiento de Barcelona organizó la jornada “Compartir conocimiento para evaluar mejor” (documentación disponible en: https://drive.google.com/open?id=1oNC0qtMN5ppcsmu0rCnikzbLG052Zuu9). 2. Dispositivos y espacios para el seguimiento (monitoring) de la implementación1 • Aplicación de estado de ejecución del PAM 2016-2019 (http://pambarcelona.ajuntament.bcn/) Su finalidad es cuantificar el grado de ejecución de los objetivos y las actuaciones previstas en el PAM. Los responsables de cada ámbito actualizan la información de manera continuada. Se puso en marcha el año 2017 y se gestiona desde la Gerencia Municipal. En marzo de 2019 se publicó el Balance final de ejecución del Programa de Actuación Municipal 2016-2019, disponible en https://bcnroc.ajuntament.barcelona.cat/jspui/handle/11703/113130 • Informe de gestión. Es un documento de 15 páginas, periodicidad mensual y difusión restringida que integra y presenta gráficamente decenas de indicadores de gestión y de contexto de todos los ámbitos de la acción municipal. Habitualmente ofrece para todos los indicadores una comparativa interanual, o de los dos últimos años. Los indicadores que reflejan más propiamente la gestión 1 La mayoría de estos recursos pueden ser consultados y descargados a través del portal BCN.ROC, repositorio de documentación del Ayuntamiento de Barcelona https://bcnroc.ajuntament.barcelona.cat/jspui/?locale=es 4 Gabinet Tècnic de Programació Oficina Municipal de Dades municipal también se ofrecen los resultados desagregados por distrito. Se elabora desde el Gabinete Técnico de Programación. Se elabora desde la OMD. • Informe sobre el espacio público. Es un documento de unas 50 páginas, periodicidad mensual y difusión restringida que integra y presenta gráficamente decenas de indicadores de gestión y de contexto de todos los aspectos relacionados con el espacio público. Buena parte de los datos necesarios se obtienen de una observación periódica y sistemática del espacio público, servicio contratado a una empresa externa. El informe se estructura en cuatro grandes apartados: personas, servicios urbanos, obras y calidad ambiental. La situación de cada uno de los indicadores es simbolizada por los colores del semáforo. Hay un apartado específico dedicado a los distritos, con 26 indicadores, de los cuales dos son sintéticos, el índice general de calidad y el índice social. También incluye un anexo con datos sobre turismo, la agenda de la ciudad para los próximos meses y una recopilación de cómo la prensa ha valorado las noticias relacionadas con el Ayuntamiento de Barcelona. Se elabora desde la OMD. • Informe de coyuntura económica. Es un documento de 10 páginas, periodicidad mensual y difusión pública que integra y presenta gráficamente y comenta indicadores del contexto económico, correspondientes a los siguientes apartados: Mercado de Trabajo, Empresa, Turismo, Construcción e inmobiliario, Consumo y Transportes. De los indicadores se ofrece tanto el contraste interanual como con los dos o tres últimos años. Se elabora desde la OMD. • Informe anual del estado de la ciudad. Es un documento de unas 100 páginas que se presenta a principios de año en el pleno municipal. Integra, presenta gráficamente y comenta un conjunto de indicadores de contexto, representativos de los diversos ámbitos de la vida pública de la ciudad, con un peso especialmente fuerte de la dimensión. Se elabora desde la OMD. • Anuario estadístico de Barcelona Es un libro de unas 600 páginas que se edita y se publica en papel desde el año 1902. Incorpora 763 indicadores estadísticos, sobre todo de contexto pero también de gestión. Se puede descargar por capítulos en pdf desde la web municipal. Se elabora desde la OMD. • Informes de análisis de costes ABC 5 Gabinet Tècnic de Programació Oficina Municipal de Dades Análisis de costes mediante el sistema ABC (Activity Based Costing) (http://ajuntament.barcelona.cat/estrategiaifinances/ca/node/104), que permite determinar el coste real de un servicio a partir del análisis de las actividades desarrolladas para su prestación, y los costes que son imputables a tales actividades. Se elabora desde la Gerencia de Economía y el formato actual es vigente desde el año 2016 (referido a los costes de 2015). • Memorias de departamentos y organismos autónomos Cada departamento sigue un esquema propio de memoria corporativa, y no todos las publican. Son más frecuentes entre los organismos autónomos. Las memorias están disponibles en el repositorio público BCNROC. • Síndica de Greuges (defensora del pueblo) de Barcelona. El extenso informe anual -que se presenta y se debate en el plenario del Ayuntamiento- permite identificar casos de mal funcionamiento o de respuesta insuficiente en determinados servicios municipales (http://www.sindicadegreugesbcn.cat/pdf/informe/informe2017.pdf). • Observatorios sectoriales Se fundamentan en un sistema predefinido de indicadores de gestión y de contexto que es actualizado con una periodicidad concreta. A ello se suelen añadir estudios ad-hoc. Ejemplos destacados son el Observatorio Social Barcelona (www.bcn.cat/observatoribcn), el Observatorio de datos culturales (http://barcelonadadescultura.bcn.cat) y el Observatorio del turismo. Otros, actualmente en construcción, son el Observatorio de los impactos de las políticas municipales sobre la salud y el Observatorio de la infancia y la adolescencia. 3. Dispositivos y espacios para el análisis comparado (benchmarking) Algunos de los informes de seguimiento de la gestión antes mencionados, facilitan cierto benchmarking interno, entre distritos y entre áreas (p.ej. plazos de pago). • El informe observatorio Barcelona Coeditado por el Ayuntamiento de Barcelona (Gerencia de Política Económica y Desarrollo Local) y la Cámara de Comercio de Barcelona, este informe hace un repaso exhaustivo a todos los rankings y otras fuentes de información en el que se pueda encontrar una comparación entre Barcelona y ciudades similares de Europa y del Mundo. 6 Gabinet Tècnic de Programació Oficina Municipal de Dades • El Observatorio de distritos y barrios Gestionado por la OMD, este observatorio territorial ofrece una visión comparativa de los indicadores, ya que en todos ellos se hace constar el valor medio para el conjunto de la ciudad (en el caso de los distritos) o para el conjunto del distrito (en el caso los barrios). (Http://www.bcn.cat/estadistica/catala/documents/index.htm) • La Fundación Carles Pi i Sunyer de estudios autonómicos y locales Esta fundación, de la que el Ayuntamiento de Barcelona es patrón y principal financiador junto con la Diputación de Barcelona, gestiona dos proyectos que ofrecen un buen servicio de benchmarking a los ayuntamientos catalanes: El Observatorio del Gobierno Local (https://pisunyer.org/observatori-de-govern- local/projectes/catalunya/2016). Recopila cientos de indicadores de gestión sobre los ayuntamientos catalanes de más de 500 habitantes y los analiza de forma global y comparada. El Pánel de Políticas Públicas Locales (https://pisunyer.org/panel-de-politiques-publiques- locals/) analiza, de forma global y comparada, la acción de los ayuntamientos catalanes de más de 10.000 habitantes en las siguientes políticas públicas: Personas mayores, Salud Pública, Participación Ciudadana, Educación, Vivienda, Medio Ambiente e Inmigración. Desgraciadamente, el Ayuntamiento de Barcelona no forma parte de estos dos proyectos, entendemos que porque no existen en Cataluña ciudades similares que puedan dar sentido a una comparación. La Fundación Carles Pi i Sunyer dispone de un banco de buenas prácticas (http://www.bbp.cat/) referido a políticas, programas, proyectos y servicios municipales. 45 de las buenas prácticas disponibles a mediados de 2018 habían sido aportadas por el Ayuntamiento de Barcelona. Todas fueron incorporadas al banco a partir de junio de 2017, después de haber sido certificadas por personal evaluador especializado en cada uno de los ámbitos temáticos. Son las siguientes: Ámbito: medio ambiente 1) Certificación "bike-friendly building" de edificios municipales. 2) Compra de electricidad verde para las instalaciones municipales (práctica significativa). Ámbito: personas mayores 1) Proyecto Ràdars. Corresponsabilidad en red para prevenir el aislamiento y la exclusión social de las personas mayores 2) Escuela de envejecimiento activo para mayores del casco antiguo. Trabajo en red y acción 7 Gabinet Tècnic de Programació Oficina Municipal de Dades comunitaria para hacer frente al aislamiento y la soledad. 3) Actívate en los parques. Ejercicio físico, salud y vida activa. Ámbito: participación ciudadana 1) proyecto "más con menos". Espacios de aprovechamiento de cocina y costura. Ámbito: convivencia 1) Día de la diversidad. Respect unlimited: Barcelona por los derechos humanos. 2) Servicio de prevención, intervención y mediación en viviendas públicas del Consorcio de la Vivienda de Barcelona. 3) Estrategia BCN antirumores. Formación y comunicación en red para la cohesión social y la convivencia intercultural. 4) Proyecto escaleras para una convivencia saludable. 5) Aprendamos deportivamente y Herramientas para la convivencia. Ámbito: inmigración 1) Espacio Avinyó lengua y cultura. Actividades interculturales para una ciudad de convivencia 2) Acompañamiento al reagrupamiento familiar. Programa para la inclusión y la igualdad de oportunidades de familias reagrupadas Ámbito: infancia 1) Teatro infantil accesible. Acceso a la cultura en igualdad de condiciones 2) Red de atención a familias y niños del Raval (Consejo regional Shafir) 3) Programa de desarrollo de habilidades parentales para familias. Promoviendo la crianza de forma cooperativa y participativa 4) El EIPI con la escuela. Una intervención integral para los niños, familias y educadores. 5) La mochila preventiva. Un proyecto de reflexión, observación y juego para el avance de la educación en primera infancia. 6) Grupo de apoyo educativo a padres con hijos adolescentes. Un espacio para la toma de conciencia de los patrones de relación. 7) Acompañar desde el cuerpo. Un proyecto preventivo a partir del masaje infantil. Ámbito: salud pública 1) Proyecto JASP. Taller de educación afectiva y sexual para adolescentes Ámbito: recursos humanos 1) El valor del profesional. Reconocimiento profesional y resiliencia de los servicios sociales para renovar el compromiso. 2) Proceso de acogida de nuevos/nuevas profesionales SEAIA. Bienvenido, bienvenida: te estábamos esperando. Ámbito: desarrollo económico 8 Gabinet Tècnic de Programació Oficina Municipal de Dades 1) Dinamización del grupo motor de la red de empresas NUST. Una metodología para impulsar el trabajo en red. Ámbito: educación 1) Proyecto Vincular para Educar. Transformando las condiciones de educabilidad en la comunidad. Ámbito: vivienda 1) Proyecto piloto primero un hogar (Housing First). Vivienda estable para el empoderamiento y la autonomía. Ámbito: transparencia 1) El informe económico. Un instrumento clave para la evaluación de los contratos de servicios. 2) Asesoramientos juveniles. Calidad y proximidad en la atención a las necesidades informativas. Ámbito: inclusión social 1) Baremo social para el acceso a viviendas de inclusión para los servicios sociales básicos. Un instrumento integral y riguroso para valorar la exclusión social. 2) Interxarxes. Red de redes para el trabajo con familias. 3) SIRIAN. Salud y reproducción en mujeres inmigrantes y autóctonas. 4) Acuerdo ciudadano por una Barcelona inclusiva. 5) Grupo de padres de preparación al nacimiento del proyecto “cambiémoslo”. Hombres por la equidad de género. 6) Compartimos piso. Soluciones colectivas para la vivienda desde la convivencia 7) El café de los viernes. Una práctica grupal para hacer frente a la soledad y el aislamiento en la ciudad 8) Esforsa't (deporte, formación, salud y tiempo libre). Barrio, comunidad y ocio en Bon Pastor y Baró de Viver. 9) Licencia de estudios. Un modelo de conocimiento a partir de experiencias musicales docentes compartidas. 10) Programa Làbora. Mercado laboral reservado a personas con riesgo de exclusión social. 11) Proyectos Casco Antiguo y Sants sin barreras (CASBA y SASBA). 12) Tiempo de barrio, tiempo para ti. Una política de tiempo y vida cotidiana para cuidar a los que cuidan. 13) Reinvéntate. Capacidades, motivación e integración en la comunidad para hacer frente al paro. 14) Respuestas a las crisis. Más allá de los "hombres al sol". 15) RVD-BCN. Protocolo de valoración del riesgo de violencia de pareja contra la mujer. 16) Grupo de apoyo psicosocial de personas en paro como consecuencia de la crisis económica. 17) Programa Dedeuauna. Tiempo de acogida, orientación e inserción para los jóvenes. 18) Grupo de crecimiento personal para mujeres de los PIAD (puntos de información y atención a la mujer). 9 Gabinet Tècnic de Programació Oficina Municipal de Dades 4. Estudios de evaluación efectuados o en proceso durante el mandato desde 2015 hasta 2019 (hasta abril de 2019) En la siguiente tabla constan los informes de evaluación y seguimiento identificados para el período señalado. También es importante señalar la realización de un curso de formación sobre Evaluación impartido por Ivàlua 2017. Fueron 12 horas lectivas y participaron 17 personas. Título Año Encargo Ejecución Estudio para la evaluación cualitativa de las 2015 Instituto de Cultura de Barcelona Sòcol. Tecnologia Social fábricas de creación Evaluación del Plan de Barrios (apoyo al pilotaje 2016- Fomento de Ciudad SA Ivàlua del sistema de indicadores, análisis de la 2019 evaluabilidad de diez acciones singulares) Evaluación del Proyecto B-Mincome (evaluación 2016- Área de Derechos Sociales Ivàlua de impacto y económica) 2019 Informe anual del Observatorio Glòries 2016- Gerencia Municipal Oficina Municipal de Datos (seguimiento de la transformación urbana del 2019 sector Glòries). Evaluación del programa "Primero, el Hogar" 2016- Área de Derechos Sociales Ivàlua (evaluación de implementación y de impacto) 2018 Evaluación de necesidades de la Red de viviendas 2016- Mesa de Entidades del Tercer Sector Ivàlua de inclusión de Barcelona 2018 Social en colaboración con el Área de Derechos Sociales Evaluación del programa Éxito y Éxito Verano 2016- Consorcio de Educación de Barcelona Ivàlua 2017 Informe de impacto de género de los tributos y 2016 Gerencia de Recursos, Dirección de Cooperativa Ekona precios públicos del Ayuntamiento de Barcelona Transversalidad de Género Estimación del impacto de las modificaciones 2016 Gerencia Adjunta de Movilidad e Oriol Martori et. al. introducidas en la OCVV de Barcelona que regula Infraestructuras la circulación de los Vehículos de Movilidad 10 Gabinet Tècnic de Programació Oficina Municipal de Dades Personal (VMP) Actívate en los Parques de Barcelona. Evaluación 2016 Consorcio Sanitario de Barcelona y Agencia de Salud Pública de 2016. Agencia de Salud Pública de Barcelona Barcelona, Inst. Barcelona Deportes y Asociación Deportiva Sarrià. Evaluación del Programa Movilízate (Mobile) de 2016 Barcelona Activa SA Ivàlua Barcelona Activa (evaluación de impacto). Evaluación del fondo extraordinario para ayudas 2017 Área de Derechos Sociales Ivàlua de urgencia social del Ayuntamiento de Barcelona Evaluación de los programa Patios Escolares 2017 Instituto Municipal de Educación de Enric Saurí & Instituto Infancia y Abiertos al Barrio. Herramientas para un Barcelona Adolescencia de Barcelona seguimiento y evaluación Evaluación del programa Camino escolar, espacio 2017 Instituto Municipal de Educación de Enric Saurí & Instituto Infancia y amigo. Herramientas para un seguimiento y Barcelona Adolescencia de Barcelona evaluación Evaluación del programa Audiencia Pública de 2017 Instituto Municipal de Educación de Grupo de Investigación en Educación chicos y chicas de Barcelona Barcelona Moral (GREM) de la UB & Instituto Infancia y Adolescencia de Barcelona Informe de seguimiento de la medida de 2017 Gerencia de Ecología Urbana Izaskun Martí, Dirección de Espacios erradicación del uso del glifosato en los espacios Verdes y Biodiversidad (Gerencia De verdes y la vía pública Ecología Urbana) Evaluación del Circuito Barcelona contra la 2017 Dirección de Feminismos y LGTBI & Spora Sinergias. Violencia Machista Consorcio Sanitario de Barcelona Evaluación cualitativa del plan de acción sobre 2017 Consorcio Sanitario de Barcelona y Medical Anthropology Research drogas de Barcelona 2013-2016, centrada en los Agencia de Salud Pública de Barcelona Center (MARC) de la Universidad colectivos Rovira i Virgili Evaluación de la prueba piloto del Programa Red 2017 Gerencia de Derechos de Ciudadanía, FBG; Universidad de Barcelona; de escuelas e institutos para la Igualdad y la No Participación y Transparencia Consorcio de Educación de Barcelona Discriminación (numerosas autoras y autores) 11 Gabinet Tècnic de Programació Oficina Municipal de Dades Estudio anual de evaluación de los chiringuitos de 2017 BCASA y Gerencia de Ecología Urbana DEP Institut, S.L. las playas de Barcelona: Presentación de resultados 2016 (es un informe anual) Informe de seguimiento 2016-2017 de la medida 2017 Área de Derechos de Ciudadanía, Dirección de Servicios de Feminismos de gobierno: Mejora del sistema para el abordaje Cultura, Participación y Transparencia; y LGTBI integral de las violencias machistas Dir. de Servicios de Feminismos y LGTBI Informe de impacto de género del presupuesto 2018 Gerencia de Recursos, Dirección de Dirección de Transversalidad de 2018 Transversalidad de Género Género Evaluación de la calidad del aire en la ciudad de 2018 Consorcio Sanitario de Barcelona y Agencia de Salud Pública de Barcelona Barcelona. Informe 2017 (es un informe anual) Agencia de Salud Pública de Barcelona Informe de evaluación del efecto del Programa 2018 Gerencia de Derechos Sociales Fundación para la Acreditación y Vínculos en sus usuarios Desarrollo Asistencial (FADA) Informe de evaluación del efecto del Programa 2018 Gerencia de Derechos Sociales EQUAL ITC, S.L. Vínculos en las familias Servicio Municipal de Odontología para personas 2018 Gerencia de Derechos Sociales; Alberto Cañis Pedreny en situación de vulnerabilidad: memoria de Departamento de Salud creación (evaluación ex-ante) Evaluación del impacto de las políticas públicas 2018 Gerencia de Presidencia y Economía Estudi Ramon Folch i Associats, S.L. del Ayuntamiento de Barcelona en términos de economía verde y circular Primer y Segundo informe de seguimiento de la 2016 y Concejalía de Feminismos y LGTBI & Dirección de Transversalidad de estrategia contra la feminización de la pobreza y 2018 Departamento de Transversalidad de Género -CIRD la precariedad (2016-2024) Género Evaluación del programa Baobab (evaluación de la 2019 Fomento de Ciudad SA en colaboración Ivàlua implementación del año 2018) con el Instituto Municipal de Educación de Barcelona (IMEB) 12