Guía operativa de evaluación de la acción comunitaria Edición IGOP-UAB (marzo 2016) Autores Óscar Rebollo Izquierdo Ernesto Morales Morales Sheila González Motos (capítulo instrumento 20) Institut de Govern i Polítiques Públiques (IGOP) — Universitat Autònoma de Barcelona (UAB) Con el apoyo de Àrea de Qualitat de Vida, Igualtat i Esports Ajuntament de Barcelona Revisión Elisenda Vegué y Jaume Blasco Traducción al castellano Montse Pallarés SUMARIO PRESENTACIÓN 6 PARTE I. EVALUAR LA ACCIÓN COMUNITARIA 1. INTRODUCCIÓN 10 1.1. Sobre el hecho de evaluar y sobre la evaluación de la acción pública 10 3 1.2. La acción comunitaria 11 1.3. Perspectivas de evaluación 13 IGOP – UAB Ajuntament de Barcelona 1.4. Evaluación, seguimiento, supervisión e investigación 15 Guía operativa 2. CONSIDERACIONES SOBRE LA EVALUACIÓN de evaluación de la acción comunitaria DE LA ACCIÓN COMUNITARIA 17 2.1. Debemos tomar conciencia de la complejidad de la tarea evaluadora 17 2.2. Necesitamos un marco institucional que dé sentido a la evaluación 20 2.3. ¿Qué evaluamos? 21 2.4. Sobre el proceso y los instrumentos de evaluación 23 3. PRINCIPIOS METODOLÓGICOS DE CARÁCTER GENERAL 24 3.2. Debemos disponer de unos objetivos evaluables 25 3.3. Debemos hacer explícita nuestra “teoría del cambio” 26 3.4. La evaluación no solo analiza información, también debe generarla 27 3.5. Algunos apuntes sobre la evaluación de impactos 28 3.6. Anexo: una lluvia de preguntas 30 PARTE II. MARCO OPERATIVO DE LA EVALUACIÓN (MOE): CONCEPTOS Y DEFINICIONES PARA EL DISEÑO DE LOS INSTRUMENTOS DE EVALUACIÓN 1. INTRODUCCIÓN 34 1.1. Objetos y objetivos de la evaluación 35 1.2. Quién debe evaluar 36 1.3. Evaluar la calidad de las acciones comunitarias 38 1.4. Evaluar los impactos en la población 41 1.5. Evaluar los espacios de trabajo profesional 43 PARTE III. INSTRUMENTOS DE EVALUACIÓN 1. CUESTIONARIOS DE EVALUACIÓN 46 1.1. Para evaluar actividades 46 1.2. Para evaluar la calidad de programas y proyectos 50 1.3. Para evaluar impactos en la población 63 1.4. Para evaluar los espacios profesionales de trabajo 80 2. INSTRUMENTOS Y DINÁMICAS DE AUTOEVALUACIÓN CUALITATIVA O PARTICIPATIVA 92 3. INSTRUMENTOS PARA UNA EVALUACIÓN IMPRESIONISTA 95 4. INSTRUMENTOS PARA LA RECOGIDA Y LA SISTEMATIZACIÓN DE INFORMACIÓN 102 4 5. ANÁLISIS DE REDES 104 IGOP – UAB Anexo: ejemplo de cuestionario de análisis de redes 114 Ajuntament de Barcelona 6. FICHA DE PROGRAMACIÓN DE LAS ACCIONES COMUNITARIAS 117 Guía operativa de evaluación de la acción comunitaria 7. FICHA DE SEGUIMIENTO DE LAS ACCIONES COMUNITARIAS 125 8. ANEXOS 133 ÍNDICE DE LOS INSTRUMENTOS INSTRUMENTO 1. Cuestionario de evaluación de una actividad 46 y la organización INSTRUMENTO 3. Cuestionario de evaluación de los objetivos 54 INSTRUMENTO 4. Cuestionario de evaluación de la participación 58 comunitaria (metodología) INSTRUMENTO 5. Cuestionario de impactos en el individuo 63 INSTRUMENTO 6. Cuestionario de evaluación de los impactos 67 en el grupo INSTRUMENTO 7. Taller de evaluación de impactos 73 en la comunidad-población INSTRUMENTO 8. Cuestionario de evaluación del equipo de un servicio 80 INSTRUMENTO 9. Cuestionario de evaluación de una mesa técnica 84 INSTRUMENTO 10. Cuestionario de evaluación de un equipo comunitario 88 INSTRUMENTO 11. Reunión de evaluación con un grupo o espacio comunitario 92 INSTRUMENTO 12. DAFO 94 INSTRUMENTO 14. La línea del tiempo 97 INSTRUMENTO 15. Termómetro 98 INSTRUMENTO 16. CAP (critico - aplaudo - propongo) 100 INSTRUMENTO 17. Diana de evaluación 101 INSTRUMENTO 18. Modelo de acta 102 INSTRUMENTO 19. Sociograma 104 INSTRUMENTO 20. Análisis de las redes 106 ÍNDICE DE TABLAS Tabla 1. Marco Operativo para la Evaluación de la calidad 39 de la acción comunitaria 5 Tabla 2. Instrumentos para evaluar la calidad de la acción comunitaria 40 IGOP – UAB Tabla 3. Marco Operativo para la Evaluación de los impactos 42 Ajuntament de Barcelona de la acción comunitaria Guía operativa Tabla 4. Instrumentos para evaluar impactos de la acción comunitaria 42 de evaluación de la acción comunitaria Tabla 5. Marco Operativo para la Evaluación de los espacios 44 de trabajo profesional Tabla 6. Instrumentos para evaluar espacios de trabajo profesional 44 ÍNDICE DE LAS FIGURAS Figura 1. Triángulo de la acción comunitaria 12 Figura 2. Marco conceptual de la acción comunitaria 41 PRESENTACIÓN PRESENTACIÓN La edición en lengua castellana de la Guía apuntar algunos aspectos para orientar el operativa de evaluación de la acción comu- criterio de aquellas personas que piensen nitaria (editada originalmente en catalán por en darle uso, y así sabrán lo que pueden el Ajuntament de Barcelona) es el resultado encontrar en sus páginas y lo que no. de un convenio de colaboración entre el Ajuntament de Barcelona y el IGOP (Institut Desde el principio nuestro trabajo ha esta- de Govern i Polítiques Públiques de la Uni- do presidido por tres ideas centrales: sen- versitat Autònoma de Barcelona) . Se trata cillez, practicidad y producción comparti- de una colaboración entre ambas institucio- da de conocimiento. Así, hemos querido nes bastante prolongada y que, en fechas hacer una guía que fuese sencilla y fácil de anteriores, ha dado lugar a otras publicacio- utilizar por parte de profesionales, sin la nes, así como a la realización de múltiples necesidad de que estos tengan un conoci- actividades de formación, asesoramiento, miento especializado en la materia y re- acompañamiento y otras, por parte del nunciando, por tanto, a cualquier tipo de IGOP a los equipos y procesos comunita- rios que se desarrollan en la ciudad. También hemos perseguido desde el pri- 7 Con todo, el interés demostrado por este mer momento que fuese una guía útil para IGOP – UAB trabajo, sobretodo en el ámbito profesio- la práctica de profesionales y activistas, Ajuntament de Barcelona nal catalán, nos ha animado a realizar una huyendo de ejercicios puramente concep- versión en castellano, por si pudiese ser tuales o teóricos a los que cueste ver a Guía operativade evaluación de de interés también en otros ámbitos más primera vista utilidad práctica. Lo que te- la acción comunitaria allá de Cataluña y, claro está, para contri- néis entre manos es una guía para evaluar, buir, ni que sea modestamente, a un con- no una investigación ni un relato académi- junto de conocimientos del que nosotros co. también nos venimos enriqueciendo. En tercer lugar, hay que destacar que, La realización original de la guía de evalua- desde el inicio, la realización de la guía ha ción que ahora presentamos fue posible, contado con las aportaciones, la discusión como hemos dicho, gracias al apoyo del y el contraste de muchos profesionales Ajuntament de Barcelona y gracias, tam- que han contribuido, de manera nada tan- bién, a las oportunidades de aprendizaje e intercambio de conocimientos entre aca- guía que necesitan. A través de grupos démicos, activistas y profesionales de la de discusión, entrevistas, implementacio- acción comunitaria, que la colaboración nes prác ticas, contrastes puntuales de los institucional que hemos apuntado ha veni- instrumentos de evaluación, etc., la guía re- do propiciando. Nos sentimos, por ello, coge las aportaciones de muchos prof e- enormemente agradecidos. sionales comunitarios, trabajadoras socia- les, vecinos y activistas, directivos Finalmente, solo nos queda desear que es te municipales, consultores y académicos. trabajo sea útil en una tarea que se pre senta cada día más necesaria: la de poder evaluar Hemos organizado los contenidos de esta las acciones sociales. La guía nace como guía en tres partes. La parte I recopila al- un instrumento de evaluación de acciones - comunitarias, pero se evidenciará que su utilidad puede extenderse más allá de ese evaluación, junto a ciertos principios me- campo. Os invitamos a todas y a todos a todológicos de carácter general. Aún no que, en su utilización, la adaptéis o “hacke- - éis”, como se dice ahora, a conveniencia. tos de evaluación, pero se recogen toda Entrando ya en la presentación de la guía debatidas en grupos de trabajo, que pen- propiamente dicha, nos parece obligado samos que siempre se deben tener pre- sentes y que a menudo nos orientan en la tarea evaluadora en todo lo que los instru- mentos de evaluación más concretos no siempre pueden resolver. La parte II, que hemos llamado MOE (Mar- co Operativo para la Evaluación), recoge un ejercicio de síntesis de los que deben ser los principales objetos y objetivos de la evaluación de las acciones comunitarias: las dimensiones de la evaluación. El con- junto de las aportaciones hechas en los la enorme cantidad de aspectos suscepti- bles de ser evaluados cuando nos acerca- mos a las acciones comunitarias. El MOE 8 - nar todas estas dimensiones. IGOP – UAB Ajuntament de Barcelona La parte III recoge los instrumentos de Guía operativa evaluación que se derivan del MOE. Un to- de evaluación de tal de 20 instrumentos ordenados según la acción comunitaria objetos y objetivos de evaluación. Algunos de los instrumentos propuestos no son nuevos: ya tienen una validez acreditada. Pero muchos sí lo son (todos los cuestio- narios, por ejemplo) y se han diseñado a partir de las aportaciones realizadas en los grupos y en las sesiones de contraste con profesionales y experiencias, pensando en las experiencias de acción comunitaria de Barcelona. En especial, de la acción co- munitaria que llevan a cabo los equipos de servicios sociales de base y los PDC (Pla- nes de Desarrollo Comunitario). PARTE I EVALUAR LA ACCIÓN COMUNITARIA 1. INTRODUCCIÓN 1.1. Sobre el hecho de evaluar y sobre la evaluación de la ac- ción pública A pesar de que hace ya unos cuantos años se hace difícil ver algo útil en el hecho de que se habla de evaluación de políticas evaluar. públicas, lo cierto es que no hay una gran tradición, ni una cultura de la evaluación, También es recurrente la idea de que la incorporada a nuestras organizaciones y evaluación acostumbra a ser un ejercicio pesado y burocrático que consiste en re- en las organizaciones del tercer sector, en nuestras entidades y asociaciones (con al- mira y que nos ocupa un tiempo precioso gunas excepciones entre las entidades que podríamos dedicar a otros asuntos más grandes) y que son importantes pres- más urgentes o necesarios, como si se hi- tadoras de servicios, podríamos decir que cieran ejercicios de evaluación para “cu- en ellas todavía está menos presente la brir” el expediente. En otros casos, bue- cultura de la evaluación. nas evaluaciones, bien hechas, no han servido para introducir cambios, ya que Así que el primer problema que nos en- han prevalecido otros criterios a la hora de contramos a la hora de plantearnos este tomar decisiones. 10 encargo es que en muchos aspectos se deberá “empezar de cero”. Es decir, hay Pero no podemos olvidar que, cuando se IGOP – UAB Ajuntament de Barcelona que empezar por el hecho de preguntar- trata de acciones públicas, de recursos pú- nos qué es evaluar, qué entendemos por blicos, la evaluación es una obligación. Guía operativa evaluar, qué sentido tiene y para qué que- Hablamos de la obligación de dar explica- de evaluación de remos hacerlo. Todo esto antes de hacer- ciones, de rendir cuentas, y estos son ejer- la acción comunitaria se preguntas sobre “cómo” evaluar. cicios muy próximos a la evaluación. Además, el hecho de evaluar a menudo posee connotaciones negativas y provoca en el punto de partida de nuestro trabajo. resistencias. Ya sea porque pensemos que De hecho, lo primero que hicimos fue com- la evaluación dejará entrever nuestras limi- partirlas en grupos de trabajo. Eso nos taciones y los errores que cometemos, permitió abrir el debate por el principio: porq ue se ve como el momento que usan ¿para qué debemos evaluar? Las respues- - tas a esta pregunta apuntaban desde el lizar lo que hacen los que están abajo, o inicio a una triple dirección: (1) Debemos porque se ve simplemente como un ejerci- evaluar para rendir cuentas de lo que ha- cio legitimador de la supresión de progra- cemos, ya que trabajamos en lo público mas y subvenciones. La evaluación casi con recursos públicos. (2) Debemos eva- nunca se vive bien, en positivo, como una luar para poder tomar decisiones en la oportunidad para el aprendizaje, el cambio reorientación de las prácticas, de los pro- y la mejora. gramas, de las prioridades, todavía más en tiempos de fuertes limitaciones presu- Seguramente, una parte de esta “mala puestarias que, seguramente, obligarán a fama” está bien merecida, ya que su sen- priorizar partidas e intervenciones: así que también necesitamos la evaluación para manera de hacerla útil reincorporando a los procesos de trabajo los cambios que que hacemos y sus rendimientos. Final- se puedan derivar de sus resultados. Mu- mente, (3) debemos evaluar para aprender chas veces se han usado instrumentos y y poder mejorar nuestras formas y estrate- metodologías difíciles de entender y de gias de trabajo. incorporar a la tarea cotidiana de las orga- nizaciones o de los procesos comunita- rios. Además, muchos ejercicios de eva- luación aportan poco rendimiento en comparación a su coste, razón por la cual 1.2. La acción comunitaria Como esta es una guía para evaluar la ac- bozar mínimamente, y que más adelante, ción comunitaria es necesario que haga- en la parte II de esta guía, cuando hable- mos en estas páginas iniciales una mínima mos del Marco Operativo para la Evalua- referencia a “nuestra” manera de entender ción (MOE), volveremos a formular de for- esta perspectiva de intervención social. La ma más esquemática. intención de este documento no es entrar en debates teóricos y conceptuales sobre De manera intuitiva, la acción comunitaria la acción comunitaria, pero es muy cierto nos habla de gente que se organiza para que no todo el mundo la entiende de la hacer cosas conjuntamente (trabajar co- misma forma y, por lo tanto, es necesaria lectivamente objetivos colectivos). Lo pri- una delimitación conceptual mínima. mero que tenemos que dejar claro es que no se trata de un tipo de intervención pro- Hace ya tiempo que en Barcelona se vie- pia de un determinado ámbito de interven- nen desarrollando acciones comunitarias. ción social, ni de unos profesionales espe- En muchos casos, con el apoyo de las ad- ministraciones públicas, cuando no están en un barrio, en una escuela o en un hos- impulsadas por los equipos de profesiona- pital, la pueden hacer maestros y educa- 11 les de los servicios públicos, como puede dores, profesionales de la salud, de los IGOP – UAB ser el caso de los servicios sociales muni- servicios sociales, de la animación socio- Ajuntament de Barcelona cipales. Todas estás prácticas han acumu- cultural o de cualquier otro campo en el lado unas formas de hacer, tradiciones y que se tenga la voluntad de trabajar colec- Guía operativade evaluación de culturas profesionales, a veces plasmadas tivamente objetivos colectivos. A modo de la acción comunitaria en documentos de orden muy diverso1 y, ejemplo, podríamos señalar la importante si no, formando parte del bagaje profesio- tradición comunitaria que hay en el ámbito nal y de los equipos técnicos. Se trata de de la salud o en el de la cooperación al la perspectiva de la acción comunitaria desarrollo. Últimamente se habla de eco- que compartimos, de forma más o menos nomías comunitarias o de gestión comuni- explícita, la gran mayoría de las personas taria de equipamientos de proximidad, por que hemos formado parte de los grupos ejemplo. de trabajo y discusión que han dado ori- gen a esta guía. Por eso, antes hablába- Cuando hablamos de acción comunitaria mos de “nuestra” manera de entender la siempre hablamos de maneras de partici- acción comunitaria. Hay que decir, no pación, pero una participación que involu- obstante, que no pretendemos que todas cra a profesionales y servicios públicos las prácticas comunitarias construidas en que pueden ser diversos. En un sentido Barcelona con el apoyo municipal sigan amplio, se podría pensar en acciones co- siempre y de manera exacta la misma munitarias desarrolladas de manera autó- perspectiva de intervención, ni que, a pe- noma, independientes de la acción de las sar de compartirla, las prácticas siempre instituciones públicas. Pero las acciones sean coherentes con esta perspectiva (a comunitarias en las que piensa esta guía veces, las declaraciones apuntan en una se caracterizan por el hecho de tener la dirección y las prácticas en otra; eso le presencia y el apoyo de las instituciones pasa a todo el mundo en muchos ámbitos públicas a través de la acción que llevan a de la vida). De ahí, la necesidad de esta cabo los diferentes servicios y profesiona- guía de evaluación: para ofrecer instru- les involucrados. Pensamos, entonces, en mentos que permitan saber hasta que equipos o profesionales de los servicios punto las prácticas que se están desarro- públicos que participan o promueven pro- llando responden a este planteamiento yectos comunitarios, y no en la acción co- común, en relación con la acción comuni- munitaria entendida exclusivamente como taria, que a continuación intentaremos es- “acción vecinal”: este sería uno de los pri- meros elementos de caracterización de la 1. Ver el anexo sobre documentación municipal en acción comunitaria tal como se ha enten- relación con la acción comunitaria. dido y practicado en Barcelona: organiza- sabilidad en torno a la intervención ción y participación vecinal, y trabajo con- pública. junto entre vecindad y servicios públicos a través de la implicación de las administra- b) C onstrucción de ciudadanía, el forta- ciones públicas, especialmente de la ad- lecimiento ciudadano (empowerment): ministración local (Ayuntamiento). como proceso de responsabilización individual y colectivo. También podría- Así, la acción comunitaria muestra una do- mos hablar aquí de creación de perte- ble cara: la que tiene que ver con la mejora nencia, capital social, de vínculos, de de ciertas condiciones de vida de la gente (problemas colectivos, mejora del barrio) y la que tiene que ver con los procesos de c) L as transformaciones en las condiciones fortalecimiento ciudadano, que serán ne- de vida y la creación de nuevas oportu- cesarios para que la gente pueda ser pro- nidades para afrontar carencias y ne- tagonista, y que tienen que ver con las for- cesidades de la población, mediante la mas de organización colectiva y de construcción de espacios de convi- 12 participación vecinales, y con las estrate- vencia. gias y las formas de relación entre las per- IGOP – UAB Ajuntament de Barcelona sonas, las entidades y los servicios públi- d) La inclusión social en el sentido de una cos. clara intencionalidad de no dejar a nadie Guía operativa fuera, de contar con todos y trabajar de evaluación de Así, entonces, en un sentido muy amplio o para todos, y no solo para la mejora de la acción comunitaria general, podríamos enumerar los objetivos las condiciones de vida de unas cuantas siguientes (en parte metodológicos y en personas. Incorporando en los proce- parte sustantivos) para la acción comuni- sos a los colectivos más vulnerables. taria: Este sería nuestro marco común para toda a) para acción comunitaria, pero sin olvidar que la mejora de las políticas públicas y de los objetivos evaluables en cada acción los servicios públicos a través de la im- comunitaria particular (los objetivos espe- plicación y de la cooperación de la ciu- dadanía, del trabajo coordinado entre más precisos y deberán responder a diag- profesionales y servicios, y de un clima nósticos concretos y a aspiraciones espe- de consenso, proactividad y correspon- Figura 1. Triángulo de la acción comunitaria en Barcelona Fortalecimiento ciudadano (empowerment) Trabajar colectivamente objetivos colectivos Mejora de las Procesos condicio nes de vida de inclusión Fuente: Morales Morales, Ernesto y Rebollo Izquierdo, Óscar (2014). 1.3. Perspectivas de evaluación En relación a la evaluación de proyectos proceso y de los resultados de la evalua- sociales y de políticas públicas hay div er- ción por parte de la población, sin dejarlo sas perspectivas de trabajo, planteamien- todo solamente en manos de los técnicos tos teóricos y metodológicos que apuntan o de los responsables políticos que lo en- formas de entender qué es eva luar y cómo cargan. Pero, tal como acabamos de decir, debe hacerse, que también pueden ser las tres perspectivas metodológicas pue- diversas. Un repaso a la literatura espe- den ser absolutamente complementarias cializada nos permitiría diferenciar entre y, de hecho, los mejores usos de las meto- eva luaciones más convencionales o tecno- dologías participativas incorporan siempre cráticas y evaluaciones participativas, en- instrumentos de análisis cuantitativos y tre evaluaciones cualitativas y cuantitati- cua litativos. Del mismo modo, se hace di- vas de procesos o de impactos. También fícil pensar en una evaluación cualitativa podríamos diferenciar entre evaluar para que no parta de un cierto dimensiona- aprender, para tomar decisiones o para miento —cuantitativo— de la realidad que fortalecer a la población, o entre evalua- quiere valorarse. ciones como estrategias de trabajo inter- nas a los equipos técnicos y promotores, o 13 como ejercicios exteriorizados que, su- luación (evaluar, ¿para qué?), podríamos IGOP – UAB puestamente, tendrán que aportar puntos decir que existen dos tipos de evaluación Ajuntament de Barcelona de vista más objetivos. Pero no siempre que, claramente, son también más com- tenemos que leer esta diversidad como plementarios que alternativos: evaluar la Guía operativade evaluación de discrepancia. A menudo se trata de pers- - la acción comunitaria pectivas y métodos absolutamente com- luar para descubrir si conseguimos los re- plementarios. Evaluar procesos no se con- sultados que nos habíamos propuesto y tradice con evaluar impactos, y tampoco - son contrapuestos (y sí complementarios) cionamiento); evaluamos para saber si los análisis cuantitativos, los cualitativos y hacemos las cosas tal como nos las ha- los participativos. bíamos propuesto. En el primer caso (im- pactos), evaluamos los efectos derivados de nuestras acciones, y en el segundo tica, de las perspectivas de evaluación caso (funcionamiento) evaluamos el pro- teniendo en cuenta los métodos que se ceso: las formas de trabajar que tenemos. uti lizan nos permitiría diferenciar entre me- A veces se usa la distinción entre una eva- todologías cuantitativas, cualitativas y par- ticipativas. Dicho de una manera muy resu- impactos) y otra intermedia (la del funcio- mida, y tal vez también demasiado simple, namiento del proceso). las metodologías cuantitativas son aque- llas que basan sus análisis en la re co pi- lación y el tratamiento estadístico de da- tos, las metodologías cualitativas son las que recogen y analizan opiniones, y las metodologías participativas son las que - pretenden dar un paso más y conseguir la termedia activación de los protagonistas en la ac- ción evaluada: promover acciones en los Nos preguntamos si es posible plantear sujetos y no solo entender sus opiniones. una tercera visión o perspectiva sobre la Se debe decir que, en cierto modo, las evaluación: evaluar la inteligencia, que metodologías participativas incluyen el pone énfasis en la capacidad de apren- ins trumental del análisis cualitativo, pero dizaje y de cambio de las organizaciones le suman procedimientos que tienen una [Como dice el proverbio: aprender es cam- funcionalidad más política y que tienen biar]. Debemos preguntarnos, en este que ver con el control y la apropiación del caso, cómo se dan los procesos de cam- bio dentro de las organizaciones o de los ción por la vía de un supuesto conoci- grupos promotores de la acción comuni- miento objetivo, o mediante el diálogo y el - consenso? ¿Cuáles son los problemas tos procesos y evaluarlos. Para empezar, que debemos abordar?, ¿los que pueda podríamos decir que una organización in- - teligente es aquella que hace un uso estra- cida un directivo público o los que ha con- tégico de la evaluación e incorpora los re- sensuado una “comunidad”? También tie- sultados a los procesos de trabajo. ne todo el sentido preguntarse sobre los También podríamos decir que una orga- objetivos estratégicos de esta elaboración nización inteligente es aquella que sabe participada de diagnósticos sociales. escuchar y relacionarse con el “mundo Concretamente, sobre si estos deben limi- exterior”, etc. tarse a ampliar el conocimiento que tene- mos de una determinada realidad o entor- Finalmente, tenemos que plantearnos no social, o si hace falta que vayan más también la necesidad de evaluar necesi- - dades, de hacer diagnósticos, y hemos jetivos de conocimiento— incorporando 14 visto que esta visión de la evaluación de una manera especial objetivos más - centrados en la dinamización, en la activa- IGOP – UAB Ajuntament de Barcelona dades, y también de oportunidades, debi- ción de procesos relacionales que hagan lidades, fortalezas o amenazas en torno a de los participantes en la evaluación no Guía operativa un proyecto comunitario no se puede en- solo “opinadores” o “evaluadores” sino de evaluación de tender como un proceso tecnocrático y sí también “actores”: protagonistas activos la acción comunitaria como un proceso participado, en el que de los procesos comunitarios de cambio y tengan cabida diversos agentes: afecta- mejora de su situación. dos y protagonistas de los procesos de mejora de la realidad en la cual se quiere intervenir, profesionales de los servicios públicos, expertos, ciudadanía..., que de- berían aportar sus visiones, opiniones y valoraciones para construir la evaluación. Hay que apuntar también, en relación a los diagnósticos, la importancia que tienen confrontar los resultados de nuestras ac- ciones con la situación tal y como era en el momento de empezar a actuar, y el hecho de saber cuál es el punto de partida resul- ta fundamental para poder evaluar los cambios que se han producido. La evaluación de necesidades nos condu- ce hacia la construcción de “problemas sociales” que, inmediatamente, se con- vierten en dianas o en objetos de la acción pública: “hemos hecho un diagnóstico y estos son los problemas a los cuales tene- mos que enfrentarnos.” Bien, ante este tipo de ejercicio de evaluación surgen al- gunas preguntas que no podemos obviar: cuando hablamos de problemas, de nece- - 1.4. Evaluación, seguimiento, supervisión e investigación En las sesiones de trabajo en los grupos metodológicas a las necesidades de co- se ha dado una gran coincidencia entre nocimiento de cada momento. Así, enton- muchos de los participantes al detectar la ces, diferenciaremos entre el seguimiento, necesidad de los profesionales que traba- la supervisión y la investigación de la eva- jan en el día a día de las acciones comuni- luación. tarias de disponer de espacios para poder contrastar sus prácticas y mejorar su fun- Así, hablaremos de seguimiento cuando cionamiento, cambiar lo que se deba cam- lo que nos interesa destacar es la necesi- biar y reforzar lo que funciona. Pero tam- dad de disponer de espacios de contraste bién hemos podido ver que esta necesidad que tengan una intencionalidad política, no siempre se expresa en los mismos tér- cosa que da a estos espacios cierto tipo minos. A veces se hace referencia a la ne- cesidad de ir contrastando con alguien el Podríamos pensar, por ejemplo, en una día a día, o determinadas situaciones con- comisión de seguimiento de un plan co- cretas que nos conducen a callejones sin munitario. salida, a no saber qué hacer en un mo- mento puntual. Otras veces la necesidad Los espacios de seguimiento de una ac- 15 - ción comunitaria se orientan a validar y le- IGOP – UAB - gitimar las prácticas que se desarrollan, Ajuntament de Barcelona tervenciones (¿trabajamos como debe- contrastándolas con personas que poseen mos trabajar?, ¿estamos consiguiendo una relevancia política para el proceso co- Guía operativade evaluación de resultados?) con una visión más global. munitario y no son las promotoras direc- la acción comunitaria Ciertamente, la necesidad de evaluación tas. El objetivo principal de los espacios tiene que ver con todo eso, pero nos pre- de seguimiento suele ser validar las estra- guntamos si debemos encontrar la res- tegias que se siguen, consensuar posibles puesta a todas estas necesidades de co- reorientaciones y gestionar posibles con- nocimiento en metodologías, instrumentos - y espacios de evaluación o si, por el con- trario, hay que diferenciar la evaluación de y representatividad de los participantes. otras formas de contraste de nuestras Cuando hacemos seguimiento también prácticas e intervenciones. estamos haciendo evaluación, ya que emi- timos un juicio de valor, pero los espacios En parte, en las sesiones de trabajo en los de seguimiento pueden hacer más cosas, grupos ha surgido la idea de que es impo- además de evaluar. sible no evaluar, que siempre evaluamos en la medida en que pensamos o emitimos La supervisión es el campo de trabajo juicios de valor sobre lo que hacemos no- asentado en las prácticas profesionales de sotros o lo que hacen los otros y, por lo intervención social y, normalmente, hace tanto, y estirando un poco el argumento, referencia al papel que desarrolla una per- - sona que posee los conocimientos y las traste de la práctica es evaluación, y no habilidades necesarias para saber escu- son necesarias más diferenciaciones. Pe- char y para hacer pensar a los profesiones ro, a pesar de esta apreciación, sí que nos que se encuentran en el día a día de la ac- ha parecido interesante diferenciar la eva- ción. Hacer supervisión también es hacer luación de otras posibles estrategias de contraste que pensamos que pueden ayu- más enfocadas al análisis de los procesos dar. No se trata de hacer disquisiciones y las formas de trabajo de los equipos pro- conceptuales o terminológicas (cuanto fesionales, y se hace más difícil pensar en más, mejor) ya que este no es nuestro ob- unos instrumentos de supervisión inde- jetivo, pero tal vez vale la pena hacer algu- pendientes de la persona que los utiliza, na para facilitar la construcción de deman- cosa que quiere decir que la atención no das y el diseño de posibles respuestas se pone en el hecho de que la supervisión ofrezca unos resultados objetivos y, sí, en cambio, en el hecho de que el profesional que supervisa sea capaz de hacer un buen acompañamiento a los equipos. Algunas de la intervenciones que se han hecho en los grupos de trabajo han queri- do destacar expresamente el papel crucial - jetivo fundamental de la investigación es llegar a un conocimiento profundo y siste- mático del funcionamiento de los proce- sos y de los impactos de las acciones co- munitarias en general. Disponer de una buena base de conocimiento, a partir de investigaciones continuadas, puede mos- 16 trarnos efectos o impactos de la acción comunitaria que sería difícil que aparecie- IGOP – UAB Ajuntament de Barcelona ran como resultado de la evaluación de un proyecto concreto. Llegar a la conclusión, Guía operativa por ejemplo, de que en los barrios en los de evaluación de que se ha desarrollado una acción comu- la acción comunitaria nitaria de calidad, con implicación de los servicios sociales y los centros educati- vos, esta ha tenido efectos positivos en la convivencia en el espacio público, o en la mejora del rendimiento escolar, es más el resultado de una investigación fundamen- tada en análisis transversales y longitudi- nales de diversas experiencias en diversos contextos sociales, que no el fruto de la evaluación de un proyecto concreto du- rante un tiempo limitado. Hacer este tipo de investigación también es, en efecto, evaluar la acción comunitaria. 2. CONSIDERACIONES SOBRE LA EVALUACIÓN DE LA ACCIÓN COMUNITARIA 2.1 Debemos tomar conciencia de la complejidad de la tarea evaluadora Como ya se ha dicho en la presentación, el 2.1.1. Aportaciones principales hechas contenido de esta guía es fruto de las en los grupos de trabajo aportaciones de muchas personas que, a través de diferentes roles y responsabili- La evaluación se considera una tarea ab- dades, participan en el desarrollo de la ac- solutamente necesaria, pero a la vez se ve ción comunitaria en Barcelona. En este como algo sumamente complejo. La gran apartado, queremos recoger las aporta- ciones principales hechas en los grupos evaluadora no tiene que ver únicamente de trabajo por todas aquellas personas con su dimensión más técnica o metodo- que son las que han marcado el camino a lógica. Otras muchas dimensiones se po- recorrer en el desarrollo de la guía de eva- nen en escena en el momento de pensar la luación, al señalar las necesidades, de- complejidad de la evaluación. Esta com- mandas, preguntas, retos, etc., vinculados plejidad se atribuye principalmente a los a la tarea evaluadora. siguientes aspectos: Evidentemente, no podemos recogerlo - En las diferentes visiones, intereses, todo: no están todas las intervenciones, encargos, voluntades y capacidades del 17 abanico de actores implicados: IGOP – UAB para la tarea que nos hemos propuesto lle- Ajuntament de Barcelona var a cabo. Muchas ideas son comparti- …Los PDC plantean cambios, transforma- das por más de una persona. Hemos in- ciones —como la mejora del éxito esco- Guía operativade evaluación de tentado recopilarlo todo en unos cuantos lar—, pero existe una previa, que es saber la acción comunitaria apartados con las aportaciones agrupa- qué motivación tienen los agentes del te- das por categorías o ideas fuerza sobre la rritorio invitados a participar para cambiar evaluación: esta realidad. Y sin eso se puede participar en un proceso comunitario por ganas de 1. Debemos tomar conciencia de la com- participar, pero la motivación inicial no es plejidad de la tarea evaluadora la misma que la que tiene un servicio públi- co, por ejemplo. 2. N ecesitamos un marco institucional que dé sentido a la evaluación. …Hay una disociación entre la reivindica- ción y la colaboración y eso hace difícil 3. ¿ Qué evaluamos? evaluar. También puede existir la percep- ción de que hay cosas que deberían hacer 4. S obre el proceso y los instrumentos de las administraciones y no las acciones co- evaluación. munitarias. Para presentar esta información, una vez …Me interesa del grupo cómo podemos agrupada en las ideas fuerza anteriores, construir una información compartida primero recogeremos las aportaciones entre los agentes que sacamos adelante principales hechas en los grupos de traba- un plan comunitario y poder hablar más allá de los intereses: del lado más admi- apartado, haremos una síntesis o conclu- nistrativo a veces hay intereses políticos sión en relación con la idea fuerza que las aglutina. no se sostiene y del lado de las entidades impacto sea -3. …No tenemos tiempo ni encargo para eva- luar. Somos un colectivo de acción, y no de evaluación. …Creo que una evaluación de un proyecto cimiento (empowerment), ¿qué entende- no es la suma de las partes, que cada parte mos por fortalecimiento? ¿Qué dimensio- debe hacer la evaluación de qué le repre- nes tiene? Si tenemos que evaluar la transformación o la coordinación... una evaluación conjunta que trascienda la suma de cada una, tiene que ser otra cosa diferente. Me interesan las dos. - En las diferentes “escalas” o “niveles” por los que transitan los procesos comu- nitarios y los cambios que se buscan: - A falta de unos objetivos claros, espe- …¿Evaluamos una acción concreta, un AC: programa, un PDC, la política pública y de los PDC, los actores y sus actitudes y es- …No puede ser que todos los PDC tengan trategias...? ¿Observamos los cambios a los mismos objetivos, las realidades del te- escala individual, grupal, de participantes, rritorio son diferentes... de barrio...? 18 …Trabajamos con objetivos demasiado - IGOP – UAB Ajuntament de Barcelona generales o imposibles de alcanzar a corto ca aquello para mi servicio, pero también plazo. qué es lo que representa para cada una de Guía operativa las partes que conforman aquel proyecto. de evaluación de la acción comunitaria bien sus objetivos sabe evaluarlos. …De la misma manera, lo que es impor- tante no es la evaluación de cada proyecto y no tenemos que evaluar todos los niveles – En las rigideces de los procesos buro- de la acción comunitaria (individual, gru- cráticos en las administraciones públicas: pos, barrio), ya que los indicadores tal vez son diferentes... Debemos poder objetivar. …La visión burocrática de la Administra- ción va en nuestra contra, deberíamos ser …Los efectos positivos de un programa se capaces de recopilar toda esta parte más ven en otro programa porque el anterior cualitativa, estas percepciones más indivi- nos facilita relaciones. duales, aquellas cosas que no están en la memoria, pero que puedes percibir cuan- …Debemos distinguir tres niveles: evaluar do visitas las experiencias. un plan después de x años; evaluaciones anuales o de curso y la evaluación cotidia- …De la misma manera que hacemos un na (del día a día y en el día a día). “rel ato” del diagnóstico, necesitamos tam- bièn un “rel ato” de la evaluación. - En las expectativas de una evaluación - En la necesidad de disponer de con- eso implica: ceptos claros y compartidos, que signi- …Yo me lo planteo para conseguir aquella información contrastada, útil y objetiva que …Necesitamos un esquema o esqueleto lo permita a quien debe tomar la decisión te- ner más elementos objetivables... …Hacer una buena conceptualización de - En la necesidad de más conocimiento elementos clave también nos ayudaría a en torno de la AC para que la evalua- evaluar. Si tenemos que evaluar el fortale- …Necesitamos investigación sobre la AC y sobre la acción de los servicios sociales. de decirlo sería que, cuando evaluamos, muchas veces estamos comparando, al …Tenemos necesidad de evaluación y, menos en parte, “lo que realmente pasa” también, de investigación: no todo saldrá con “lo que querríamos que pase”, y no de la evaluación. siempre es fácil ponerse de acuerdo sobre alguna de las dos cuestiones. Ponerse de 2.1.2. Conclusiones realmente pasa” puede llegar a ser posible, aunque la experiencia nos demuestra que La acción comunitaria nos remite a una plu- no siempre es fácil y, a veces, puede resul- ralidad de actores que colaboran pero que tar casi imposible (donde unos ven autono- también pueden atravesar momentos de mía, otros ven alboroto; lo que para unos es - actividad cultural para otros es ruido o pro- versos actores que participan pueden te- paganda...), pero la segunda cuestión “qué ner, en ciertos aspectos, posiciones o inte- debería pasar” depende claramente de reses contrapuestos. En un mismo proyecto principios éticos, ideológicos o políticos 19 o acción comunitaria, en un plan comuni- que no tienen porque compartirse y que IGOP – UAB tario, etc., siempre se dan momentos de proyectan una determinada intencionalidad Ajuntament de Barcelona en la acción que tiene que desarrollarse. los diferentes actores que intervienen, o un Guía operativade evaluación de tipo de relación en la cual es posible discer- Por lo tanto, en el momento de plantear un la acción comunitaria - proceso de evaluación en acciones comu- ción) en proporciones diversas. Así que nitarias, hay que diferenciar entre: también nos podemos encontrar con una - a) Discernir sobre qué objeto se quiere eva- tereses en torno a la evaluación. Eso nos luar, el éxito o impacto de un programa, hace pensar que seguramente la evalua- cuestión principalmente de tipo político. - co” y “objetivo” como a veces pensamos y b) Inferir causalidad entre la acción comu- puede ocurrir fácilmente que lo que para nitaria y la variación del objetivo de unos es un éxito para otros sea un fracaso, esta, siento este un reto metodológico. algo no relevante o, incluso, una amenaza. Es importante entender las dos cuestiones Pero la acción comunitaria, a pesar de asu- para no confundirlas. visiones contrapuestas entre los diferentes participantes (técnicos y profesionales, aso- de entrada a toda pretensión de mínima ob- ciaciones, grupos y personas no asociad as, jetividad. Más bien lo que nos dice es que administraciones, expertos, etc.) basa bue- tenemos que ser conscientes de los lími- na parte de su planteamiento metodológico tes y cuidadosos con los métodos para con- en la necesidad de construir espacios de seguir esta objetividad. Hay aspectos que consenso y acuerdos que permitan un tra- pueden ayudarnos. Para empezar, promo- bajo de colaboración entre gente diversa en ver eval uaciones participadas y plur a listas: - que recojan el máximo de visiones, intereses ca que también será necesario construir un y opiniones. También, construir vocabu- cierto acuerdo sobre los objetivos y los mé- larios, marcos conceptuales y operativos, todos de evaluación. hacer un esfuerzo para aclarar previamente Podríamos decir que evaluar, emitir juicios los objetivos que perseguimos, dotarnos de valor sobre una situación o acción es también una actividad “política” y no sola- otros que veremos más adelante. 2.2. Necesitamos un marco institucional que dé sentido a la evaluación A pesar de considerar la evaluación casi 2.2.2. Conclusión como una necesidad urgente, no es me- nos cierto que se trata de una tarea que Las razones pueden ser diversas pero lo siempre genera inquietudes y suspicacias: cierto es que la evaluación no es una acti- ¿sirve para algo?, ¿se usa para retirar fon- vidad incorporada naturalmente a nuestra cotidianidad y eso hace que, a menudo, se para “castigar” a unos profesionales y viva como algo extraordinario, farragoso y “premiar” a otros? Es necesario aclarar de sin demasiado sentido. A veces, incluso, antemano los objetivos de la evaluación. como una amenaza directa a nuestro tra- bajo o a nuestra posición en la organiza- No pocas intervenciones han remarcado la ción en la que trabajamos. Se hace porque importancia de disponer de un “marco” tiene que hacerse, eso de evaluar, pero (normativo, institucional, político...) que todavía con poco convencimiento y mu- deje bien claro el porqué de la evaluación. cha cautela. Vamos a ver diversas intervenciones de los participantes en los grupos. Si nos queremos tomar seriamente la tarea 20 de evaluar lo primero que tenemos que hacer es dotarla de sentido. Otra manera IGOP – UAB Ajuntament de Barcelona 2.2.1. Aportaciones hechas de decirlo es que necesitamos disponer en los grupos de trabajo de una o más respuestas claras a la cues- Guía operativa tión de “por qué evaluamos”. Es eso lo de evaluación de - Necesitamos situar la tarea evaluado- que dará sentido a la tarea evaluadora: las la acción comunitaria ra dentro de un “marco” o un “acuerdo razones por la cual la llevamos a cabo. institucional” que explicite el porqué de la evaluación y contribuya a generar Cuando decimos que la evaluación necesi- ta un marco institucional claro nos referi- mos al hecho de que dentro de nuestras …para que la evaluación sea compartida y organizaciones, ya sea una entidad vecinal, objetiva, lo importante es que genere un una empresa de prestación de servicios - o una administración pública, se puedan dos los agentes. saber con claridad las razones por las cua- les queremos evaluar y, por lo tanto, qué …muchas veces empezamos a trabajar haremos con los resultados de la evalua- ción. Nos resulta difícil imaginar una buena - evaluación sin que este “paso previo” que- chos PDC se han puesto con calzador, no una evaluación bien “enmarcada” será del problema... Si es así, es mucho más fá- aquella que, más allá de desplegar unas u cil evaluar. otras metodologías, transmita desde el ini- - …existen resistencias vinculadas a quien nalidad y, por lo tanto, cuál es su sentido. las impulsa, y a la transparencia en relación con las consecuencias de la evaluación. Este marco facilitará el proceso de evalua- ción desde muchos puntos de vista. Des- …la evaluación tiene que ser capaz de re- de saber qué papel deben tener los dife- coger las diferentes visiones. rentes actores hasta escoger entre unos u otros métodos o instrumentos. …es importante acotar la temporalidad: evaluar un periodo de tiempo. Un plan Las metodologías de evaluación son di- versas, como los instrumentos que pue- es así, debe poder evaluarse un periodo den usarse en el momento de evaluar. concreto de tiempo. Pero no es el método lo que tiene que dar 2.3. ¿Qué evaluamos? sentido a la evaluación. Más bien es todo Muchas intervenciones en los grupos han lo contrario: es el sentido institucional de planteado que el objeto de la evaluación, el qué de la evaluación, puede llegar a ser muy hacer elegir entre unos métodos u otros. Escoger entre los diversos métodos o ins- “Si tenemos claro qué es lo que debemos trumentos de evaluación puede responder evaluar, tenemos la mitad del trabajo he- a consideraciones diferentes (disponibili- cho”, es lo que vienen a decirnos muchas dad de recursos y de tiempo, tipos de ac- de las intervenciones. Tanto por el número ciones que deben evaluarse, etc.) una de de las intervenciones como por los debates suscitados, podríamos decir que este ha sido el gran tema y esta es, entonces, la gran pregunta: “¿Qué evaluamos?” Aquí surgen muchos aspectos, desde los objeti- vos del proyecto hasta el fortalecimiento individual (empowerment), pasando por el alma de los proyectos. Vale la pena leer al- gunas de las intervenciones para hacerse 21 una mejor idea de lo que estamos diciendo. IGOP – UAB Ajuntament de Barcelona 2.3.1. Aportaciones principales hechas Guía operativade evaluación de en los grupos de trabajo la acción comunitaria - La cuestión de “qué evaluamos” apa- rece como uno de los retos operativos más importantes: que después querremos evaluar. qué evaluamos. …para mí, lo difícil es extraer qué es lo que tenemos que evaluar, y que no pasa por lo cuantitativo, sino que pasa por el hecho de medir otros aspectos que son importantes y que garantizan el éxito del proyecto (¡los intangibles!). …la evaluación tendría que permitir saber si aquel proyecto tiene o no tiene alma, una sensación que sabemos que existe y - tos que “huelen a podrido”). …Los objetivos que nos marcamos, algu- nos son muy macro y otros son muy micro. …Se hablaba por ejemplo de mejora de las relaciones... ¿Eso lo podremos traducir a números? …pero los procesos comunitarios […]. Yo considerarse contradictorios o excluyentes tengo muchas cosas que no sé si puedo entre sí. Debemos poder evaluarlo todo, evaluar porque tienen que ver con la rela- aunque evaluarlo todo sea imposible. Di- ción con la gente, el contacto personal... cho de otra manera: no tenemos por qué Hay muchas cosas que hacen que un pro- renunciar a la evaluación de ningún aspec- yecto salga adelante... to o dimensión relacionada con la acción comunitaria, pero, del mismo modo, no se …deben marcarse como una prioridad los puede pensar en la evaluación de una ac- objetivos generales del proceso, la creación ción comunitaria que lo tenga todo en de redes, el fortalecimiento (empowerment) cuenta. de las personas (si han asumido responsa- bilidades), si estamos avanzando hacia la También está claro que las demandas en autogestión de los proyectos y los grupos. relación a la evaluación se construyen desde los diferentes roles profesionales, …lo que debemos evaluar es el cambio. vecinales e institucionales que la prota- gonizan. Así, lo que un profesional de un 22 …debemos evaluar los vínculos. equipo de servicios sociales espera de la evaluación, por ejemplo, puede perfecta- IGOP – UAB Ajuntament de Barcelona …debemos evaluar procesos (no produc- mente no coincidir con lo que necesitan tos) en su contexto. los responsables políticos de la institución Guía operativa para la que trabaja o lo que querría un co- de evaluación de …debemos evaluar la capacidad proyecti- lectivo organizado de ciudadanos y ciuda- la acción comunitaria va: capacidad de estar generando nuevos danas. De hecho, hemos podido ver en los proyectos y nuevas acciones. debates en los grupos que la diversidad de expectativas de los participantes ante …debemos evaluar el impacto, debemos la evaluación que se ha presentado pro- dar respuesta a la pregunta: “¿Esto para venía precisamente de sus diversas nece- qué sirve?” sidades de objetos y objetivos de eva- luación. 2.3.2. Conclusión La conclusión en relación con el gran tema de cuáles deben ser los objetos de la evaluación (qué debemos evaluar) es bastante sencilla, pero muy contundente. En primer lugar, es necesario tener claro qué queremos evaluar, y este es un ejerci- cio que exige dimensionar la acción co- munitaria para poder ver los diversos as- pectos que comprende y la multitud de elementos en los cuales puede llegar a - te, son muchas las “cosas” susceptibles de ser evaluadas. Así, uno de los retos principales de la tarea evaluadora consis- tirá en poner orden en el Qué (ver más adelante la parte II de esta guía: El Marco Operativo para la Evaluación). Las diversas dimensiones, los diferentes aspectos que pueden evaluarse, no deben 2.4. Sobre el proceso y los instrumentos de evaluación Los aspectos más puramente metodoló- …Debemos incorporar elementos lúdicos, gicos no han sido los más presentes en la gente tiene que pasárselo bien evaluan- los debates en los grupos, pero se han do. dicho algunas cosas que no hay que per- der de vista. En especial, la necesidad de …Para que sea útil para mí, debe permitir ser innovadores y creativos en relación a poder contrastar estas valoraciones que ha- las técnicas y los instrumentos de eva- cemos los técnicos en el día a día, que luación, la importancia de combinar las son valoraciones individuales o en equipo, perspectivas cuantitativa, cualitativa y poder contrastarlas con el resto de per- participativa, la importancia de combinar, cepciones de los agentes que participan... también, evaluación interna con evalua- y también con una visión externa, que a ciones externas, y la necesidad de una veces es la que te dice esto es lo que yo - veo desde fuera que estáis pasando por cas respecto a los sistemas de segui- alto, o que no está funcionando, como una miento y registro (memorias) que se utili- especie de asesoramiento... Creo que esta zan, y que deberían ser más compartidos herramienta y poder contrastar los que es- y estables. tamos en el día a día con alguien de fuera, 23 con un visión externa. IGOP – UAB Ajuntament de Barcelona 2.4.1. Aportaciones principales hechas …La evaluación tiene sentido dentro de un en grupos de trabajo proyecto. No podemos hablar de un único Guía operativade evaluación de instrumento de evaluación descontextuali- la acción comunitaria - Necesitamos estrategias e instrumen- zado de un proyecto concreto. tos de evaluación que sean útiles y sen- cillos, ágiles y creativos: …Hay que diseñar un modelo de acta de reuniones que facilite el trabajo a la hora …Memorias, las administraciones hace- de evaluar. mos dos (Ayuntamiento y Generalitat), y las cargamos a una sola persona, y donde se - puede sacar más es cuando esto se hace den detectar si no es con una evaluación en grupos, como en el grupo comunitario externa. ... Esto da más ítems que la memoria. …La cantidad de datos que pedimos, des- 2.4.2. Conclusión de organismos diferentes, sometidos a la presión de las memorias, de mil formatos y La conclusión principal de este último de- - bate apunta a la necesidad de observar la tan nada. evaluación con una visión bastante amplia y creativa, para que tengan cabida méto- …Analizar el clima que tiene ese barrio, dos, instrumentos y estrategias de orden ejemplo de interrelación positiva, etc., esto muy diverso. Que tengan cabida y que puede ser un indicador valorado a escala sean compatibles y no excluyentes entre política..., cooperación, corresponsabili- sí. Además, tenemos que hacer el esfuer- dad... Esto no se puede valorar con núme- zo de incluir la creatividad en los procesos ros, lo mismo que los proyectos de inser- de evaluación como única vía posible para ción, cuántas personas han encontrado incorporar la diversidad de experiencias y trabajo... en una acción comunitaria: gente con y sin …Los formatos de la evaluación, hay que formación, niños y ancianos, de aquí y de ser muy creativo ...una cena, un audiovi- allá, profesionales y voluntarios, etc. sual, una asamblea de barrio, una consulta ciudadana... no tengo la receta. 3. P RINCIPIOS METODOLÓGICOS DE CARÁCTER GENERAL van siempre de la mano Los procedimientos para la evaluación no utilizar unos instrumentos concretos si- pueden estar muy alejados de los procedi- - nidos. Independientemente de cuáles ideas apuntadas hasta ahora nos remiten sean estos instrumentos, de si utilizamos claramente a la necesidad de que la tarea unos modelos de evaluación u otros, he- evaluadora forme parte, desde el inicio, de - metodológicos generales que deberemos tener siempre presentes cuando hablemos evaluación. Del mismo modo, cuando pen- de evaluar acciones comunitarias. No son samos en instrumentos de evaluación, es- muchos, y no nos extenderemos a la hora tos nos hacen pensar en aspectos que - debemos tener en cuenta a la hora de di- temente importantes como para dedicar- ejemplo, pensar y diseñar procedimientos 24 de recogida y registro de información rela- tiva al desarrollo de las acciones que se IGOP – UAB Ajuntament de Barcelona querrán evaluar. Si esto no lo pensamos Guía operativa difícilmente dispondremos de esta infor- de evaluación de la acción comunitaria ejemplo, que para evaluar tenemos que disponer de objetivos evaluables, o de una teoría del cambio que vincule nuestras ac- ciones a los resultados que esperamos obtener. Pues bien, esto también debe quedar claro de antemano. ser una “sorpresa”, improvisada en el últi- mo momento, ya que claramente corre- mos el riesgo de que el ejercicio de eva- luación se convierta en un ejercicio de la información que hemos podido recoger en el último momento. La evaluación tam- poco debería convertirse en un trámite bu- rocrático más que no nos debe “molestar” mucho y que podemos hacer mientras te- nemos la cabeza en otra cosa. La evalua- ción debe hacernos pensar, nos tiene que y debe “inquietarnos” y “molestarnos” un poco. - - 3.2. Debemos disponer de unos objetivos evaluables - La evaluación nos obliga a hacer explícitos luación porque le aporta cierto rigor a la nuestros objetivos y pone a prueba su per- hora de decir qué se va a hacer, cómo se tinencia y viabilidad. Seguramente, no va a hacer y para qué se va a hacer. De toda la tarea evaluadora de nuestro pro- hecho, las cuestiones que abordaremos yecto deba centrarse en medir el grado de en los diversos puntos de este apartado consecución de los objetivos que nos ha- tienen que ver, precisamente, con aspec- bíamos planteado, ya que también eva- tos a considerar en los primeros momen- luamos el proceso para alcanzarlos, pero tos, antes de que el proyecto se traduzca difícilmente nos podemos imaginar una en acción. evaluación que prevea, de alguna manera, una mirada sobre el grado de consecución de los objetivos. Aquí aparecen algunas cuestiones de gran importancia. En primer lugar, la necesidad - temente claros y concretos para que sean 25 evaluables. A veces explicitamos unos ob- IGOP – UAB jetivos tan generales, o a tan largo plazo, Ajuntament de Barcelona que luego no encontramos la forma de presentar sus resultados. Cuando nos po- Guía operativade evaluación de nemos a proyectar nuestra actividad, nos la acción comunitaria imaginamos un “mundo mejor” y nos plan- teamos el objetivo de alcanzarlo con nues- tras acciones comunitarias, pero eso no quiere decir que sea posible, al menos en los plazos con los que nosotros trabaja- mos y en los cuales tenemos que presen- tar resultados. Es bien cierto que la acción comunitaria es una estrategia de trabajo que no puede mostrar resultados espectaculares en un plazo corto de tiempo, pero eso no quiere decir que no nos podamos plantear objeti- vos más cercanos y alcanzables. O que no podamos establecer diferentes objetivos en el corto, en el medio y en el largo plazo. No debemos olvidar que el camino más directo hacia el fracaso es plantear objeti- vos inalcanzables. Del mismo modo, tam- poco podemos olvidar que las acciones comunitarias encuentran su sentido en la promesa que incorporan de transformar relaciones y condiciones de vida, y esta intencionalidad debería quedar recogida de alguna manera en los objetivos. Necesitamos, entonces, objetivos claros, - culados a necesidades y demandas es- 3.3. Debemos hacer explícita nuestra “teoría del cambio” Una teoría del cambio es un conjunto de hipótesis de trabajo que ponen en relación nerales de los objetivos, de modo que una actividad, o un conjunto de activ i da- después pase que todas las acciones co- des, y una manera de desarrollarlas, con munitarias acaben teniendo los mismos ob- unos resultados esperados en el proceso jetivos. Nosotros proponemos que los de cambio: “Si hacemos estas actividades de esta manera, esperamos obtener estos tengan que alcanzarse en seis meses, un resultados.” La evaluación debe someter a año y tres años vista. prueba nuestra teoría del cambio y es fun- damental que así sea. Una idea que genera bastante consenso entre los técnicos de la acción comunitaria Por ejemplo, una “teoría del cambio” en el es que si un equipo de trabajo es capaz de mundo de la educación puede plantear que formular bien sus objetivos, entonces se- los niños aprendan más y mejor en entor- guro que es capaz de evaluarlos. nos fuertemente afectivos: el niño y la niña necesitan ver en el maestro a alguien que 26 También se ha dicho que no puede ser que los respeta y los quiere. Al contrario, otras todos los proyectos comunitarios tengan teorías del cambio en relación con la edu- IGOP – UAB Ajuntament de Barcelona cación pueden plantear todo lo contrario: que todos se mueven en un plano muy ge- que “La letra con sangre entra” y que lo que Guía operativa neral y pensando solo a muy largo plazo. los niños necesitan es un clima de discipli- de evaluación de - la acción comunitaria Hay quien habla de una evaluación “libre dad. Bien, se trata de dos teorías o hipóte- de objetivos”, que es adecuada en aque- sis del cambio que nos tienen que conducir llos casos en los que se emprende una ac- a dos planteamientos pedagógicos bastan- ción para que pasen cosas positivas (de te diferentes, es decir, a dos maneras de fortalecimiento democrático o de mejora proceder y actuar. La evaluación debería de condiciones de vida), pero no se sabe servir para ver hasta qué punto nuestra teo- muy bien cuáles. Entonces hay que estar ría es correcta, y qué resultados da. atentos a lo que va pasando y conjugar perspectivas diversas (outputs externos). Si estamos trabajando en un programa pa- ra que los jóvenes del barrio encuentren Finalmente, también se ha comentado que trabajo, dependiendo de cuál sea nuestra debemos ser muy prudentes en el mo- teoría del cambio, podemos llevar a cabo mento de redactar proyectos, ya que el unas u otras actividades. Una teoría muy papel lo soporta todo, pero los procesos extendida es que la actividad que más faci- sociales tienen sus tiempos y sus ritmos. lita encontrar trabajo es la formación. Así, si estamos de acuerdo con esta teoría del que haremos será ofrecer formación a los jóvenes del barrio. ¿Y si después estos jó- venes no encuentran trabajo? Puede pasar porque no hayamos hecho bien la forma- ción, o porque esta no era adecuada a los es que nuestra teoría del cambio es errónea y la formación no se traduce en empleo. Es eso lo que tenemos que averiguar, lo que tenemos que aprender con la evaluación. Esta es una cuestión clave señalada en la teoría de la evaluación. Tenemos que ha- 3.4. La evaluación no solo analiza información, también debe generarla cer explícita nuestra teoría del cambio y la La evaluación exige recopilar información evaluación que hacemos debe someter a de forma ordenada o sistemática. prueba su validez. Esto nos ayudará a orientar nuestras acciones hacia los cam- Esta información puede ser de tipo muy di- bios que queremos conseguir. verso, pero casi siempre estaremos traba- jando con datos (¿cuánta gente ha asistido ¿Cuál es nuestra teoría del cambio en el a la actividad?, ¿cuánta gente ha hecho ámbito de la acción comunitaria? ¿Cuáles uso del servicio?, ¿cuántos jóvenes han son nuestras hipótesis de trabajo? Si que- enc ontrado trabajo?) o con opiniones remos que un grupo de población se haga (¿qué valoración hacen los usuarios?, ¿qué cargo de ciertos programas de mejora de piensan los ciudadanos?). Lo que es im- su vida cotidiana (salud, educación), si portante señalar desde el primer momento queremos que los jóvenes participen en el es que difícilmente dispondremos de la in- plan de mejora del barrio, si lo que quere- formación que necesitamos a la hora de mos es fortalecer el tejido asociativo del evaluar si antes no nos hemos preocupado barrio, ¿cuál es nuestra teoría del cambio? Es decir, ¿cuáles son las actividades que largo del proceso. 27 pensamos que tenemos que llevar a cabo? IGOP – UAB Y, ¿cómo debemos hacerlas, para alcan- Muchas veces nuestra capacidad para Ajuntament de Barcelona zar estos objetivos? evaluar encuentra uno de sus límites en la capacidad real —limitada— que tenemos Guía operativade evaluación de Hacer explícita nuestra teoría del cambio de ir recopilando información (datos u opi- la acción comunitaria también nos obliga a no hacer las cosas niones) de manera sistemática, ordenada. porque sí, ni porque siempre se han hecho Por eso es tan importante pensar en la evaluación desde el principio y tratar de mejor nuestras actividades y encontrar - siempre el sentido a las cosas que hace- rá en el momento de evaluar para ir reco- pilándola. que parezcan. En este sentido, también será muy impor- interesará recopilar, sino también el proce- dimiento y los criterios que seguiremos para hacerlo, para que su utilidad y “vera- cidad” no dependa de quién es la persona que la recoge. Más adelante veremos como ciertos ins- trumentos con la que trabajamos coti- dianamente nos pueden ser de mucha utilidad. Por ejemplo, las actas de las reu- - chas de seguimiento, etc., pueden hacer perfectamente este papel de facilitar la recogida de información. Puede ser muy conveniente también ir re- copilando las valoraciones más subjetivas de la gente, lo que piensa acerca de cada cosa en cada momento, y no solo datos cuantitativos. Cuando hacemos una entre- vista a una persona y le preguntamos qué 3.5. Algunos apuntes sobre la evaluación de impactos pensaba hace dos o tres años de tal pro- Dos razones hacen que la evaluación de yecto, o cómo veía la situación en su ba- impactos sea hoy en día una exigencia rrio, por ejemplo, lo que de hecho nos está para las acciones comunitarias en la ciu- contestando es lo que piensa ahora que dad de Barcelona. En primer lugar, el he- pensaba antes, y no lo que realmente pen- cho de que ya hace tiempo que se están saba, ya que con el paso del tiempo las impulsando acciones comunitarias en la personas vamos interpretando inevitable- mente nuestro pasado. tiempo que algunos proyectos están en marcha. Parece que ya ha pasado el tiem- este tipo de intervenciones. La segunda razón tiene que ver con el contexto actual de restricciones presupuestarias a mu- chos niveles, que obliga a los gestores pú- blicos a priorizar unos programas por en- cima de otros. Los programas que se 28 quieran mantener podrán encontrar argu- mentos para hacerlo en la evaluación de IGOP – UAB Ajuntament de Barcelona los impactos que producen. Guía operativa No podemos negar, pues, la necesidad de de evaluación de evaluar los impactos que tienen las inter- la acción comunitaria venciones comunitarias. Aunque, para empezar, no siempre le queda claro a todo el mundo qué quiere decir impactos. En un sentido estricto, deberíamos entender por impacto de nuestra intervención lo que ocurre en comparación con lo que habría pasado si nuestra intervención no se hu- biera producido: este es el impacto que hemos tenido o generado con el proyecto. Evaluar impactos tiene de esta manera un componente de “misión imposible”, ya que nunca podremos comparar con exac- titud estos dos estadios: lo que sucede mientras el programa se desarrolla con lo que habría pasado si no se hubiera hecho el programa. Las estrategias de eval uación utilizan técnicas diversas para encontrar la manera de hacer este tipo de comparati- vas: disponer de grupos o poblaciones de contraste, analizar y comparar series his- tóricas de un determinado fenómeno so- cial, crear simulaciones y estimaciones a partir de modelos, etc. Nada de esto pue- de garantizar que podamos medir con exactitud el impacto real de nuestra ac- ción, pero nos podremos acercar mucho si disponemos de los conocimientos, las in- formaciones y las series estadísticas, o los modelos y las simulaciones que nos lo permitan. La literatura especializada nos habla de al- En algunos casos, también podemos dis- gunas condiciones que deben darse para poner de mediciones de impactos en tér- poder evaluar impactos: minos de lo que se denomina retorno so- cial de la inversión hecha en el programa. - El programa debe ser estable. Si eva- Sería el caso de la metodología SROI, un luamos un programa que va variando sus - actuaciones y estrategias, su escala o sus trucción de simuladores que permitan - ahora está operativo y ahora no, difícil- bles”, a “aspectos tangibles”. Ya se ha co- mente podremos evaluar su impacto real mentado que las propuestas metodológi- - cas en este trabajo no pueden llegar a este des importantes para establecer relacio- nes de causalidad entre las cosas que ha- sencillas y fáciles de aplicar por los opera- cemos y las cosas que pasan. dores (deben permitir la autoevaluación). - Es necesario haber descrito una teoría del cambio coherente. Ya hemos habla- 29 do de la importancia crucial en evaluación IGOP – UAB (también en programación) de disponer de Ajuntament de Barcelona una teoría (o conjunto de hipótesis) que re- lacionen nuestra práctica con los resulta- Guía operativade evaluación de dos que queremos obtener. Si no dispone- la acción comunitaria mos de esta teoría del cambio, difícilmente podremos establecer una evaluación de impactos con rigor, ya que necesitamos - cias esperadas de nuestras acciones. - Tenemos que disponer de informa- ción/conocimiento adecuado del pro- grama. Esto tiene que ver con la necesi- dad que comentamos en relación con la información: qué necesitamos y cómo te- nemos que conseguirlo y registrarlo. - Los impactos tienen que haberse po- dido producir. Estamos hablando de ajus- tar la evaluación de los impactos al tiempo que lleva funcionando el programa. Tam- bién en lo que nos dice nuestra teoría del cambio, nuestras hipótesis de trabajo, so- bre el tiempo que hay que esperar para tener resultados. La evaluación de impactos debe permitir- nos ver los cambios y las transformacio- nes que se producen. Básicamente, el grado de consecución de los objetivos que nos habíamos planteado, sin olvidar los resultados no previstos. También nos indicará cuáles son las potencialidades del proyecto y sus limitaciones. 3.6. Anexo: una lluvia de preguntas Existe un amplio consenso en la literatura ¿Disponemos de diagnósticos actuali- especializada y entre los expertos en eva- zados? luación en el hecho que una de las piedras angulares para tener éxito en la evaluación ¿Los diagnósticos se han construido de es hacerse buenas preguntas. Sin una manera participada? - creta y que interpele a las cuestiones real- - mente relevantes, difícilmente podremos organizar un proceso de evaluación que sea útil. El riesgo reside en moverse entre cuestiones que sí pueden ser claras y con- escrita? cretas, pero que no nos llevan a ninguna parte; y otras muy interesantes, pero que - son tan generales que nos resulta prácti- ra participada? camente imposible hallar respuestas es- ¿Hemos pensado cómo evaluaremos 30 los objetivos? A raíz de los trabajos realizados en los gru- IGOP – UAB Ajuntament de Barcelona pos hemos llevado a cabo una recopilación ¿Hemos hecho explícita nuestra “teoría de preguntas que pueden ser muy inspira- del cambio”? Guía operativa doras a la hora de saber qué debemos eva- de evaluación de luar. Muchas de estas preguntas las hemos ¿La “teoría del cambio” ha sido debati- la acción comunitaria incorporado a nuestros instrumentos. Aho- da por los actores promotores del pro- ra las recogemos todas pensando que, tal ceso comunitario? vez, igual que nos han inspirado a nosotros, pueden ser una fuente de inspiración para ¿Se han trabajado temas/problemas nue- otros ejercicios o estrategias de evaluación, vos este año en relación a los anteriores? para la construcción de más instrumentos, para preparar sesiones de evaluación en grupo, etc. 3.6.2. Sobre la memoria de nuestras actividades Recordemos, sin embargo, la importancia de que cuando aterrizamos en un proyecto ¿Hacemos las actividades que nos había- concreto, las preguntas tienen que ser tam- mos propuesto desarrollar? Quizás sí que bién concretas y en relación al proyecto. ro después no le hemos hecho el caso su- 3.6.1. Sobre los diagnósticos, las “improvisar” actuaciones no previstas, o las programaciones y la teoría del cambio - nitiva, independientemente de otras consi- Nos interesa saber si se dispone de una deraciones, nos interesa disponer de cier- tos elementos de “memoria” de lo que se se realizan actividades de manera más im- hace realmente, lo que pasa de verdad. provisada, teniendo en cuenta tradiciones, - ¿En qué grado se han desarrollado las cación posee muchos aspectos a conside- actividades programadas? ¿Totalmente, rar, que son los que deberíamos traducir poco, nada? en preguntas concretas: objetivos claros, diagn ósticos actualizados, etc. ¿Cuánta gente ha participado? ¿Disponemos de objetivos claros y con- - cretos (evaluables)? pantes (edad, sexo, origen...)? ¿Ha venido gente nueva? ¿Qué porcen- taje sobre el total de gente participante? evaluación a lo largo del año? ¿Con qué periodicidad? ¿Quién participa en ellas? ¿Hemos sido constantes en nuestras reuniones de trabajo? ¿Se dan con regularidad relaciones de trabajo entre el equipo comunitario y los ¿Hemos hecho actividades no previstas técnicos y profesionales de la Adminis- en la programación inicial del curso? tración local? ¿Cuáles? ¿Por qué? ¿Se dan con regularidad relaciones de trabajo entre el equipo comunitario y 3.6.3. Sobre la metodología comunitaria los técnicos y profesionales de los ser- vicios públicos (educación, salud, se- La acción comunitaria es una manera “es- guridad...)? - logía. No nos sirve obtener los resultados En general, los técnicos y profesionales de cualquier manera, ya que el proceso del territorio están implicados: ¿mucho, 31 comunitario, las formas relacionales, la poco, nada? IGOP – UAB manera en que se trabaja, cómo se toman Ajuntament de Barcelona las decisiones, cómo se lidera, cómo se ¿Qué importancia (porcentaje de dedi- Guía operativa de evaluación de la esencia de la acción comunitaria, así el trabajo relacional que hace el equipo la acción comunitaria que debemos preguntarnos si nuestras comunitario? ¿Mucha, poca, nada? formas de trabajar y de relacionarnos res- ponden a las premisas de la acción comu- - nitaria (participación de la gente, calidad sionales, técnicos... que tengan que ver deliberativa, promoción de la autonomía, con ámbitos competenciales, encargos, etc.). roles? ¿Cómo se distribuye la jornada laboral del equipo comunitario? ¿Porcentaje de 3.6.4. Preguntas sobre la evaluación de - impactos na”? ¿Porcentaje de jornada dedicado a “trabajo de calle”? La acción comunitaria debe tener una in- tencionalidad transformadora. Apunta ha- ¿Qué porcentaje de la actividad progra- cia la mejora de las condiciones de vida, de mada ha sido organizado autónoma- las capacidades de la gente para organizar- mente por la ciudadanía? se y hacerse protagonista de estas mejoras y hacia la capacidad de generar inclusión y En relación al año anterior, ¿aumenta o cohesión social en el territorio. Así que los disminuye el número de actividades au- cambios que se buscan pueden ser de or- toorganizadas por la ciudadanía? den diverso y se pueden concretar en mul- titud de aspectos dependiendo de proyec- ¿Con qué periodicidad se reúne el equi- tos concretos: salud, educación, vivienda, po técnico? convivencia, capital social, gestión del con- ¿Con qué periodicidad se reúne la di- rección política? ¿Se han alcanzado los objetivos espe- ¿Hay espacios dedicados regularmente al debate o a la deliberación sobre las ¿Qué resultados no previstos estamos líneas de trabajo? consiguiendo? ¿Mejora el clima de convivencia en el En el último año, ¿hemos introducido territorio? cambios en nuestras estrategias de tra- bajo relacional con servicios y profesio- ¿Mejoran las capacidades de las enti- nales? dades y asociaciones del territorio (pro- yecto, participación, interlocución, au- ¿Qué cambios hemos incorporado al proyecto en el último año? ¿Mejora la calidad democrática (infor- ¿Cuáles son las resistencias y barreras mación, transparencia, renovación de principales a los cambios que quere- liderazgos, buena representación…) mos promover? del tejido social implicado en el proce- so? 32 ¿Mejoran las relaciones entre entidades IGOP – UAB Ajuntament de Barcelona en el territorio y de las entidades con los servicios públicos? Guía operativa de evaluación de Si este proyecto no existiera, ¿qué con- la acción comunitaria secuencias tendría para...? 3.6.5. Para evaluar aprendizajes Es evidente que una de las aspiraciones de todo proceso comunitario, como de cualquier actividad humana, es aprender para hacer mejor las cosas. Este es el sen- tido último de la evaluación. Aprendizaje y cambio son conceptos asimilables, ya que el cambio es lo que demuestra si realmen- te hemos aprendido: ¿podemos decir que estamos aprendiendo si no cambiamos en nada las cosas que hacemos? Así que nos interesa mucho preguntarnos por los cam- bios que incorporamos a nuestros proyec- tos derivados de los aprendizajes. ¿Disponemos de espacios/momentos para trabajar los resultados de la eva- luación? ¿Qué cosas pensamos que es más ur- gente cambiar en nuestras formas y es- trategias de trabajo? En el último año, ¿hemos introducido cambios en nuestras estrategias de tra- bajo relacional con la población? PARTE II MARCO OPERATIVO DE LA EVALUACIÓN (MOE): CONCEPTOS Y DEFINICIONES PARA EL DISEÑO DE LOS INSTRUMENTOS DE EVALUACIÓN 1. INTRODUCCIÓN Ya hemos presentado, en la primera parte ha sido el impacto de un programa de ac- de esta guía, los principios metodológicos ción comunitaria en una población deter- básicos que deben encaminar nuestras minada, antes de entrar en el diseño con- evaluaciones, y que surgen de la literatura especializada, de otras experiencias pre- - vias de evaluación en el ámbito de la ac- mente algunas cuestiones: qué entendere- ción comunitaria, y de los debates man- mos por impacto y, si tenemos que esperar tenidos en los diversos grupos de trabajo impactos varios, ¿a quién dirigimos este entre los operadores de la acción comu- instrumento?, ¿quien lo usará? Cuando nitaria en Barcelona. Cuando hemos ha- hablamos de población, ¿a qué nos referi- blado de principios metodológicos nos - referíamos a ideas, consideraciones y - procedimientos para la evaluación de ca- luación tienen que diseñarse a partir de rácter general, y no a instrumentos con- cretos de evaluación, que son nuestro ob- jetivo último (diseño de instrumentos de previo que orienta la construcción de ins- 34 evaluación de la acción comunitaria que trumentos a lo que hemos llamado MOE. El sean útiles y sencillos). Antes de entrar en MOE nos debe servir, a la hora de diseñar IGOP – UAB Ajuntament de Barcelona esta tarea, sin embargo, necesitamos un instrumentos, para saber qué queremos paso intermedio, que es la construcción evaluar concretamente y quién debe ha- Guía operativa del Marco Operativo de la Evaluación cerlo, además de apuntar criterios para de evaluación de (MOE). valorar la utilidad del instrumento diseña- la acción comunitaria do y las posibles interpretaciones de los Cuando hablamos del MOE nos referimos resultados obtenidos. nos ayudarán a delimitar conceptualmen- Si nos dotamos de un MOE claro y cohe- - nitivo de las estrategias y los instrum entos acotados cuáles deben ser nuestros obje- de evaluación. Por ejemplo, si queremos tos de evaluación (nuestros Qué), también construir un instrumento para evaluar cuál lo podremos utilizar para la construcción Cuadro síntesis MOE Calidad Metodologías de las comunitarias acciones Planteamientos y cumplimiento de objetivos Individuo ¿Qué? InclusiónImpacto sobre la Grupo Para Fortalecimiento ciudadano (empowerment) población Comunidad Condiciones de vida Equipo de un servicio Funcionamiento interno Espacios de trabajo Servicios técnicos Para Funcionamiento institucional profesional Equipo comunitario Rol comunitario 1.1. Objetos y objetivos de la evaluación de más/otros instrumentos de evaluación. Seguramente, ya lo hemos dicho, la cues- La cantidad de instrumentos de evalua- tión central para la construcción de nues- ción puede ser enorme. Tal vez los que Qué evalua- proponemos en esta guía no sean siempre remos, dada la gran diversidad de aspectos válidos, y también puede pasar que tenga- posibles que hay que considerar: desde mos la necesidad de generar nuevos ins- evaluar el impacto de un PDC en un barrio, trumentos para adaptarlos a nuestras po- hasta la evaluación de una actividad con- sibilidades y contextos de trabajo. En este creta un sábado por la mañana, pasando caso, El MOE nos debería facilitar esta la- por evaluar la evolución de un grupo de mu- bor recordándonos lo qué le hemos pedi- jeres de un proyecto, la pert enencia de un do y qué buscamos concretamente con determinado enfoque profesional o meto- este nuevo instrumento. dológico, o las mejoras que experimenta en su vida cotidiana una persona que se apunta a participar en una acción comuni- taria. ¡Son tantas las cosas que se podrían evaluar! ¿Cómo operar ante esta gran va- riedad de objetos posibles de evaluación? 35 Se hace evidente la necesidad de estable- IGOP – UAB cer ciertos criterios, de poner un poco de Ajuntament de Barcelona orden. Guía operativa de evaluación de No podemos pensar que existe un único la acción comunitaria instrumento con capacidad para evaluarlo todo. ¿Qué tipo de instrumento sería? Ni tampoco podemos pensar en hacer una lista de todo aquello susceptible de ser evaluado. ¿Qué sería todo? ¿Cómo de larga sería esta lista? ¿Seguro que no nos dejamos nada fuera? Nos toca, pues, - gías o categorías para intentar recoger y ordenar con cierto sentido, con criterio, el amplio abanico de posibles objetos y ob- je tivos de evaluación. De hecho, si conse- guimos aclarar este aspecto (el Qué de la evaluación), las cuestiones técnicas y me- todológicas relativas a Cómo evaluar (ins- trumentos) serán mucho más fáciles de resolver. Muchos materiales y documentos de apo- yo a la evaluación no se entretienen dema- siado en estos aspectos. Esto ocurre por- que ya queda claro lo que se evaluará, y no necesitan muchos matices. Por ejem- plo, no hace falta que una guía de evalua- ción de proyectos comunitarios entre a fondo en estas consideraciones si está claro que por evaluación de proyectos se entiende solo “valorar el impacto produci- do por aquel proyecto: sus resultados”, y nada más. Aunque, incluso en este caso, 1.2. Quién debe evaluar también necesitamos precisar qué enten- El paradigma de evaluación que más se demos por impactos. aviene con la metodología de la acción co- munitaria es el de la evaluación participa- Pero este no es nuestro caso. Al contrario, da, en la que son los protagonistas de la en todas las reuniones y grupos de trabajo acción comunitaria los que participan de que hemos convocado para construir esta su evaluación. Pero esto suele ser más fá- guía ha quedado claro que queríamos que cil de decir que de hacer. Una estrategia nuestra mirada valorativa sobre la acción de evaluación participada tiene, además de no solo en los impactos, y queríamos que que le son propias, unos importantes - requer imientos institucionales y políticos. tos particulares del proyecto, y no solo El planteamiento de esta guía, aunque no una mirada general sobre este. se inscribe plenamente dentro del marco metodológico de la evaluación participa- Qué queremos evaluar da, tampoco lo rechaza. De hecho, las propuestas técnicas para la evaluación 36 Proponemos diferenciar tres grandes ob- que se presentarán en la guía parten de jetos/objetivos de evaluación para intentar unos principios que incorporan evaluación IGOP – UAB Ajuntament de Barcelona hacer una síntesis que ordene el conjunto interna con evaluación externa, y evalua- de demandas y visiones expresadas en los ción técnica más convencional con eva- Guía operativa grupos de trabajo. luación participada: de evaluación de la acción comunitaria a) La calidad de las acciones comunita- Muchos instrumentos de evaluación es- - tán pensados como ejercicios de au- mensión metodológica y dimensión de toevaluación interna (sin la presencia de los objetivos. evaluadores externos), aunque no se descarta la conveniencia de disponer b Los impactos en la población: indivi- en determinadas circunstancias de eva- duales, de grupo, y en la comunidad. luaciones externas, y para estos casos, pueden usarse los mismos instrumen- c) Los espacios de trabajo: funcionamien- tos. to interno, la dimensión institucional y la dimensión comunitaria. Proponemos el ejercicio de autoevalua- ción, sobre todo para los espacios de En las páginas siguientes veremos con de- trabajo y equipos técnicos promotores talle cada uno de estos puntos. y/o participantes de acciones y/o pro- cesos comunitarios. Llevar a cabo ejercicios de autoevalua- ción permite a los espacios y equipos compartir expectativas e imaginarios previos a la acción, poner en común a quién se quiere dirigir la acción, qué im- pacto se desea... y, también, cómo nos organizamos para llevar la acción a la práctica: quién hace qué, cuándo nos encontramos, quién queremos que par- ticipe en la organización, a quién invita- mos, la temporalidad de la programa- ción y ejecución de la acción, cómo prevemos y hacemos seguimiento de los recursos necesarios (personas, ma- terial, dinero, ...) Y al terminar la acción: comunitaria, ya sea en calidad de parti- qué nos parece el resultado, nos lo he- cipante en una mesa técnica, ya sea en mos pasado bien organizándola y lle- calidad de trabajador de un servicio que vándola a la práctica, qué ha compor- deriva personas en acciones comunita- tado en nuestras relaciones, qué ha rias, o ya sea como técnico que, a título supuesto para el colectivo al cual se di- más individual, quiere participar —des- rigía, qué ha supuesto para la comuni- de diferentes roles— en las acciones dad (más allá del colectivo concreto), comunitarias que se desarrollan en el qué componentes transformadores e territorio donde trabaja. innovadores ha tenido... También pensamos que hay que incluir El resultado de esta evaluación, además de la evaluación de aquellas personas que, aportarnos datos objetivos y subjetivos de si bien no participan en la acción comu- la acción para ajustar y valorar su reedición, nitaria en calidad de técnico, aportan su nos aporta también cuestiones relativas al conocimiento técnico. Hablamos de mismo espacio y equipo que lo ha llevado a aquellos casos en los que intervienen, cabo: a nivel relacional, cómo se ha cui- mayoritariamente, como ciudadanos (a 37 dado, cómo ha funcionado, cómo han to- título individual o participantes de co- IGOP – UAB mado las decisiones, cómo se han distribui- lectivos, entidades o grupos). En este Ajuntament de Barcelona do las tareas... Poner en común este tipo sentido, y con el ánimo y la creencia de de evaluación nos brinda la ocasión de: que no solo es necesario el saber técni- Guía operativade evaluación de co para el hecho comunitario, los instru- la acción comunitaria - Reconocer el trabajo realizado por mentos que propone la guía también personas, colectivos e instituciones. permiten incluir la mirada de todas las personas participantes en la acción, - Reconocer qué ha supuesto trabajar desde un rol impulsor/promotor/organi- conjuntamente, como equipo y como - individuos. tividad profesional y conocimientos. - Valorar la idoneidad de dar continui- Se piensa en instrumentos para propi- dad al espacio y al equipo y de qué ciar una evaluación participada (a cargo manera (incorporamos más gente, de los participantes en la acción, en los incorporamos cambios en las mane- grupos, en las actividades, etc.). ras de hacer, cómo gestionamos la permeabilidad del equipo...). - Comunicar el trabajo realizado como colectivo. - Reforzar la identidad colectiva y el sentimiento de pertenencia. Pensamos en unos mecanismos de eva- luación de la acción comunitaria ma yo- ritariamente liderados por equipos téc- nicos y profesionales que trabajan en los procesos comunitarios. Proponemos incorporar a la evaluación tanto la aportación del técnico impulsor de la acción comunitaria, como la mira- da del técnico participante en la acción 1.3. Evaluar la calidad de las acciones comunitarias Hablar de “calidad de las acciones comu- - zado los objetivos que se había plantea- - do. Está claro que la calidad no puede ser labras, ya que no es muy evidente que to- una variable binomial del tipo Sí o No, 0 o do el mundo entienda lo mismo, ni que se 10, todo o nada. Existirán grados en fun- ción de cómo se comporte la acción en evaluarla. Además, también hemos visto la relación a cada una de las tres dimensio- gran diversidad de acciones comunitarias nes que planteamos. También puede ocu- que podemos encontrarnos, y será nece- rrir y, de hecho, ocurre, que una determi- sario que el marco operativo nos indique cómo debemos actuar ante esta diversi- conseguido alcanzar sus objetivos, pero dad a la hora de diseñar o de usar los ins- sin desarrollarse como una metodología trumentos de evaluación. de participación comunitaria. Como tam- bién pasa que acciones que no han sido 1.3.1. Las tres dimensiones de la Todo esto es lo que debemos averiguar. 38 calidad de la acción comunitaria Como acabamos de decir, necesitamos to- IGOP – UAB Ajuntament de Barcelona Para hacer operativo el concepto calidad - de la acción comunitaria diferenciaremos ción de los contenidos de cada dimensión, Guía operativa tres dimensiones o aspectos que conside- que es el que hemos abordado en el si- de evaluación de ramos fundamentales de la acción para guiente cuadro, en el que se diferencian las la acción comunitaria poder evaluar su calidad: tres dimensiones que hemos considerado a la hora de hablar de la calidad de las accio- 1. , que nes, el tipo de evaluación que corres- nos interroga sobre cómo la acción ha pondería a cada dimensión (proceso o im- pacto) y el detalle de los contenidos que previamente a su desarrollo. atribuimos a cada una. Por ejemplo, para poder decir si una acción ha sido bien pla- 2. La dimensión metodológica, que pone el énfasis en si se ha trabajado de ma- nera comunitaria y, especialmente, en la programación y los cronogramas, la teo- cóm o ha funcionado la participación ría del cambio, etc. Para poder decir si la com unitaria (también se podría llamar metodología comunitaria se aplica correc- dimensión de participación comunita- ria). comunitaria: en quién, cómo y cuándo se participa. Finalmente, para evaluar los obje- 3. La dimensión de los objetivos, que nos debe hacer mirar cuáles son los ob- construido, y su grado de consecución. jetivos que se persiguen, cómo se han construido y en qué medida se han al- En conclusión, construir un Marco Opera- canzado. tivo para la Evaluación de la acción comu- Enseguida veremos que hay que hilar un concretamente, utilizando conceptos pre- cisos que no den lugar a posibles confu- de qué trata concretamente cada una de siones y que no puedan ser interpretados estas dimensiones pero, de entrada, po- de maneras diversas. Es necesario que dríamos decir que una acción comunita- quede muy claro de qué estamos hablan- ria de calidad es aquella que ha sido - pués, la producción de instrumentos de desarrollado de acuerdo a los princi- evaluación tendrá que guiarse por este pios metodológicos de la participación marco operativo. Tabla 1. Marco Operativo para la Evaluación de la calidad de la acción comunitaria Dimensiones Tipo de la acción de evaluación Contenidos de la dimensión Procesos ¿Cómo ha surgido la propuesta de la acción? ¿A qué nece- y organización sidades responde? objetivos claros y evaluables? - gramación y cronogramas)? La organización está cohesionada alrededor del la acción, funciones de los diferentes miembros? ¿Están claramente teoría del cambio (hipótesis, teorías o principios causales 39 para orientar la práctica)? ¿Cómo está prevista la consecu- ción de los objetivos (acciones, actividades...)? IGOP – UAB Ajuntament de Barcelona - Guía operativa ción? (Coherencia del diseño de las acciones en base a los de evaluación de recursos disponibles, posibilidades de que la acción perdure la acción comunitaria en el tiempo en función de estos recursos y de la organización) acción para buscar los recursos necesarios? Participación Procesos/ ¿La organización de la acción comunitaria permite/facilita la comunitaria Impactos participación de los diversos actores comunitarios? (metodología) ¿La organización de la acción comunitaria permite/facilita la actividad promotora de la ciudadanía? ¿Participan en las diversas fases de la acción —diagnóstico, - munitarios —ciudadanía, entidades, servicios públicos, ad- ministraciones públicas, otros—? acción (target, diversidad)? ¿Se dan dinámicas de intercambio, colaboración o copro- ducción entre los diversos agentes comunitarios (acciones conjuntas)? ¿La gestión de los liderazgos y las responsabilidades hace perdurable en el tiempo la organización comunitaria (es sos- tenible)? Cumplimiento Impactos de objetivos evaluables temporalizados? ¿Los objetivos responden a un marco lógico para la interven- ción? (teoría del cambio, diagnósticos actualizados, recur- - pactos esperados) ¿Existen impactos no previstos? 1.3.2. La diversidad de escalas En términos generales (también es el en la acción comunitaria caso de los servicios sociales en Barcelo- na) acostumbramos a diferenciar tres es- Hasta ahora, en esta guía, cuando hemos calas de la acción: Programa > Proyecto> hablado de acciones comunitarias no he- Actividad. El programa sería la escala su- mos hecho demasiadas distinciones entre perior y se desarrolla a través de proyec- tipos de acciones, pero la realidad nos tos. A su vez, el proyecto se traduce en muestra una gran diversidad de estas. actividades. Esta diversidad de acciones se puede va- lorar desde puntos de vista muy diferentes Teniendo en cuenta esta diferenciación de (temática tratada, características de los escalas, nuestra propuesta de instrumen- promotores, modelos de intervención y tos para evaluar la calidad de la acción se otros), sin embargo, a la hora de diseñar diferenciará únicamente entre actividad, instrumentos de evaluación, hemos visto por un lado, y programa o proyecto por el que el criterio de diferenciación más deter- otro. Como se verá hemos diseñado el ins- minante es el de la escala. Por ejemplo, no trumento 1 para evaluar la actividad, y los 40 podemos usar el mismo instrumento para instrumentos 2, 3 y 4 para evaluar la cali- evaluar la calidad de la acción cuando se dad de programas y proyectos. IGOP – UAB Ajuntament de Barcelona trata de un plan comunitario que cuando Guía operativa jornada...). de evaluación de la acción comunitaria Tabla 2. Instrumentos para evaluar la calidad de la acción comunitaria Núm. Tipo Objeto de la Tipo de Tipo de instrumento de acción evaluación evaluación instrumento Quién evalúa Proceso/ 1 Actividad General Cuestionario Organizadores Impacto Programa- 2 y Proceso Cuestionario Organizadores Proyecto organización Programa- Participación Proceso/ 3 Cuestionario Organizadores Proyecto comunitaria Impacto Programa- Cumplimiento 4 Impacto Cuestionario Organizadores Proyecto de objetivos 1.4. Evaluar los impactos en la población Ya hemos tratado en la primera parte de la acción comunitaria en los grupos comu- esta guía, las consideraciones generales nitarios e, indirectamente, en las personas sobre la evaluación de impactos. Ahora es - tos de una acción comunitaria en el con- que va a orientar este tipo de evaluaciones junto de la comunidad de referencia a la en nuestro caso. Lo que debemos hacer que se dirige. es, como en el caso anterior, delimitar de la manera más precisa posible a qué nos Por otra parte, también necesitamos aco- referimos cuando hablamos de impactos, tar y delimitar mínimamente los tipos de sabiendo de antemano que “todo” no se impactos que podemos esperar de una puede evaluar: se nos hace imposible acción comunitaria. Es lo que hemos lla- pensar en todos los impactos, en todo y en mado las dimensiones de los impactos, todo el mundo. que surgen directamente del marco con- ceptual de la acción comunitaria. Así, ha- Para empezar, una primera acotación sale blar de acción comunitaria es hablar de de la intención de limitar el análisis de los fortalecimiento ciudadano (empower- impactos a los efectos de la acción comu- ment), entendido como el proceso que 41 nitaria en la población y en el territorio, y - IGOP – UAB se entiende que estos son los impactos Ajuntament de Barcelona - hacerse valer y para protagonizar la mejo- resan. Cuando hablamos de población ha- ra de sus condiciones de vida, una mejo- Guía operativade evaluación de cemos una triple distinción: persona, gru- ra que busca la cohesión social y la inclu- la acción comunitaria po y comunidad. De esta manera, sión de los colectivos más débiles y diseñaremos tres tipos de instrumentos desfavorecidos. El marco de la acción co- munitaria nos dice que esto lo hemos de evaluar el impacto que puede tener en una individuo persona su participación en una acción co- munidad grupos Figura 2. Marco conceptual de la acción comunitaria Fortalecimiento ciudadano ( ) Mejora de las Inclusión condiciones de vida coherente, en primer lugar, con las prácti- - cas comunitarias que se están desarrollan- dadano —empowerment— y condiciones do en nuestro entorno y, en segundo lugar, dentro de la literatura especializada, pero instrumentos de evaluación de estas prác- ahora no es el momento de reproducirlos. ticas. El cuadro siguiente sintetiza todas Más bien, lo que corresponde es hacer una estas ideas en un MOE para la evaluación de los impactos de la acción comunitaria. Tabla 3. Marco Operativo para la Evaluación de los impactos de la acción comunitaria Fortalecimiento Inclusión (empowerment) Condiciones de vida Individuo La persona ha ganado ¿La persona ha ¿La persona ha mejora- relaciones sociales: ganado iniciativa, es do sus condiciones de ¿conoce y se relaciona más proactiva, y tiene vida en diversos ámbitos con más gente? menos dependencia de (salud, educación...)? ¿La persona ha ganado los demás a la hora de ¿La persona tiene la relaciones sociales con hacer cosas y tomar percepción de que su gente que proviene de decisiones? participación en las AC otros ámbitos comunita- hace que su vida sea rios? mejor? ¿La persona ha aumenta- do el conocimiento de los recursos de que dispone 42 en su comunidad? IGOP – UAB Grupo ¿Los grupos son abiertos, ¿Los grupos tienen o ¿El grupo logra sus Ajuntament de Barcelona facilitando la participación ganan autonomía y objetivos sustantivos de nuevas personas? proyecto propio? (salud, educación, Guía operativa de evaluación de ¿Los grupos se relacionan ¿El funcionamiento del empleo, otros...)? la acción comunitaria con otros grupos, partici- grupo se basa en el ¿Las personas que pando en actividades co- reconocimiento y acción forman parte del grupo lectivas? de sus miembros? valoran que su participa- ¿Los liderazgos son ción en el grupo les aporta plurales y/o rotativos? calidad de vida relacional? Comunidad/ ¿Participan en la acción ¿Ha mejorado la ¿Se alcanzan los objeti- población comunitaria personas capacidad organizativa vos sustantivos de la AC? “nuevas” que antes no de la comunidad? ¿Han tenido lugar participaban? ¿Hay más capacidad impactos no previstos o ¿La AC incorpora a los de hacer propuestas efectos indirectos que diferentes colectivos en sus actividades? ¿Partici- propio? ¿Se puede valorar la pan en ella los colectivos ¿Ha mejorado la acción comunitaria como más vulnerables? capacidad democráti- una acción preventiva ca de las entidades? ante los problemas sociales que amenazan a la comunidad? Tabla 4. Instrumentos para evaluar impactos de la acción comunitaria Núm. de instrumento Objeto de la evaluación Tipo de instrumento Quién evalúa 5 Impactos en la persona Cuestionario Los profesionales 6 Impactos en un grupo Cuestionario Los profesionales El grupo 7 Impactos en una comuni- Taller La comunidad (eva- dad-población luación participada) 1.5. Evaluar los espacios de trabajo profesional Además de evaluar lo que hemos llamado sa, en relación a su entidad y qué se- calidad de la acción, y de evaluar “impac- guimiento se hace. tos”, las aportaciones hechas en los grupos de trabajo han puesto claramente de mani- El traspaso de información de la tarea de la mesa a la entidad de la que se trabaja en la acción comunitaria en Barce- forma parte. lona, de disponer de herramientas de eva- - La autonomía de trabajo de la perso- ñadas para evaluar la actividad profesional. na participante en la mesa en rela- Hay que decir que el foco no se ha puesto ción a la entidad que representa. en valorar individualmente a los diversos profesionales, sino que, más bien, el interés 3. La dimensión más propiamente comu- se ha centrado en analizar a los equipos y nitaria, relativa al rol y a la actividad de espacios de trabajo profesional para ver los espacios de trabajo profesional res- hasta qué punto estaban aplicando correc- pecto a la comunidad, como por ejem- tamente las premisas y los requerimientos plo: que la acción comunitaria les plantea. 43 - Grado de trabajo conjunto con las IGOP – UAB En relación con los equipos y espacios de entidades y los servicios del territo- Ajuntament de Barcelona rio/comunidad. también tres dimensiones que tienen que Guía operativade evaluación de ayudarnos a delimitar con cierta precisión - Grado de incorporación y trabajo la acción comunitaria de qué estamos hablando y en qué tene- conjunto de la ciudadanía organizada formal o informalmente. 1. La dimensión del funcionamiento in- - Grado de incorporación de la ciuda- terno de los equipos, incluimos aquí las danía a título individual. cuestiones relativas a la organización del equipo; la periodicidad de los en- - Grado de obertura de la pluralidad cuentros; cómo se toman las decisio- del barrio (género, edad, origen). nes; cómo se distribuyen las tareas; dónde se recoge el trabajo que se quie- re realizar y el realizado (¿existen do- cumentos de objetivos y estrategia?, ¿de diagnóstico?); qué acciones de ca- pacitación en metodología comunitaria se han hecho o se han previsto; cómo se atiende el tema de la sostenibilidad. 2. La que hace referencia al funcionamiento de la institución a la que pertenece este equipo (que puede ser una administra- ción pública o una entidad gestora), y que tiene que ver con su funcionamiento en cuanto a aspectos como la transver- salidad, los solapamientos, la integrali- dad o la relación entre la esfera técnica y la esfera política dentro de la organiza- ción, como por ejemplo: Cuál es la responsabilidad de la per- sona/técnico que participa en la me- Tabla 5. Marco Operativo para la Evaluación de los espacios de trabajo profesional Funcionamiento Funcionamiento Rol y actividad interno (equipo) institucional comunitaria Equipo Motivación e interés Trabajo conjunto Trabajo conjunto con de un servicio Dirección y organiza- dentro la organización: servicios de otras ción coherencia, solapa- organizaciones o mientos, transversali- instituciones Trabajo en equipo y dad, intercambio de distribución de Relación con entidades información... tareas y ciudadanía Relaciones entre el Evaluación ámbito político y el técnico Mesa técnica Dinamización interna Transferencia de Trabajo conjunto entre Diagnósticos com- información hacia el servicios 44 partidos servicio y la institución Relación con entidades Objetivos claros Acuerdos formales y ciudadanía IGOP – UAB entre servicios Ajuntament de Barcelona Distribución de roles y responsabilidades Guía operativa Evaluación de evaluación de la acción comunitaria Equipo Motivación e interés Relaciones entre Trabajo relacional para comunitario Dirección y organiza- la esfera política la dinamización del ción y la esfera técnica proceso comunitario: Trabajo en equipo y Con ciudadanía distribución de Con entidades tareas Con servicios públicos Evaluación Para la evaluación de los espacios de trabajo y para evaluar las dimensiones presentadas proponemos tres cuestionarios en función de quién evalúa: si se hace desde el equipo de un servicio que participa en la AC (C8), si se hace desde una mesa técnica (C9) o si la eva- luación la hace el equipo propio de una AC (C10). Tabla 6. Instrumentos para evaluar espacios de trabajo profesional Objeto Núm. instrumento de la evaluación Tipo de instrumento Quién evalúa 8 Equipo de un servicio Cuestionario Equipo del servicio 9 Mesa técnica Cuestionario Mesa técnica 10 Equipo comunitario Cuestionario Equipo comunitario PARTE III INSTRUMENTOS DE EVALUACIÓN 1. CUESTIONARIOS DE EVALUACIÓN 1.1. Para evaluar actividades INSTRUMENTO 1. Cuestionario de han cumplimentado el cuestionario (entre evaluación de una actividad las cuales se encuentran los organizadores de la actividad). Presentación Se puede seguir el guion de preguntas co- Este instrumento está dirigido a la eva- mo orden del día del debate: luación de una actividad, es decir, a una ¿Cuáles han sido nuestros puntos fuer- acción comunitaria de corta duración y muy acotada en el tiempo. Desde un punto actividad? de vista metodológico, los programas y ¿En qué debemos mejorar nuestra plani- proyectos responden más a una lógica de proceso, mientras que la actividad respon- de más a una lógica de momento. Los objetivos planteados, ¿eran los ade- cuados? Cuestionario de evaluación ¿Nuestra teoría del cambio (argumento de una actividad que explica por qué pensamos que ha- 46 Finalidad: evaluar la calidad de una ac- ciendo la actividad lograremos el objeti- tividad comunitaria a partir de la valor ación vo) es correcta? IGOP – UAB ¿Cómo ha funcionado la participación? Ajuntament de Barcelona or ganización; (2) objetivos e impactos; (3) Puntos fuertes y puntos débiles. participación comunitaria, y (4) sostenibili- ¿Cuáles son las amenazas principales Guía operativa dad. de evaluación de para la sostenibilidad futura de la activi- la acción comunitaria Quién contesta: individualmente, todas las dad? personas que han participado en la or- Propuestas de continuidad y de mejora: ganizac ión de la actividad. Se recogen los ¿quién hará qué? cuestionarios y se hace una sín tesis de los resultados. Si el grupo organizador tiene Es importante tener presente la evolución menos de cuatro personas se puede relle- de los resultados a lo largo del tiempo. Si es nar un único cuestionario fruto de una deli- una actividad que se repite de forma cíclica beración. o regular, pasar el cuestionario nos permite ver su evolución a lo largo del tiempo. Como se analiza: se adjunta un guion para el análisis de los resultados. Tabla Síntesis cuestionario 1 Indicaciones para el uso del cuestionario Qué Actividad. Este cuestionario está diseñado para que lo contesten las personas implicadas en la Quién Cada una de las personas que ha - participado en la organización de la actividad. dad ya desarrollada. Una vez cumplimentado, hay que hacer una Cómo 1) Rellenar el cuestionario indivi- valoración general de los resultados, en una dualmente. reunión de trabajo que tenga este objetivo. 2) Vaciar los cuestionarios. Para desarrollar la reunión de valoración: 3) Hacer una reunión de trabajo Se hará un vaciado del conjunto de cues- para valorar los resultados de los tionarios recogidos y, al mismo tiempo, cuestionarios, a partir del vaciado. analizaremos las diferencias en las res- Esta reunión podrá seguir el guion puestas como elemento a trasladar en el de debate que se propone. marco de la reunión. En el caso de que la organización Las personas facilitadoras de la reunión de de la actividad haya implicado a valoración harán un retorno de la síntesis menos de 4 personas, se podrá de resultados al conjunto de personas que hacer solamente el paso 3. Instrumento 1 Cuestionario de evaluación de una actividad Calidad acciones [ instrumentos 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8, 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple insatisfactoriamente aceptable plenamente para contestar 1 2 3 4 - 1 2 3 4 - - La actividad responde a los objetivos de un programa o proyecto más amplio. - Los recursos económicos previstos inicialmente han sido los adecuados. - En la organización de la actividad, cada persona ha hecho lo que le correspondía. - La actividad ha sido coorganizada por profesionales y voluntarios. - La organización ha permitido que todos supieran qué tenían que hacer. - Las decisiones se han tomado desde el consenso. 2. Objetivos e impactos 2.1. ¿Cuál ha sido el objetivo general de la actividad? I Evaluación de la acción comunitaria — Cuestionario de evaluación de una actividad [ [ 2.2. ¿Por qué os habéis planteado este objetivo? ¿De dónde surge? 2.3. ¿Cuál es vuestra teoría del cambio, es decir, por qué pensáis que haciendo la actividad se con- seguirá el objetivo general? ... Grado de consecución Bajo - Medio - Alto 2.6. Pensábamos que participa un mínimo de personas y un máximo de . Para nosotros (organizadores) habría sido un éxito una participación superior a personas. Finalmente, participaron personas. Grado de valoración Bajo - Medio - Alto Se ha percibido un impacto de la actividad en la comunidad en general. 3. Participación comunitaria (metodología) actividad. 3.1 Pensando en los objetivos de la actividad, ¿a quién (persona, colectivos, entidad o servicio...) habéis echado de menos en la organización? II Evaluación de la acción comunitaria — Cuestionario de evaluación de una actividad 3.2 Pensando en una futura edición de la actividad, ¿que haríais para poder incorporar a la organiza- ción a los que habéis echado de menos? - tes? 3.4 ¿La actividad iba dirigida especialmente a algún colectivo en concreto? ¿Cuál? 3.5 ¿Qué porcentaje, sobre el total de participantes, pertenecía al colectivo en concreto? 3.6 ¿La organización de esta actividad os ha permitido conocer gente nueva con la que pensáis que será posible colaborar en actividades futuras? 3.7 ¿Cuáles pensáis que han sido las dos claves principales del éxito o el fracaso de la actividad? 4. Sostenibilidad 4.1 ¿Es importante dar continuidad en el tiempo a la actividad? ¿Por qué? 4.4 Las personas, entidades o servicios implicados en la organización de la actividad disponen de espacios regulares de encuentro/trabajo. ¿Para qué? ¿Cuáles? III Evaluación de la acción comunitaria — Cuestionario de evaluación de una actividad 1.2. Para evaluar la calidad de programas y proyectos INSTRUMENTO 2. Cuestionario de Tabla de puntuación 45-50 puntos Excelente y la organización 38-44 puntos Notable Indicaciones para el uso 30-37 puntos Aceptable/ del cuestionario Menos de 30 Este cuestionario está diseñado para que puntos (necesariamente lo contesten las personas implicadas en la mejorable) un evaluador externo, una vez recogida la información necesaria. Tabla Síntesis cuestionario 2 En cuanto a su aplicación, se puede pasar previamente a la ejecución del programa- Qué proyecto (preguntas 1 a la 10 y pregunta un proyecto o programa. 50 14), o bien una vez ejecutado o en ejecu- Quién Cada una de las personas que ción (el cuestionario rellenado). IGOP – UAB han participado en la organiza- Ajuntament de Barcelona ción de la actividad o una persona externa a quien se le Guía operativa restan puntuación. pide una tarea evaluadora. de evaluación de la acción comunitaria Hacemos una media del conjunto de cues- Cómo 1) Rellenar el cuestionario tionarios recogidos y, al mismo tiempo, individualmente. analizamos las diferencias en las respues- 2) Vaciado y cálculo de la tas como elemento para trasladar a los puntuación obtenida. - 3) Valoración de los resultados: zar. Escala de valoración según la puntuación de las respuestas (hay que tener presente personas participantes en la la evolución en los resultados a lo largo del tiempo, después de haber pasado el cues- proyecto. tionario en un periodo concreto, y no la puntuación en relación a la escala de ma- nera aislada). Instrumento 2 Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8, 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple insatisfactoriamente aceptable plenamente para contestar 1 2 3 4 - Valora el grado de acuerdo y responde 1 2 3 4 - 1. Existe un documento previo al desarrollo de la acción que recoja el plan de trabajo detallado (objetivos, actividades y temporización). ¿Por qué? 1 2 3 4 - 2. Existe un diagnóstico actualizado en el que hayan participado entidades, servicios públicos y vecinos / Se conoce adecuadamente la situación en el momento inicial del proyecto (momento cero). ¿Por qué? I Evaluación de la acción comunitaria [ [ 1 2 3 4 - ¿Por qué? 1 2 3 4 - un año, tres años. ¿Por qué? 1 2 3 4 - 5. Los objetivos responden a una teoría del cambio explicitada y recogida formalmente. ¿Por qué? 1 2 3 4 - dar respuesta a los posibles imprevistos que puedan aparecer (tomando decisiones, asumiendo tareas, etc.). ¿Por qué? 1 2 3 4 - entidades o de los servicios participantes. ¿Por qué? 1 2 3 4 - y de los espacios de toma de decisiones. ¿Por qué? 1 2 3 4 - 9. Pensando en cómo os organizáis, valora los objetivos siguientes: - Cada persona ha hecho lo que le correspondía. - En los espacios de organización han participado personas profesionales y voluntarias. - Las decisiones se han tomado por consenso. 1 2 3 4 - ¿Por qué? II Evaluación de la acción comunitaria 1 2 3 4 - 11. Los objetivos del programa o proyecto responden unilateralmente a las demandas o las propuestas de los técnicos de los servicios públicos (R). ¿Por qué? 1 2 3 4 - 12. Las acciones que se han desarrollado son únicamente iniciativa de la entidad u organización gestora o promotora (R). ¿Por qué? 1 2 3 4 - 13. Los recursos materiales asignados inicialmente nos han permitido desarrollar el programa o proyecto tal como estaba previsto. ¿Por qué? 1 2 3 4 - 14. Los recursos humanos asignados inicialmente (tiempo de dedicación de los profesionales y los voluntarios o participantes) nos han permitido desarrollar el programa o proyecto tal como estaba previsto. ¿Por qué? Contesta Sí / No (puntuación, Sí = 1, No = 0) Sí No 15. Para asegurar la sostenibilidad económica futura del proyecto: a) económica futura del programa o proyecto. b) c) d) S e ha promovido la autonomía económica del programa o proyecto Sí No 16. En los últimos 12 meses: a) S e han llevado a cabo actividades de formación en acción comunitaria dirigidas a los promotores y organizadores del programa o proyecto. b) S e han llevado a cabo encuentros informales (sentido lúdico) entre los promotores y organizadores (cenas, tertulias, encuentros espontáneos...). c) hemos dedicado tiempo y espacio para su gestión. d) Se ha hecho alguna reunión de evaluación con presencia de promotores, dinamizadores y participantes. III Evaluación de la acción comunitaria INSTRUMENTO 3. Cuestionario de Tabla de puntuación evaluación de los objetivos 29-32 puntos Excelente Indicaciones para el uso 24-28 puntos Notable del cuestionario 19-23 puntos Aceptable/ Este cuestionario está diseñado para que lo contesten las personas implicadas en la Menos de 19 puntos (necesariamente un evaluador externo, una vez recopilada mejorable) la información necesaria. Consta de dos partes, una primera no puntuable, que está diseñada para ayudar Tabla Síntesis cuestionario 3 Qué Objetivos de un proyecto en fase para evaluar, en la que sí puntuamos. 54 ejecución o cerrado. En cuanto a su aplicación, se puede pasar IGOP – UAB Quién Cada una de las personas que ha Ajuntament de Barcelona antes de la ejecución del programa-pro- participado en la organización de yecto (ocho primeras preguntas sin pun- la actividad o una persona Guía operativa tuación) o una vez ejecutado o en ejecu- externa a quien se le pide una de evaluación de ción (el cuestionario rellenado). tarea evaluadora. la acción comunitaria Hacemos una media del conjunto de cues- Cómo 1) Rellenar el cuestionario individualmente. tionarios recopilados y, al mismo tiempo, analizamos las diferencias en las respues- 2) Vaciado y cálculo de la tas como elemento para trasladar a los puntuación obtenida. participantes, y para profundizar podemos 3) Valoración de los resultados formular la pregunta: ¿qué podemos hacer para mejorar la consecución de objetivos? personas participantes en la Escala de valoración según la puntuación de las respuestas* (hay que tener presente proyecto. la evolución en los resultados a lo largo del tiempo, después de haber pasado el cues- entorno a la pregunta “qué tionario en un periodo concreto, y no la podemos hacer para mejorar la puntuación en relación con la escala de consecución de objetivos” forma aislada). (opcional, para profundizar en la evaluación). Instrumento 3 Cuestionario de evaluación de los objetivos Calidad instrumentos acciones [ 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Primera parte Escribe a continuación: 1. El objetivo que quieres evaluar: Ejemplo. Incorporar a los jóvenes al tejido asociativo del barrio. 2. La aspiración o indicador que determinaría su satisfacción: Ejemplo. Incorporar a un mínimo de tres jóvenes con los que estemos trabajando en la plaza con los educadores de calle en alguna de las entidades del barrio. 3. Tema, problema, potencialidad, preocupación que ha hecho que nos planteemos este objetivo: 4. Teoría del cambio al que responde este objetivo: I Evaluación de la acción comunitaria — Cuestionario de evaluación de los objetivos [ [ 5. El tiempo previsto para la consecución del objetivo en fases (seis meses, un año, tres años) (siem- pre que sea posible): Ejemplo: (a seis meses) —establecimiento de vínculos con los jóvenes de la plaza—; (a un año) —hacer que los jóvenes asistan a alguna actividad organizada por las entidades—; (a tres años) —que un mínimo de tres jóvenes sean miembros activos de las entidades—. 6. Los recursos previstos para la consecución del objetivo: Ejemplo: diez horas semanales de un educador APC dedicadas al trabajo de calle en la plaza y al fortalecimiento en la calle y en la plaza. 7.2. Posibles elementos facilitadores que pueden contribuir a la consecución del objetivo: 8. Impacto* que esperamos que tenga la consecución de este objetivo: A modo de ejemplo: reducción del número de intervenciones policiales o de denuncias...). Segunda parte Una vez cumplimentada la parrilla anterior, puntúa según la escala que presentamos a continuación tu grado de en abierto que acompañan a las preguntas puntuables: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple insatisfactoriamente aceptable plenamente para contestar 1 2 3 4 - Valora el grado de acuerdo y responde 1 2 3 4 - II Evaluación de la acción comunitaria — Cuestionario de evaluación de los objetivos 1 2 3 4 - 2. La aspiración prevista o indicador se ha cumplido. ¿Qué elementos han sido determinantes? 1 2 3 4 - 3. El objetivo planteado se ha alcanzado. - cución del objetivo. 1 2 3 4 - 4. Se han utilizado los recursos previstos para el desarrollo de la acción. ¿Por qué? 1 2 3 4 - 5. El tiempo para la consecución del objetivo ha sido el previsto. ¿Por qué? 1 2 3 4 - 6. La consecución del objetivo ha tenido el impacto esperado. - cución del impacto. ¿Han tenido lugar impactos no previstos (en positivo o en negativo)? ¿Cuáles? Ejemplo. Sí. El trabajo realizado por los educadores ha permitido iniciar una tarea conjunto entre las diferentes entidades, que ni siquiera se conocían, organizándose en un proyecto para desarrollar en las plazas del barrio. 1 2 3 4 - 7. Por el impacto logrado podemos decir que nuestra teoría del cambio era correcta. ¿Por qué? III Evaluación de la acción comunitaria — Cuestionario de evaluación de los objetivos INSTRUMENTO 4. Cuestionario de Tabla de puntuación evaluación de la participación comuni- 45-50 puntos Excelente taria (metodología) 38-44 puntos Notable Indicaciones para el uso 30-37 puntos Aceptable/ del cuestionario Menos de 30 Este cuestionario está diseñado para que puntos (necesariamente lo contesten los organizadores y promoto- mejorable) res del programa o proyecto. Tiene una primera y una tercera parte no puntuable, - (Para hacer el cálculo de puntos sigue las in- cer un debate más cualitativo, y una se- dicaciones que aparecen en las mismas pre- gunda parte puntuable, en la que se indica guntas) cómo calcular la puntuación de cada res- puesta. 58 Tabla Síntesis cuestionario 4 En cuanto a su aplicación, se puede pasar Qué La participación de la comunidad IGOP – UAB Ajuntament de Barcelona una vez ejecutado el proyecto o bien cuan- en un proyecto o programa. do está en ejecución. Quién Las personas que han organiza- Guía operativa do y promovido el proyecto o de evaluación de programa. la acción comunitaria restan puntuación. Cómo 1) Rellenar el cuestionario individualmente. Hacemos una media del conjunto de cues- tionarios recopilados y, al mismo tiempo, 2) Vaciado y cálculo de la puntuación obtenida. analizamos las diferencias en las respues- tas como elemento para trasladar a los 3) Valoración de los resultados: participantes para poder profundizar. Escala de valoración según la puntuación personas participantes en la de las respuestas* (hay que tener presente la evolución en los resultados a lo largo del proyecto. tiempo, después de haber pasado el cues- tionario en un periodo concreto, y no la un debate cualitativo alrededor puntuación en relación con la escala de de la AC. forma aislada). Instrumento 4 Cuestionario de evaluación de la participación comunitaria Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Primera parte Completa la siguiente información: - ción, seguimiento y trabajo del programa o proyecto). Entidades prestadoras Asociaciones / Personas que participan Servicios públicos de servicios Grupos del barrio a título individual N. total N. total N. total N. total I Evaluación de la acción comunitaria — Cuestionario de evaluación de la participación comunitaria [ [ Segunda parte - tes: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple plena- insatisfactoriamente aceptable mente para contestar 1 2 3 4 - 1. Valora el grado de acuerdo 1 2 3 4 - 1. Disponemos de un sociograma actualizado (mapa de actores) en torno a la acción comunitaria. las relaciones con estos actores. o proyecto (estamos llegando a las personas a las que queríamos llegar). activamente en: a) la elaboración del diagnóstico comunitario y el seguimiento del programa o proyecto. b) el diseño y ejecución del programa o proyecto. c) la evaluación del programa o proyecto. d) la gestión económica del programa/proyecto. relevante en: a) b) la ejecución, asumiendo responsabilidad y tareas, del programa o proyecto. c) la evaluación del programa o proyecto. d) la gestión económica del programa/proyecto. 6. En nuestras formas de trabajar en el día a día: a) hacemos formación dirigida a los promotores y organizadores del programa o proyecto. II b) hacemos rotación de responsabilidades o tareas entre los participantes. Evaluación de la acción comunitaria — Cuestionario de evaluación de la participación comunitaria 2. Valora los aspectos siguientes de la participación comunitaria dentro del programa o proyecto 1 2 3 4 - 1. El traspaso de información de unos servicios a otros. 2. El traspaso de información entre entidades y servicios. 3. La tarea de ir registrando y documentando el desarrollo del programa o proyecto (elaboración de actas, recopilaciones de acuerdos, etc.). 4. La información a los participantes sobre el programa de actividades. 5. La información a los participantes sobre cómo podrían implicarse más en el proyecto o programa comunitario. 6. La transparencia y el acceso a la información de los no participantes o participantes puntuales en el programa o proyecto. 7. La elaboración de diagnósticos compartidos. 8. La capacidad de hacer una difusión diferenciada de la actividad pensando en la diversidad de los posibles participantes (targets). o proyecto. 10. Que la ciudadanía no organizada pueda hacer propuestas. 11. El diálogo entre promotores y organizadores (servicios públicos, asociaciones de barrio...). 13. La toma de decisiones de manera conjunta entre los organizadores y promotores. 14. La incorporación de los saberes ciudadanos en el diseño de los programas, proyectos o actividades. 3. El programa ha permitido… 1 2 3 4 - 1. que nos expliquemos unos a otros qué estamos haciendo. 2. que colaboremos con los proyectos de los demás. 3. que pensemos y hagamos cosas nuevas conjuntamente. III Evaluación de la acción comunitaria — Cuestionario de evaluación de la participación comunitaria Tercera parte Valora el grado de participación de los colectivos en el programa o proyecto, según los diversos ámbitos de participación señalados: (no puntuable) Asistencia a activi- Elaboración Elaboración Organización de diagnósticos de propuestas de actividades usuario) N P M N P M N P M N P M Niños Adolescentes Gente joven Mujeres Adultos Personas mayores Inmigrantes Comerciantes Gente que pertenece a entidades y asociaciones Otros... Interpretación de la parrilla Dependiendo de los objetivos del proyecto y de los diferentes niveles de participación alcanzados, tendréis que debatir si son necesarios cambios en cuanto a la participación de los diferentes colec- tivos y cómo hacerlo. IV Evaluación de la acción comunitaria — Cuestionario de evaluación de la participación comunitaria 1.3. Para evaluar impactos en la población Los cambios, aumento o disminución, nos permitirán profundizar de manera abierta para saber si se derivan de la acción co- INSTRUMENTO 5. Cuestionario de munitaria o de otros elementos, siempre impactos en el individuo dependiendo de la percepción del entre- vistado. Indicaciones para el uso del cuestionario Para interpretar los resultados en relación al impacto en el individuo, desde la perspec- Este cuestionario de impactos intenta me- tiva de la inclusión y el fortalecimiento, hay dir los cambios en el individuo (en su gra- que mirar los resultados obtenidos en la do de inclusión, fortalecimiento (empower- pregunta 3, el número con el que se ha va- ment) y con diciones de vida) derivados de lorado cada pregunta es lo que hay que su- la par ticipación en la acción comunitaria. Se ha diseñado para que lo cumplimenten Tabla de puntuación los participantes de la acción comunitaria, 63 pensando en acciones comunitarias que 60-65 puntos Impacto positivo muy IGOP – UAB tienen una implantación vinculada a un te- elevado. Excelente Ajuntament de Barcelona rritorio (barrio) muy concreto. La manera 47-59 puntos Impacto positivo ideal de rellenarlo es a partir de una entre- Guía operativaelevado. Notable de evaluación de vista hecha al participante de la acción co- la acción comunitaria40-46 puntos Impacto positivo bajo. munitaria por una persona externa o no directamente implicada en la acción. 30-39 puntos Ningún impacto o Debido a la gran diversidad de acciones existencia de impactos comunitarias es posible que algunas pre- negativos guntas requieran cierta adaptación. Con Menos de 30 Impacto muy negativo puntos (nos obliga a cuestionar- ejemplo algunas preguntas alternativas, o nos la participación de la aclaraciones, pensando en las acciones persona en el proyecto) comunitarias que originariamente partían de grupos de usuarios de servicios socia- Para medir el impacto en la calidad de vida les. Se han recogido entre paréntesis y con debéis mirar directamente la respuesta un * a lo largo del formulario. aportada en abierto a la pregunta 4. Cuando pasemos este cuestionario ten- dremos que pedir las valoraciones y las Tabla Síntesis cuestionario 5 respuestas en dos momentos: Qué Impacto individual en los partici- Un primer momento en que se hará re- pantes de una AC. ferencia al momento actual y donde el Quién Cada participante de forma entrevistado responderá todas las pre- individual. guntas del cuestionario. Cómo 1) Rellenar el cuestionario median- te una entrevista hecha por una Un segundo momento, en el que volve- persona externa a la AC. remos a preguntar por las dimensiones 2) Vaciado del cuestionario/ consultadas inicialmente y en el que pe- entrevista. diremos al entrevistado si estas dimen- siones han aumentado o disminuido 3) Valoración de los resultados, tanto a nivel individual como a después de haber participado en la ac- nivel de grupo. ción comunitaria. Instrumento 5 Cuestionario de evaluación de los impactos en el individuo Calidad acciones [ instrumentos 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple plena- insatisfactoriamente aceptable mente para contestar 1 2 3 4 - 1. Pensando en mi barrio 1 2 3 4 - a. Conozco todos los servicios y recursos existentes (*para hacer frente a la situación que quiero solucionar). b. Tengo motivación para conocer, acercarme y participar en lo que hacen las entidades o asociaciones del barrio (*o de la ciudad, las que trabajan este tema que me preocupa). c. Conozco a gente del barrio, intento verme con ellos y hacer cosas juntos. d. Me relaciono con personas de procedencia y origen diferentes. (*En el caso de una AC de servicios sociales surgidas de grupos: pensando en mi entorno y contexto en relación con el tema o problema que aborda la acción comunitaria). I Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el individuo [ [ 2. Pensando en mí mismo 1 2 3 4 - a. Tengo una percepción positiva de mí mismo. b. Tengo capacidad para tomar decisiones por mí mismo. c. Tengo opinión o criterio propio. d. Sé cómo buscar información o a dónde dirigirme cuando tengo que solucionar algo. e. Tengo motivación para hacer cosas con los demás, organizarme para mejorar mi realidad social o entorno. me veo involucrado. h. Me siento capaz de relacionarme con personas que no son de mi círculo familiar o amistades cercanas. i. Me siento capaz de hacer cosas con éxito junto a otras personas que no son de mi círculo familiar cercano. Escala de valoración de 1 a 5 en la cual: Se ha reducido Se ha reducido un poco Se ha quedado igual Ha aumentado Ha aumentado mucho bastante 1 2 3 4 5 3. Después de haber participado en la acción comunitaria, indica si se han dado cambios en las frases valoradas anteriormente 1 2 3 4 - 1a. Conozco todos los servicios y recursos existentes. 1b. Tengo motivación para conocer, acercarme y participar... 1c. Conozco a gente del barrio, intento quedar con ellos y hacer cosas... 1d. Me relaciono con personas de procedencia y origen diferentes... 2a. ... percepción positiva de mí mismo. 2b. ... capacidad para tomar decisiones por mí mismo. 2c. ... criterio propio. 2d. ... saber cómo buscar información y dónde dirigirme. 2e. ... motivación para hacer cosas con otros. 2h. ... relacionarme con personas que no son de mi círculo. 2i. ... hacer cosas con éxito junto a personas que no son de mi círculo. En caso de cambio, ¿a qué atribuyes este cambio? II Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el individuo Por último, responde a la pregunta siguiente: 4. Después de participar en la acción comunitaria, ¿mi calidad de vida ha cambiado? La calidad de vida tiene muchas dimensiones: salud, emocional, condiciones económicas, acceso a recursos y servicios, etc. (decir que ha mejorado sería el equivalente a decir que han cambiado cosas que te facilitan el día Sí, ha mejorado mucho Sí, ha mejorado No, todo está igual Sí, ha empeorado - cional, condiciones económicas, acceso a recursos y servicios...) y, si es posible, indica por qué participar en la acción comunitaria ha sido determinante. III Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el individuo INSTRUMENTO 6. Cuestionario de Se puede seguir el guion de preguntas evaluación de los impactos en el grupo como orden del día del debate: Indicaciones para el uso ¿Cuáles son nuestros puntos fuertes y del cuestionario nuestros puntos débiles en cuanto a composición del grupo? ¿Qué debería- Este cuestionario de impactos en el grupo mos hacer para mejorarlos? - ción y dinámica del grupo desde el punto ¿Cuáles son nuestros puntos fuertes y de vista de la inclusión, el fortalecimiento nuestros puntos débiles en cuanto a la (empowerment) y la mejora de las condi- dinámica de funcionamiento del grupo? ciones de vida. ¿Estamos generando autonomía y for- taleciendo a las personas que lo for- Se ha diseñado para que lo rellenen las man? ¿Estamos generando autonomía personas que tienen un papel en la plani- como grupo? ¿Qué podríamos hacer para mejorar? la actividad cotidiana del grupo; no es re- 67 comendable para participantes esporádi- ¿Cuál es el grado de reconocimiento del IGOP – UAB cos, poco regulares o participantes que grupo hacia fuera? ¿Para quién y en Ajuntament de Barcelona solo sean asistentes de las actividades qué nivel? ¿Es satisfactorio? ¿Qué po- del grupo, ya que una visión excesiva- dríamos hacer para mejorar? Guía operativade evaluación de mente parcial podría distorsionar los re- la acción comunitaria sultados. En caso de querer pasar este ¿Estamos alcanzando los objetivos que nos planteábamos como grupo? ¿Cuá- (“asistente a las actividades”), hay que te- les son nuestros puntos fuertes y nues- nerlo presente en el análisis de resultados tros puntos débiles para alcanzar los objetivos? ¿Cómo podríamos mejorar? participante, tal como aparece en el cues- tionario. Hay que tener presente la evolución en los resultados a lo largo del tiempo si es una Una vez cumplimentado el cuestionario, actividad que se repite de manera cíclica o hay que hacer una valoración general de regular, y pasar el cuestionario nos permite los resultados. Haremos esta valoración ver su evolución a lo largo del tiempo. en una reunión de trabajo con este objeti- vo. Para el desarrollo de la sesión de valora- Tabla Síntesis cuestionario 6 ción: Qué Impactos en el grupo Hacemos un vaciado del conjunto de Quién Las personas que han participa- cues tionarios recopilados y, al mismo - tiempo, analizamos las diferencias en ción u organización de la activi- las respuestas como elemento para dad del grupo trasladar a las personas que la han 1) Rellenar el cuestionario cumplimentado. Cómo individualmente. Las personas facilitadoras de la reunión 2) Vaciado del cuestionario. de valoración hacen un retorno de la 3) Reunión de trabajo para síntesis de resultados al conjunto de compartir la valoración del personas que lo han rellenado (entre los vaciado, se puede dinamizar a que se encuentran los organizadores de partir del guion que se propone la actividad). Instrumento 6 Cuestionario de evaluación de los impactos en el grupo Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Composición del grupo (inclusión y diversidad) 1. ¿Cuánto tiempo hace que participas en el grupo? (indica mes y año) 2. Participo en el grupo de la siguiente manera: (Marca con una X, posibilidad de respuesta múltiple) Como miembro del grupo impulsor, motor o secretariado (es decir, del grupo más reducido donde Como participante en las reuniones generales del grupo (en el que se organizan las actividades, etc.). Asistiendo y asumiendo tareas para organizar actividades. Asistiendo a las actividades que organiza el grupo. (Seleccionar una única opción) Participo como vecino a título individual o como persona interesada o afectada. Participo como representante de una entidad o asociación. Participo como profesional de un servicio. Otros (indícalo): I Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el grupo [ [ 4. Participo en este grupo porque... (Prioriza del 1 al 4, tomando el 1 como el más importante) me ayuda a resolver problemas concretos. me encuentro cómodo y me gusta estar en él. tengo amigos en el grupo. la actividad que el grupo hace es importante para la sociedad. 5. ¿Cuáles son los objetivos de este grupo? (Prioriza del 1 al 4, tomando el 1 como el más importante) Darnos apoyo entre las personas que participamos. Organizar actividades o proyectos dirigidos a personas que no participan en el grupo. Aportar ideas profesionales y servicios para contribuir a solucionar determinados problemas o situaciones. Autoorganizar nuestras propias actividades. No tengo claros los objetivos de este grupo. que estuvieran? Sí. Cuáles. No. No lo sé. 7. ¿En el último año se han incorporado nuevas personas al grupo? (Si todavía no hace un año de tu participación en el grupo, contesta partiendo del momento en que empezaste a participar) Sí. No. No lo sé. ¿Podrías enumerarlas, y en el caso de que pertenezcan a alguna entidad o servicio, indicarlo? ¿Podrías decir cuándo se incorporó la última persona en el grupo? 8. En relación a los participantes en el grupo, consideras que sois un grupo: Donde todo el mundo es bastante igual. Donde hay mucha diferencia y diversidad. No lo sé. II Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el grupo Dinámica cotidiana del grupo 9. ¿Qué cosas hace el grupo? (Selecciona una opción y detalla la respuesta si es necesario) Reuniones entre nosotros. Reuniones con otros grupos. Actividades (enumera algunas): Charlas. Otros (indícalo): 10. ¿De quién depende que el grupo se encuentre y perdure en el tiempo? (Prioriza del 1 al 3, tomando el 1 como el más importante) Del trabajo de un profesional de un servicio (servicios sociales, salud...) - namos para su contratación. De la capacidad de autoorganización, de autoconvocarnos, etc., de las personas que participan. 11. ¿De qué depende, principalmente, el desarrollo de las actividades que organizamos desde el grupo? De nosotros mismos, de los recursos propios que podamos generar los participantes (cuotas, actividades, etc.) o del hecho de que las cosas que hacemos no nos cuesten dinero. - ponsable, delegado o similares. Sí. No. Sin respuesta. Dinamización del grupo 13. ¿Quién dirige o modera normalmente las reuniones del grupo? Un profesional. Un participante del grupo (siempre el mismo). Varios participantes del grupo de manera conjunta (siempre los mismos). Diferentes personas del grupo de manera rotativa. 14. ¿El grupo hace reuniones sin que haya siempre un profesional que las dirija? No, siempre hay un profesional que dirige la reunión. Sí, pero en muy pocos casos. Sí, más de la mitad de las reuniones son sin profesional. III Nunca hay un profesional. Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el grupo 15. Pensando en tu participación en el grupo. De cada tres reuniones en las que participas, ¿en cuántas das tu opinión? En ninguna. En una. En dos. En las tres (todas). Aparte de hablar, ¿consideras que contribuyes al grupo de otra manera? ¿Cuál? 16. Pensando ahora en las actividades y relaciones que tiene el grupo. En los últimos seis meses... ¿Has participado en reuniones o actividades conjuntas de tu grupo con otros grupos comunitarios? No. Sí. ¿Cuáles? ¿Se ha informado en las reuniones de tu grupo de las actividades que desarrollan otros grupos co- munitarios? No. Sí. ¿Qué grupos? ¿Ha participado en vuestras reuniones de grupo alguna persona en representación de otro grupo o colectivo? No. Sí. ¿Qué grupo? ¿Ha participado en vuestras reuniones de grupo alguna persona en representación de algún servicio o administración? No. Sí. ¿Quién? 17. En las reuniones del grupo de los últimos seis meses, ¿se ha tratado alguno de los siguientes temas? (Marca con una X las opciones que correspondan). No puedo contestar, mi participación en este periodo ha sido muy irregular. El presupuesto o la situación económica del grupo. Qué hacer para conseguir que se apunte más gente. Qué hacer para coordinarse con otros grupos que también realizan actividades comunitarias? No se ha hablado de ninguno de estos temas. 18. En términos generales, valora del 1 al 4 el carácter y el funcionamiento del grupo. Para ello, ex- Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple insatisfactoriamente aceptable plenamente para contestar 1 2 3 4 - 1 2 3 4 - 18.1. Es un grupo donde todos los miembros podemos tener un papel y nos sentimos incluidos o integrados, aunque seamos diferentes. 18.2. Es un grupo reivindicativo (tiene como objetivo principal reclamar a las instituciones o administraciones determinadas mejoras, derechos, etc.). IV Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el grupo 18.3. Es un grupo con capacidad de incidir sobre otros grupos o administraciones. 18.4. Es un grupo reconocido por otros grupos, instituciones o administraciones (nos invitan a reuniones, nos proponen y consultan cosas, etc.). 18.5. Las cosas que se hacen en este grupo se hablan y se deciden entre todos. 18.6. Todo el mundo tiene más o menos la misma información sobre los temas que afectan al grupo. 18.7. La forma de funcionar de este grupo nos hace tener más capacidad de hacer cosas, más capacidad crítica propia, criterio propio, etc. 19. Una vez al año (o curso) hacemos una reunión para valorar cómo ha ido todo y hacer propues- tas de mejora en relación al funcionamiento del grupo. Sí. No. 20. Haciendo una valoración general del grupo, en el último año, hemos avanzado en: Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Muy de acuerdo / Se Totalmente de acuerdo No lo sé / No tengo / No se cumple / Se cumple, pero cumple de manera / Se cumple insatisfactoriamente aceptable plenamente para contestar 1 2 3 4 - 1 2 3 4 - 20.1. La consecución de nuestros objetivos como grupo. 20.2. La incorporación y salida. 20.3. Funcionamiento democrático del grupo: toma de decisiones, distribución de tareas... 20.4. Consolidarnos como grupo. 20.5. Ser reconocidos como interlocutores válidos para otros grupos. 20.6. Ser reconocidos como interlocutores válidos para la ciudadanía. 20.7. Ser reconocidos como interlocutores para la Administración. 20.8. Ser reconocidos como buena práctica. Nota: combinar este cuestionario con el de impactos en el individuo nos puede ayudar a concluir si se trata de un grupo apoderado (con capacidad de incidencia hacia fuera) o de un grupo apoderador - nes. V Evaluación de la acción comunitaria — Cuestionario de evaluación de los impactos en el grupo INSTRUMENTO 7. Taller de evaluación cativo de miradas en la acción que se de impactos en la comunidad-población quiere evaluar. La dinámica de trabajo propuesta para el taller busca combinar la perspectiva sectorial con la multisecto- Presentación rial, y las miradas individuales con las co- lectivas, todo ello haciendo una combina- Los instrumentos que se utilizan para eva- luar impactos en una población son costo- contrastadas y experimentadas. Ahora sos en tiempo y recursos, ya que suelen bien, la propuesta concreta que hacemos combinar análisis cuantitativos provenien- sí que es nueva. Los ingredientes que la tes de encuestas, análisis de costes, aná- componen no lo son, pero el resultado de lisis de los registros de servicios, junto con su combinación, sí lo es. La voluntad, ya entrevistas en profundidad y otros análisis lo hemos dicho, es encontrar un instru- cualitativos. Normalmente, las experien- mento que, siendo funcional en el objeti- cias de acción comunitaria disponen de vo que debe cumplir, no exija un gran pocos recursos para abordar las tareas de gasto de recursos ni unos conocimientos evaluación de impactos: ni los profesiona- alienos a los profesionales que lo tendrán 73 les que trabajan cotidianamente suelen que poner en práctica. IGOP – UAB ser especialistas en esta materia, ni es fre- Ajuntament de Barcelona cuente disponer de recursos económicos Con todo, hay que decir que estamos ha- para contratar evaluadores externos que blando de un taller que exige a las perso- Guía operativade evaluación de se encarguen. nas que participen una dedicación de casi la acción comunitaria cinco horas a lo largo de una jornada. Se Ya hemos hecho explícita en páginas an- puede considerar un tiempo excesivo teriores la voluntad clara de hacer una guía para la evaluación de acciones comunita- (cargos electos y altos directivos de la Ad- rias que sea útil y sencilla, fácil de usar por ministración, vecindad poco acostumbra- unos operadores (normalmente técnicos y da a participar u otros), pero no podemos profesionales de los servicios sociales, olvidar que estamos hablando de un ins- animadores socioculturales, técnicos co- trumento de evaluación participada de munitarios, etc.) que tienen otros encargos impactos, es decir, de un instrumento que y no suelen disponer de mucho tiempo seguramente usaremos cada dos o tres para dedicar a la tarea evaluadora. Esta años. voluntad de diseñar instrumentos de eva- luación fáciles de usar, pero sin perder Objetivo tarea evaluadora) nos plantea siempre el reto de encontrar un buen equilibrio entre Evaluar los impactos de un programa o estas dos exigencias (sencillez y funciona- de un proyecto comunitario en un barrio o lidad). Un reto que adopta una dimensión en la población de referencia a la que se importante cuando se trata de la evalua- dirige. ción de los impactos en una población, un barrio o una comunidad. Principios metodológicos La propuesta que presentamos, que bus- ca este equilibrio que comentamos, con- Se propone una metodología participativa siste en la realización de un taller de eva- (taller de evaluación) con combinación de luación con la participación de personas elementos y dinámicas inspiradas en dos instrumentos ampliamente contrastados y y profesionales, representantes institu- conocidos a nivel internacional: los talleres cionales, etc., que puedan aportar un de prospectiva EASW y las encuestas de- - liberativas. Condicionantes Resultados esperados Para que sea posible evaluar impactos La propuesta metodológica renuncia de en esta escala es necesario que la ac- entrada a obtener como resultado datos o ción comunitaria haya tenido tiempo de indicadores cuantitativos que midan el im- producirlos. Orientativamente, si pensa- pacto de la acción. Con todo, sí se espera mos en un PDC en un barrio, estima- que con esta propuesta se puedan identi- mos un periodo de tres años desde el inicio para poder evaluar los impactos. estos impactos en función de roles y posi- ciones en el proceso, grado de acuerdo o El desarrollo del taller requiere que algu- consenso en la valoración de los impactos nas personas se encarguen de facilitar o - moderar las sesiones de trabajo y el tos que hay que mejorar de la interven- plenario, y de elaborar las conclusiones ción. y hacer los informes respectivos. Es im- portante que las personas que están 74 haciendo el trabajo de facilitación se Dinámica de trabajo para el taller de dediquen a esto y no compaginen esta evaluación IGOP – UAB Ajuntament de Barcelona actividad con la participación en el ta- ller. (15 ‘) Presentación de los objetivos y de la Guía operativa metodología de trabajo en el taller. de evaluación de la acción comunitaria Convocatoria/Participantes (20 ‘) Encuesta inicial a todos los partici- pantes. La convocatoria se hace por “grupos fun- cionales” (grupos de personas que ocu- (75 ‘) Grupos funcionales. pan roles o posiciones similares en rela- ción con la acción comunitaria que se esté (30 ‘) Descanso. evaluando). Cada programa o proyecto puede establecer los grupos que quiere (30 ‘) Plenario de grupos funcionales. - des, pero la propuesta metodológica parte (50 ‘) Grupos mixtos. Por qué (factores ex- del ideario de la acción comunitaria en ternos y factores internos). Barcelona, que propone un tipo de inter- (30 ‘) Plenario de grupos mixtos. - sas condiciones), con la de técnicos y pro- (20 ‘) - fesionales de diversos servicios públicos y tes. la de cargos electos y representantes de instituciones. Idealmente, cada grupo (15 ‘) Cierre (síntesis, devolución…) debe estar formado por unas 6-9 perso- nas. Ejemplos de grupos funcionales son: promotores de la acción comunitaria; ciu- Proceso dadanía-vecindad; profesionales de los servicios públicos en el territorio; profesio- Encuesta inicial a todos los participantes nales de servicios públicos de fuera del territorio; comerciantes; representantes de Se distribuye el cuestionario individual de - evaluación de la acción comunitaria a to- cidades de la acción a evaluar. dos los asistentes al taller. Los cuestiona- rios son anónimos, pero llevan un código - los asociar al cuestionario que responde- mos de asistir. Una vez hecho este recor- Nos interesa poder comparar las valora- datorio, los debates en grupo deben con- ciones iniciales, antes de comenzar el ta- centrarse en una cuestión: De los cambios que hemos visto que se han producido en una vez celebradas las sesiones de traba- los últimos tres años, qué pensáis que ha jo y deliberación, pero no es importante sido sobre todo producto de factores ex- saber quién ha sido la persona concreta ternos al programa o proyecto comunita- que ha contestado. rio, y qué se puede atribuir directamente (como éxito o fracaso) al programa o pro- Grupos funcionales yecto (factores internos). Son grupos formados por personas que Plenario de grupos mixtos ocupan posiciones o desarrollan roles si- milares en relación al proceso comunitario Los portavoces de los diferentes grupos (por ejemplo: los técnicos de los servicios mixtos hacen una presentación en el ple- públicos del barrio, los vecinos y las veci- nario de las conclusiones a las que han nas —se podría diferenciar, en su caso, llegado sobre factores internos y factores 75 entre asociados y no asociados, o entre externos a la hora de explicar éxitos y fra- IGOP – UAB casos del programa o proyecto comunita- Ajuntament de Barcelona los comerciantes, etc.). Los grupos funcio- rio que estamos evaluando. nales deberán contestar, en el tiempo es- Guía operativade evaluación de tablecido y de la mano de alguna persona la acción comunitaria encargada de facilitar la reunión o el taller, las preguntas del Marco operativo (ver Una vez hecho el trabajo de taller (grupos cuadro núm. 1: Agenda de los grupos y plenarios), es el momento de pasar a la funcionales) tratando de consensuar las segunda ronda de la encuesta. El cuestio- posiciones y, si ello no es posible, de iden- nario es el mismo, las preguntas no varían, pero queremos ver si las opiniones han trata de preguntas abiertas, es necesario cambiado como resultado del diálogo que la persona que facilite o conduzca el mantenido con personas que tienen una debate vele por “controlar” el grado de experiencia diferente de la acción. Todos dispersión en las intervenciones. los participantes del taller deberán rellenar el cuestionario de manera individual. El Plenario de grupos funcionales cuestionario puede ser anónimo, pero lle- vará algún código que permita asociarlo al Durante el plenario, los diversos grupos cuestionario inicial hecho por la misma funcionales exponen las conclusiones a persona. las que han llegado. En este momento no se empieza ninguna discusión, pero sí se Cierre (agradecimientos, evaluación, devo- pueden hacer preguntas aclaratorias a los lución...) portavoces de los grupos. Dedicamos los últimos minutos del taller a Grupos mixtos dar los agradecimientos pertinentes y a hacer una evaluación impresionista de En los grupos mixtos mezclaremos a las cómo ha ido el taller (Diana, por ejemplo). personas provenientes de los diversos También debemos comprometernos a ha- grupos funcionales, de forma que la com- cer un informe con los resultados obteni- dos, que se distribuirá a todos los asisten- similar posible en cada grupo. El facilita- tes en una fecha cercana. dor empieza haciendo un recordatorio de las conclusiones principales del plenario de los grupos funcionales al que acaba- Instrumento 7 Taller evaluación de impactos en la comunidad-población Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del programa o proyecto para evaluar 1. ¿Crees que en los últimos tres años ha aumentado o ha disminuido la participación de los vecinos y vecinas en las actividades comunitarias del barrio? Ha aumentado, participa más gente. Ha disminuido, participa menos gente. Más o menos se mantiene igual. No sabe / No contesta. 2. Si piensas en los grupos sociales siguientes, ¿cuál dirías que ha sido su dinámica de participación en actividades comunitarias en el barrio en los últimos tres años? (+) La participación de personas de este colectivo ha ido en aumento en los últimos tres años. (-) La participación de personas de este colectivo ha disminuido en los últimos tres años. (+) (-) Gente joven Mujeres Niños Gente mayor Inmigrantes Comerciantes Gente que pertenece a entidades y asociaciones ¿...? I Evaluación de la acción comunitaria — Taller de evaluación de impactos en la comunidad-población [ [ 1 (en desacuerdo) - 2 (parcialmente de acuerdo) - 3 (muy de acuerdo) - 4 (totalmente de acuerdo) En los últimos dos años... 1 2 3 4 ... se nota que hay más vida social y asociativa en el barrio. ... han surgido nuevas entidades y asociaciones. ... hay más vecinos y vecinas participando en las asociaciones y entidades. … las entidades y asociaciones del barrio hacen más cosas juntas. ... las entidades y asociaciones del barrio organizan actividades que antes no se hacían. ... se han conseguido mejoras para el barrio gracias al papel activo de las entidades. 4. Si piensas en el barrio y en los cambios que se han producido en los últimos tres años. ¿Qué cosas dirías que han mejorado y que hacen que en el barrio se viva mejor? 5. Según tu parecer, ¿cuáles son las causas de las mejoras que se han producido en el barrio? 6. Si piensas en el barrio y en los cambios que se han producido en los últimos tres años. ¿Qué cosas dirías que han empeorado y que hacen que en el barrio se viva peor? 7. Según tu parecer, ¿cuáles son las causas del empeoramiento que se ha producido en el barrio? 8. ¿Cuáles crees que han sido las aportaciones principales de esta acción comunitaria? 9. Completa la siguiente frase. Si esta acción comunitaria no se hubiera producido... II Evaluación de la acción comunitaria — Taller de evaluación de impactos en la comunidad-población Sexo: Hombre Mujer Edad a. ¿Participas en alguna actividad comunitaria en el barrio? Sí No ¿Cuál o cuáles? b. ¿Cuánto tiempo hace que participas? (indica mes y año) c. ¿A cuál de los grupos o colectivos siguientes perteneces? Promotores de la acción comunitaria Ciudadanía-vecindad Profesionales de los servicios públicos del territorio Profesionales de los servicios públicos de fuera del territorio Representantes de las instituciones Otros. ¿Cuáles? III Evaluación de la acción comunitaria — Taller de evaluación de impactos en la comunidad-población Consideraciones y criterios para la re- Con electos y directivos de las administra- ciones nos puede interesar saber... Recopilar un análisis de los resultados Qué valoración hacen de los “procesos de las dos encuestas separada y com- de fort al ecimiento comunitario (empower- parativamente. ment)”: ¿desde su punto de vista han me- jorado las relaciones entre Administración Hacer un relato de las conclusiones de y entidades?, ¿han cambiado las formas los grupos de trabajo (funcionales y mixtos). Si ven los procesos y los espacios de Si es posible, contrastar las opiniones y trabajo comunitario como un recurso percepciones de los participantes del “aprovechable” para el conjunto de las taller con datos existentes. políticas públicas. ... 79 Agenda general de los grupos funcionales Con servicios públicos (servicios sociales, IGOP – UAB educación, salud...) nos interesa saber... Ajuntament de Barcelona Mantenemos la estructura “inclusión–for- talecimiento (empowerment)–condiciones - Guía operativade evaluación de de vida” del Marco operativo (MOE) para bajo entre servicios (transversalidad, in- la acción comunitaria confeccionar la agenda (los temas a tratar) tegralidad, cooperación, coproducción). del taller de evaluación. ¿Qué cambios se han producido en las relaciones servicios-población? ser tratadas en los grupos funcionales … Más allá de la agenda que sale directa- mente del MOE, es posible que con deter- Con entidades y asociaciones nos puede minados grupos funcionales nos interese interesar saber... contrastar o evaluar ciertos aspectos es- - que estamos ante un instrumento de eva- jo entre entidades? luación que utilizaremos para evaluar los impactos de un programa o proyecto en ¿Qué cambios se han producido en las una comunidad. Ponemos algunos ejem- relaciones con los servicios y los equi- plos: pamientos? Impactos del MOE Fortalecimiento Inclusión (empowerment) Condiciones de vida Comunidad ¿Participan en la ¿Ha mejorado la ¿Se alcanzan los objetivos sustan- acción comunita- capacidad organizativa tivos de la AC? ria personas nue- de la comunidad? ¿Han tenido lugar impactos no vas que antes no ¿Hay más capacidad de previstos o efectos indirectos que participaban? - ¿La AC incorpora nir un proyecto propio? ¿Se puede valorar la acción comu- actividades diri- ¿Ha mejorado la calidad nitaria como una acción preventiva gidas a colecti- democrática de las ante los problemas sociales que vos vulnerables? entidades? amenazan a la comunidad? 1.4. Para evaluar los espacios profesionales de trabajo INSTRUMENTO 8. Cuestionario de Hay que mantener una cierta periodicidad evaluación del equipo de un servicio en la evaluación del equipo de un servicio, se recomienda una periodicidad anual, aunque puede variar en función del ritmo y Indicaciones para pasar el cuestionario el despliegue de la acción comunitaria y de los cambios en la composición del equipo, Este cuestionario de evaluación se plantea entre otros. como una herramienta de autoevaluación para el equipo de un servicio que participa en una acción comunitaria. El análisis Tabla Síntesis cuestionario 8 planteado se centra en tres dimensiones, El equipo de un servicio. un nivel interno como equipo (referente a Qué los miembros que lo forman), un nivel ins- Quién Los técnicos del servicio que par- titucional (referente a este equipo dentro ticipan en la AC. de su organización o institución) y un nivel Cómo 1) Rellenar el cuestionario indivi- comunitario (referente al equipo en rela- 80 dualmente.ción al resto de actores, es decir, en re- 2) Vaciar el cuestionario. lación a los actores que no pertenecen a IGOP – UAB su organización o institución). 3) Reunión de trabajo para com-Ajuntament de Barcelona partir la valoración del vaciado, se Guía operativa Una vez cumplimentado el cuestionario, puede dinamizar a partir del guion - de evaluación de hay que hacer una valoración general de la acción comunitaria dad.los resultados. Haremos esta valoración en una reunión de trabajo con este objetivo. Para el desarrollo de la reunión de valora- ción Las personas facilitadoras de la reunión, que pueden formar parte del equipo, ha- cen un retorno de la síntesis de resultados y lo estructuran en los tres niveles de aná- lisis mencionados. A partir de aquí se abre un debate en el equipo. Para ello, os sugerimos una pro- puesta de guion para el debate, que pode- mos repetir en cada uno de los tres niveles de análisis: el nivel de trabajo interno, el nivel de trabajo institucional y el nivel de trabajo comunitario. ¿Cuáles son nuestros puntos fuertes y nuestros puntos débiles? ¿Qué cosas deberíamos mejorar para desarrollar mejor nuestra tarea? ¿Qué cosas con- cretas está a nuestro alcance cambiar a corto plazo? ¿Y a largo plazo? ¿Qué ha- cemos para cambiarlas? Para alcanzar este objetivo de cambio, ¿quién hace qué dentro del equipo (distribuimos y asignamos tareas)? Instrumento 8 Cuestionario de evaluación del equipo de un servicio Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Nivel interno los proyectos en cuanto a la acción comunitaria? No hay ningún documento*. Sí, hay algunos documentos, pero están dispersos, son parciales o están poco desarrollados. actividades del servicio en relación a la acción comunitaria. * Un equipo de SS que solo disponga del plan de centro deberá contestar “No hay ningún documento”. 2. En las últimas cinco semanas laborales, ¿cuántas horas de las reuniones internas del equipo se han dedicado a la agenda comunitaria? Menos de una hora. Entre una y cinco horas. Más de cinco horas. 3. Durante el último año, ¿cuántos profesionales del equipo han participado en espacios de forma- ción o investigación sobre acción comunitaria? Ningún profesional. Algunos profesionales, pero menos del 50%. Más del 50% de los profesionales del equipo. I Evaluación de la acción comunitaria — Cuestionario de evaluación del equipo de un servicio [ [ 4. En el último año o curso, ¿se ha cuestionado en el equipo la dedicación del servicio a la acción comunitaria? Sí, gran parte del equipo ha cuestionado la dedicación a la acción comunitaria. Sí, pero han sido pocas personas o cuestionamientos muy puntuales. No, ningún o casi ningún profesional del equipo la ha cuestionado. 5. ¿El equipo hace una evaluación de su estrategia comunitaria? Nunca o casi nunca. Sí, pero de manera poco sistemática (bastante informal). Sí, sistemáticamente. Nivel institucional 1. ¿El equipo comparte información con otros técnicos, áreas o servicios de la organización para el desarrollo de las acciones comunitarias? Normalmente, no. De vez en cuando, esporádicamente. Sí, regularmente. Indica qué tipo de informaciones 2. ¿El equipo desarrolla actividades comunitarias junto a otros técnicos, áreas o servicios de la orga- nización? Normalmente, no. De vez en cuando, esporádicamente. Sí, regularmente. Indica qué tipo de actividades 3. ¿El equipo reporta con regularidad a la dirección técnica del servicio (nivel superior) la estrategia comunitaria que desarrolla? Normalmente, no. De vez en cuando, esporádicamente. Sí, regularmente. Solo cuando se nos pide. 4. En el último año o curso, y pensando en los profesionales de vuestra institución de otras áreas o servicios con los que os relacionáis a causa de la acción comunitaria, ¿diríais que la cantidad de estos profesionales...? Ha disminuido. Se mantiene igual. Ha aumentado. II Evaluación de la acción comunitaria — Cuestionario de evaluación del equipo de un servicio 5. ¿Se producen solapamientos o confusión de roles entre los encargos de los diversos equipos o profesionales de la misma organización en cuanto a las acciones comunitarias que desarrolla el equi- po? Sí, con frecuencia. Sí, pero de manera puntual o esporádica. Normalmente, no. Nivel comunitario 1. ¿En el desarrollo de actividades o proyectos comunitarios, el equipo participa de espacios de trabajo con presencia de profesionales de otras organizaciones, administraciones o instituciones? Normalmente, no. Sí, asistimos, pero no tenemos un papel promotor. Sí, en un papel promotor o de liderazgo. 2. ¿El equipo intercambia información con otros servicios de otras organizaciones o instituciones? Normalmente, no. Sí, en determinados momentos puntuales. Sí, regularmente, participando en espacios técnicos de trabajo (mesas técnicas o similares). 3. ¿El equipo desarrolla proyectos junto a otros servicios de otras organizaciones? Normalmente, no. Sí, pero sin liderarlos ni ser los promotores. Sí, en un papel promotor o de liderazgo. 4. ¿El equipo participa de espacios de trabajo con presencia de entidades ciudadanas en el desarro- llo de actividades o proyectos comunitarios? Normalmente, no. Sí, en momentos puntuales. Sí, regularmente y compartiendo espacios de trabajo conjunto. Indica alguno 5. ¿Las actividades del equipo en el ámbito comunitario, ayudan al equipo en el desarrollo de su - cación, de salud, etc.)? Poco o nada. Pensamos que sí, pero de manera poco tangible. Sí, las actividades comunitarias en las que participamos nos ayudan claramente a lograr nuestros III Evaluación de la acción comunitaria — Cuestionario de evaluación del equipo de un servicio INSTRUMENTO 9. Cuestionario de Hay que tener una cierta periodicidad en la evaluación de una mesa técnica evaluación del equipo de un servicio, se recomienda una periodicidad anual, aun- que puede variar en función del ritmo y el Indicaciones para pasar el cuestionario despliegue de la acción comunitaria y los cambios en la composición del equipo, Este cuestionario de evaluación se plantea entre otros. como una herramienta de autoevaluación para una mesa técnica que participa o im- pulsa una acción comunitaria. El análisis planteado se centra en tres dimensiones: un nivel interno como mesa técnica (refe- rente a la relación y el trabajo entre los miembros que la forman), un nivel institu- cional (referente a los miembros del equi- Tabla Síntesis cuestionario 9 po en relación a las organizaciones o insti- Qué Una mesa técnica. 84 tuciones a las que pertenecen) y un nivel Quién Las personas que participan en la comunitario (referente a los equipos en IGOP – UAB mesa técnica. Ajuntament de Barcelona relación con el resto de actores, es decir, en relación con los actores que no perte- Cómo 1) Rellenar el cuestionario necen a su organización o institución). individualmente.Guía operativa de evaluación de 2) Vaciar el cuestionario. la acción comunitaria Una vez cumplimentado el cuestionario, 3) Reunión de trabajo para hay que hacer una valoración general de compartir la valoración del los resultados. Haremos esta valoración en vaciado, se puede dinamizar a una reunión de trabajo con este objetivo. partir del guion que se propone Para el desarrollo de la reunión de valora- ción Las personas facilitadoras de la reunión, que pueden formar parte de la mesa, ha- cen un retorno de la síntesis de resultados y lo estructuran en los tres niveles de aná- lisis mencionados. A partir de aquí se abre un debate en el equipo. Para ello, os suge- rimos una propuesta de guion para el de- bate, que podemos repetir en cada uno de los tres niveles de análisis: el nivel de tra- bajo interno, el nivel de trabajo institucio- nal y el nivel de trabajo comunitario. ¿Cuáles son nuestros puntos fuertes y nuestros puntos débiles? ¿Qué cosas deberíamos mejorar para desarrollar mejor nuestra tarea? ¿Qué cosas con- cretas está a nuestro alcance cambiar a corto plazo? ¿Y a largo plazo? ¿Qué ha- cemos para cambiarlas? Para alcanzar este objetivo de cambio, ¿quién hace qué en la mesa (distribuimos y asigna- mos tareas)? Instrumento 9 Cuestionario de evaluación de una mesa técnica Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Nivel interno 1. ¿Cuántas reuniones ha hecho la mesa técnica en los últimos meses? 1. 2. 3 o más. Nota: pondremos, 3, 9 o 12 meses en función de si se trata de un comité técnico (12), de una mesa de programa (9) o de una mesa de proyecto. 2. ¿Se distribuye, con más de cuatro días de antelación al desarrollo de las reuniones, un orden del día de los temas que deben tratarse y la documentación adicional pertinente (actas de la reunión anterior, documentación de apoyo, etc.)? Normalmente, no. El orden del día, sí, pero normalmente no se reparte con antelación ninguna otra documentación. Sí, se suele distribuir con antelación el orden del día y la documentación. 3. ¿La mesa dispone de un documento comunitaria? No hay ningún documento. Hay algunos documentos, pero son parciales. Sí, tenemos un documento de objetivos y estrategia en relación a la acción comunitaria. I Evaluación de la acción comunitaria — Cuestionario de evaluación de una mesa técnica [ [ 4. ¿La mesa ha hecho a lo largo del curso o año pasado alguna evaluación de su estrategia comu- nitaria? No. Sí, pero de manera poco sistemática (bastante informal). Sí, formalmente y sistemáticamente. 5. ¿Se han incorporado en el último año cambios en las formas de trabajar de la mesa? A unque algunas dinámicas de trabajo no acaban de funcionar, no hemos sido capaces de intro- ducir cambios. Sí, hemos introducido algunos cambios, pero como respuesta a situaciones imprevistas (altas o bajas de servicios, etc.). - tados de la evaluación realizada. La dinamización de la mesa ha estado siempre a cargo del mismo servicio o entidad. Nivel institucional 1. ¿Los técnicos que participan comparten la información generada en la mesa con otros técnicos, áreas o servicios de su organización? Normalmente, no. De vez en cuando, esporádicamente. Sí, regularmente. 2. ¿Los servicios que participan en la mesa reportan con regularidad la estrategia comunitaria que desarrollan en la mesa a la dirección técnica de su servicio? Normalmente, no. De vez en cuando, esporádicamente. Sí, regularmente. servicios presentes en la mesa y sus respectivos departamentos, áreas u organizaciones en relación a la participación en acciones comunitarias? N o nos relacionamos con otros departamentos o áreas de nuestra organización con motivo de la participación en esta mesa técnica. T enemos relaciones muy puntuales u ocasionales con otros departamentos o áreas de nuestra organización con motivo de la participación en esta mesa técnica Trabajamos regularmente con equipos o profesionales de otros departamentos o áreas de la orga- nización con motivo de la participación en esta mesa técnica. 4. ¿Hay protocolos o acuerdos formales de derivación o colaboración entre los servicios o las insti- tuciones que participan en la mesa? No. Sí, en el caso de unos pocos servicios. Sí, para la mayoría de servicios que forman parte de la mesa. II Evaluación de la acción comunitaria — Cuestionario de evaluación de una mesa técnica “La mesa técnica funciona más como resultado del compromiso personal de los profesionales que participan que por el compromi- so de los servicios a los que pertenecen estos profesionales”? Totalmente de acuerdo. Parcialmente de acuerdo. Nada de acuerdo. Nivel comunitario 1. ¿Cuál es el resultado principal de la mesa? Gracias a participar en la mesa, nos hemos conocido y eso siempre abre puertas a futuras cola- boraciones. pequeñas colaboraciones, aunque no ha supuesto ninguna acción nueva. La participación en la mesa ha permitido compartir alguna acción conjunta entre servicios. 2. ¿Se han construido de manera compartida o participada los diagnósticos y los objetivos de trabajo de la mesa? No, los propuso uno de los servicios o equipos. Sí, pero hace más de tres años. Sí, y hace menos de tres años. 3. ¿La mesa ha organizado en el último año o curso alguna actividad de formación dirigida a todos los profesionales que forman parte de ella? No. Se han hecho algunas actividades de formación, pero solo para algunos servicios (comisiones de trabajo de la mesa). Sí, la mesa ha organizado formación dirigida a todos sus participantes. 4. ¿La mesa ha organizado en el último año alguna actividad comunitaria junto a otras entidades o grupos de ciudadanos? No. Sí, pero con una baja implicación de entidades o grupos de ciudadanos. Sí, con una alta implicación de entidades o grupos de ciudadanos. Vamos a las reuniones de la mesa por mandato o encargo institucional, pero la verdad es que no nos sirve de mucho. La mesa es útil en algunos momentos o en algunos aspectos puntuales, pero nada más. Las actividades y funciones de la mesa son útiles y nos ayudan claramente a lograr nuestros ob- jetivos como servicio. III Evaluación de la acción comunitaria — Cuestionario de evaluación de una mesa técnica INSTRUMENTO 10. Cuestionario de ¿quién hace qué dentro del equipo (dis- evaluación de un equipo comunitario tribuimos y asignamos tareas)? Hay que mantener una cierta periodicidad Indicaciones para pasar el cuestionario en la evaluación del equipo de un servicio, se recomienda una periodicidad anual, Este cuestionario de evaluación se plantea aunque puede variar en función del ritmo y como una herramienta de autoevaluación el despliegue de la acción comunitaria y para un equipo comunitario, el cual organi- los cambios en la composición del equipo, za y dinamiza el proceso de trabajo y la entre otros. estrategia relacional en una acción comu- nitaria. El análisis planteado se centra en tres dimensiones: un nivel interno como equipo comunitario (referente a la relación y el trabajo entre los miembros que lo constituyen), un nivel institucional (referen- 88 te a la relación del equipo con la entidad o servicio que los contrata o hace el encargo Tabla Síntesis cuestionario 10 IGOP – UAB Ajuntament de Barcelona de trabajo) y un nivel comunitario (referen- Qué Un equipo comunitario. te al equipo en relación con los actores del Quién Los miembros que constituyen el Guía operativa territorio). equipo comunitario. de evaluación de la acción comunitaria Una vez cumplimentado el cuestionario, Cómo 1) Rellenar el cuestionario hay que hacer una valoración general de individualmente. los resultados. Haremos esta valoración en 2) Vaciar el cuestionario. una reunión de trabajo con este objetivo. 3) Reunión de trabajo para compartir la valoración del Para el desarrollo de la reunión de valora- vaciado, se puede dinamizar a ción partir del guion que se propone Las personas facilitadoras de la reunión, que pueden formar parte del equipo, ha- cen un retorno de la síntesis de resultados y lo estructuran en los tres niveles de aná- lisis mencionados. A partir de aquí se abre un debate en el equipo. Para ello, sugerimos una propues- ta de guion para el debate, que podemos repetir en cada uno de los tres niveles de análisis: el nivel de trabajo interno, el nivel de trabajo institucional y el nivel de trabajo comunitario. ¿Cuáles son nuestros puntos fuertes y nuestros puntos débiles? ¿Qué cosas deberíamos perfeccionar para desarro- llar mejor nuestra tarea? ¿Qué cosas concretas está a nuestro alcance cam- biar a corto plazo? ¿Y a largo plazo? ¿Qué hacemos para cambiarlas? Para alcanzar este objetivo de cambio, Instrumento 10 Cuestionario de evaluación de un equipo comunitario Calidad [ instrumentosacciones 1, 2, 3, 4 EVALUACIÓN acción comunitaria Espacios de trabajo Impactos profesionales individuo / grupo / población instrumentos instrumentos 8. 9, 10 5, 6, 7 Nombre del proyecto: Promotor de la acción: Correo electrónico: Nivel interno - nitaria más allá de la programación de actividades? No. Disponemos del proyecto anual (programación de actividades). plan comunitario. 2. ¿En el último año o curso, han participado profesionales del equipo en espacios de formación o investigación aplicable a la actividad profesional? Sí, ¿cuántas horas? No. 3. ¿Cómo están repartidas dentro del equipo las tareas y las responsabilidades en referencia a la acción comunitaria? No existe un reparto de tareas y responsabilidades, entre todos lo vamos haciendo todo. H ay una persona del equipo que se encarga, solo en el caso de algunas tareas o funciones muy puntuales. Disponemos de un reparto muy claro de tareas y funciones en el trabajo diario. I Evaluación de la acción comunitaria — Cuestionario de evaluación de un equipo comunitario [ [ Por lo general, siempre hacemos más o menos lo mismo. Vamos cambiando el trabajo e incorporamos nuevas actividades o relaciones comunitarias cada año, pero de manera bastante improvisada. Vamos cambiando el trabajo e incorporamos nuevas actividades o relaciones comunitarias cada 5. ¿El equipo hace anualmente una evaluación de su estrategia comunitaria? Normalmente, no. Sí, pero de manera poco sistemática (bastante informal). Sí, sistemáticamente. ¿Con qué periodicidad? Nivel institucional 1. ¿En el último mes, se ha hecho alguna reunión entre el equipo comunitario y la entidad gestora (o equivalente) para compartir información sobre el desarrollo del plan comunitario? No. Una reunión. Más de una reunión. - vamente la estrategia del plan comunitario? No hay directrices políticas, es cuestión de los técnicos. Hay directrices políticas, pero de manera puntual o dispersa. Sí, hay una dirección política que marca de manera clara las líneas a seguir en el plan comunitario. 3. ¿El plan de trabajo del plan comunitario se ha hecho con la participación de la entidad gestora (o equivalente)? No, la entidad gestora no ha participado en la elaboración del plan de trabajo. La entidad gestora ha participado puntualmente en algunos debates. Sí, la entidad gestora ha participado activamente en todo el proceso. 4. ¿Existen espacios regulares de comunicación entre el equipo comunitario y la entidad gestora (o similar)? No. Sí, esporádicos y/o por cuestiones extraordinarias. Sí, nos encontramos regularmente. - cen solapamientos o confusiones? Los roles no están muy claros y se producen confusiones o solapamientos con frecuencia. Sí, se producen confusiones o solapamientos, pero de manera puntual o esporádica. II Queda claro lo que le corresponde hacer a cada cual y no hay confusiones. Evaluación de la acción comunitaria — Cuestionario de evaluación de un equipo comunitario Nivel comunitario 1. ¿El equipo participa de espacios de trabajo con presencia de profesionales de los servicios en el barrio? No. Sí, asistimos, pero no tenemos un papel promotor. Sí, tenemos un papel promotor o de liderazgo. Sí, colideramos el espacio. 2. ¿El equipo desarrolla proyectos conjuntamente con profesionales de los servicios públicos del barrio? No. Sí, pero sin liderar ni ser promotores. Sí, en un papel promotor o de liderazgo. Sí, compartimos el liderazgo. 3. Atribuye un porcentaje del tiempo que dedicas a las siguientes tareas (entendiendo que el 100% es tu jornada). Administración y gestión. Realización/ejecución de actividades. Relaciones con nuevos agentes. Otros. 4. ¿Durante el último año o curso, se ha incorporado gente nueva (ciudadanía) al plan comunitario? No, somos los mismos que hace un año. Sí. Indica cuántos del total de participantes son nuevos de este último año o curso. ciudadanas que no participan en el plan comunitario? Casi no nos relacionamos. Tenemos relaciones muy puntuales y ocasionales y de carácter formal. Tratamos de relacionarnos con relativa frecuencia. III Evaluación de la acción comunitaria — Cuestionario de evaluación de un equipo comunitario 2. INSTRUMENTOS Y DINÁMICAS DE EVALUACIÓN CUALITATIVA O PARTICIPATIVA INSTRUMENTO 11. Reunión de evalua- cómodo y que nos podamos ver las ca- ción con un grupo o espacio comunitario ras unos a otros (disposición en círculo o similar). Indicaciones para utilizar el instrumento c) trabajo (subgrupos, soportes) se hace Este instrumento de evaluación se plantea difícil pensar en una reunión con un gru- como una dinámica-metodología para la po muy numeroso de personas. evaluación de un espacio comunitario (por ejemplo, en el caso de los PDC, “el grupo d) La persona que facilite la reunión debe comunitario”) y plantea el espacio de tra- dejar bien claro, al principio, cuál es el bajo para la realización de la evaluación objetivo del encuentro, y durante su de- entre los miembros que lo integran. sarrollo tendrá que intentar reconducir las intervenciones hacia este objetivo Se recomienda una periodicidad anual cuando vea que se desvían demasiado para la realización de esta evaluación, hacia temas que no son objeto de eva- 92 aunque siempre dependerá de la regulari- luación. dad de convocatoria del espacio, de la di- IGOP – UAB Ajuntament de Barcelona námica de trabajo, etc. e) Dependiendo de lo que queramos eva- luar, puede ser necesario hacer una in- Guía operativa troducción presentando algún tipo de de evaluación de Explicación del instrumento información. Es necesario que esta pre- la acción comunitaria sentación sea ágil y no ocupe mucho A menudo, las personas que facilitan las di- tiempo: no más del 25% del tiempo to- námicas de grupo no disponen de mucho tal del que disponemos (se puede haber tiempo para dedicar a la evaluación, no ven enviado previamente la información con factible incorporar al grupo dinámicas que la convocatoria y el orden del día). - das” o, simplemente, se considera que lo f) Debemos procurar que todo el mundo más adecuado, dado el momento y las ca- hable y pueda decir lo que piensa, y racterísticas del grupo, es hacer un en- tendremos que estar atentos para que cuentro o reunión para hablar y hacer la nadie “secuestre el micrófono” con in- evaluación de una manera abierta y poco tervenciones constantes o excesivamen- pautada. te largas. Para facilitarlo, comenzare- mos presentándonos y explicando muy Sin embargo, optar por hacer un encuentro claramente las “reglas del juego”. cosas se puedan hacer de cualquier mane- g) Conviene que las ideas principales y los ra. Habrá que tener bien presentes ciertos acuerdos que se produzcan a lo largo aspectos que es importante no perder de - vista aunque se trate de una reunión de eva- nera visible en un mural, una pizarra o luación en la que no se introducen dinámi- una pantalla. h) Una evaluación no consiste únicamente a) Debemos asegurarnos que hemos he- en señalar las cosas negativas o que no cho una buena convocatoria, invitando funcionan. Es muy importante recono- a todas las personas que queremos que cer lo que hacemos bien, lo que funcio- estén presentes en la reunión y esco- na y puede o debe ser motivo de cele- giendo un día y una hora que lo facilite. bración o reconocimiento. b) La sala donde se realice la reunión debe i) La evaluación será más útil y “construc- permitir que todo el mundo pueda estar tiva” si somos capaces de diferenciar la crítica al “funcionamiento” de la crítica a mos para estos objetivos o nos hemos la “persona”, y también si somos capa- desviado hacia otro foco? ces de precisar el foco de la crítica: que Participantes: ¿Quién participa en el no funcione. Así, por ejemplo, no es lo grupo y quién debería participar? Pre- mismo decir “Los servicios públicos tie- sentados los objetivos: ¿Hay colectivos nen unos horarios que no les permiten - incorporarse a las dinámicas comunita- tados en el grupo y deberían estarlo? rias” o “Los servicios públicos dedican ¿Cuáles? poco tiempo a trabajar de manera comu- nitaria”, que decir “Los servicios públi- Dinámica de funcionamiento interno: cos no hacen nada o no sirven para ¿Cómo valoramos las reuniones, la in- nada”. La persona que facilita o modera formación que nos llega, la puntualidad la reunión puede ir introduciendo esta y todos los aspectos que tengan que idea si ve que la evaluación toma esta ver con el funcionamiento interno y co- deriva, pero tendrá que procurar que, al tidiano del grupo? hacerlo, ningún asistente se vea directa- 93 mente “recriminado”. Relaciones comunitarias del grupo: IGOP – UAB ¿Es un grupo abierto, que se relaciona Ajuntament de Barcelona j) Una posible agenda de temas para tra- con otros grupos, profesionales, servi- tar en una reunión de evaluación del cios o equipamientos para hacer co- Guía operativade evaluación de funcionamiento de un grupo o espacio sas? ¿Por qué? la acción comunitaria de trabajo comunitario podría ser la si- guiente: k) Desde el comienzo, se habrá previsto hacer un cierre de la sesión en la que se Objetivos: Recordemos los objetivos. explique cómo se recogerá todo lo que ¿Cuáles son los objetivos de este gru- se ha debatido y como haremos que lle- po? ¿Siguen siendo válidos? ¿Trabaja- gue a todos los participantes. INSTRUMENTO 12. DAFO Esquema de organización de la infor- mación en un DAFO Indicaciones para utilizar el instrumento Puntos débiles Puntos fuertes Presente Debilidades Fortalezas o Este instrumento de evaluación se plantea que hay elementos como una dinámica-metodología para la corregir para poten- evaluación de una acción comunitaria al ciar/mantener partir de la participación de los diferentes Futuro Amenazas Oportunida- actores implicados o de los actores que la que hay que des que hay quieren impulsar. Su aplicación, en cuanto afrontar que explorar a periodicidad y temporalidad, puede ser muy diversa, desde los momentos iniciales Desarrollo de la metodología los momentos más avanzados para reorien- tar las prácticas después de dos o tres De entrada, es muy importante tener en 94 años de trabajo. Su idoneidad en la aplica- ción siempre dependerá del momento en que nos interesará que participen en la IGOP – UAB Ajuntament de Barcelona que se encuentra la experiencia concreta. construcción del DAFO y cuál será el pro- yecto concreto que queremos evaluar, el Guía operativa El DAFO (debilidades, amenazas, fortale- programa de acción comunitaria en gene- de evaluación de zas y oportunidades) es un instrumento de la acción comunitaria evaluación ideal para hacer diagnósticos, tanto de un territorio como de una realidad A continuación, rellenamos por orden los di- en concreto o de alguna dimensión de la ferentes cuadrantes del DAFO; nuestra re- acción comunitaria. Si utilizamos este ins- comendación es que se haga en orden tem- trumento en diferentes momentos y com- poral, es decir, pensando en clave de paramos los resultados, podremos tener presente y luego en clave de futuro, aunque una visión de los avances que nos permiti- siempre se puede ir hacia adelante y hacia rá construir una proyección futura. elementos presentes: debilidades y forta- Encontraréis mucha bibliografía sobre el lezas actuales. Y en segundo lugar, los DAFO, y en esta guía os lo presentamos e lementos futuros, las amenazas como el e- como una herramienta de sistematización men tos que pueden aparecer o tener una incidencia negativa en el futuro, y las oportu- clave positiva-negativa, presente-futuro, nidades como elementos externos a noso- interna y externa. tros que podrían ser favorables en el futuro. Ejemplo Puntos débiles (-) Puntos fuertes (+) Presente DEBILIDADES FORTALEZAS Poca implicación de los vecinos del Implicación y conocimiento de otras barrio en la organización de activida- experiencias del equipo comunitario. des. Existencia de un espacio de referencia Compromiso irregular de los servicios con vistas a la participación vecinal públicos... (grupo comunitario)... Futuro AMENAZAS OPORTUNIDADES - ... ción... 3. INSTRUMENTOS PARA UNA EVALUACIÓN IMPRESIONISTA Hablamos de evaluación impresionista asistentes y, por lo tanto, su incorporación para referirnos a toda una serie de instru- a los procesos de mejora de la actividad o mentos y dinámicas de evaluación que del proceso de trabajo. Estamos hablan- quieren recoger las impresiones (opinio- do, para entendernos, de aquellas evalua- nes, valoraciones, propuestas) de las per- ciones que no cuesta mucho hacer y que sonas que han participado en una deter- son fáciles de compartir e interpretar. minada actividad, apenas terminada esta - El conjunto de instrumentos que presenta- nión, de una jornada, etc. La propuesta de mos a continuación pretende, a partir de la instrumentos que presentamos está muy espontaneidad de los participantes, de arraigada en las metodologías del trabajo sus percepciones e impresiones, hacer con grupos, el trabajo comunitario y la una evaluación rápida y visual que nos educación popular, cuando buscan facili- permita profundizar a posteriori. El com- tar la expresión, la subjetividad y la viven- ponente visual es clave, ya que facilita mu- cia del momento. Se trata de instrumentos cho el uso del instrumento y la lectura, la que facilitan una evaluación sencilla y tam- comprensión y el debate posterior de los bién útil, ya que las impresiones recogi- resultados obtenidos. 95 das, además de dar normalmente buenas IGOP – UAB “pistas” sobre cómo ha funcionado la acti- En resumen, la participación (evaluación Ajuntament de Barcelona vidad, o cuál ha sido la vivencia de los par- participada), la espontaneidad y el ele- ticipantes, también permiten una fácil so- mento visual son los pilares centrales de Guía operativade evaluación de cialización de los resultados de todos los este tipo de instrumentos de evaluación. la acción comunitaria - ción de una actividad (ordenadas), la “intensidad”. El mensaje que debe dirigirse a las personas que ha- cen la evaluación es del tipo: “Dibuja en el (reunión de trabajo, sesión de formación, taller, jornada...) nos permite ver de mane- la sesión y si han tenido lugar ‘momentos ra ágil la percepción que tienen los partici- pantes de cómo se ha desarrollado, en destacarías.” - tes o descendientes) y “momentos críti- Hay que insistir en que no es importante cos” que, por una razón u otra, se quieren saber dibujar ni ser especialmente preci- destacar. Una vez hecho el dibujo, hay que sos. Solo se trata de hacer un dibujo rápi- ponerle “letra” y explicar las razones por do donde se puedan ver los “puntos de las cuales se han destacado estos mo- mentos y por qué las tendencias son as- cendentes o descendentes. De hecho, se Los participantes dibujarán la evolución 96 trata de poder plantear preguntas del tipo: de la sesión en forma ascendente cuando “¿Qué pasaba en este momento que el la actividad ha funcionado bien, y descen- IGOP – UAB Ajuntament de Barcelona diente cuando la evolución iba de más a menos, y señalarán con un punto los mo- Guía operativa mentos críticos o especiales que quieren de evaluación de que la actividad concreta comienza, y has- la acción comunitaria ta que esta termina, cómo ha “funciona- do” o “evolucionado”, como si se tratara de un indicador económico que sube o baja de manera más suave o abrupta en que explicar las razones por las que el grá- función de cómo se comporta la econo- - mía. va, y qué ha pasado en los momentos que han destacado. Como se trata de un ejer- cicio individual, no tiene por qué coincidir, Desarrollo de la dinámica y la divergencia o consenso puede permi- Entregamos una hoja en blanco a los par- ticipantes y les pedimos que dibujen cómo y cuál ha sido su valoración. ha sido la evolución de la sesión según su punto de vista. Deberán hacer este dibujo El ejercicio se comparte una vez realizado. en un sistema de coordenadas cartesia- colocan en un lugar visible para todos. Ejemplo + Cierre del trabajo en grupos pequeños Inicio de las dinámicas participativas – Tiempo de la sesión Intensidad INSTRUMENTO 14. La línea del tiempo comunitaria, cómo recuerdan que era todo antes de empezar o en los momen- La línea del tiempo nos permite —de ma- tos iniciales, qué etapas han tenido lugar, nera muy visual— poder conocer la evolu- qué cosas les impactaron, qué cosas los ción de un proyecto o programa, los mo- motivaron, y deben intentar expresarlo en imágenes o dibujos en la línea del éxito, sus impactos, etc., según la percep- tiempo. ción y vivencia de los participantes. Para facilitar este trabajo podemos darles Se plantea como una dinámica grupal que a los participantes revistas y periódicos desarrollarán las diferentes personas par- para que puedan recortar imágenes que ticipantes en la acción comunitaria. los ayuden a visualizar cómo ha sido el proceso. Lo más importante es la creativi- dad y la capacidad de explicación e inter- Desarrollo de la sesión pretación de las imágenes. Dibujamos una línea horizontal en un pa- Posteriormente, de manera colectiva, se 97 pel grande (cuanto más grande, más claro construirá la línea del tiempo a partir de las IGOP – UAB y visual será el ejercicio de evaluación), la imágenes o dibujos que han colocado los Ajuntament de Barcelona línea tendrá como punto de inicio el co- diferentes participantes. Este dibujo debe- mienzo del proyecto, o momentos inme- rá facilitar la construcción de un relato de Guía operativade evaluación de diatamente anteriores, y como punto de la acción comunitaria momentos de mayor éxito, de fracasos o de impactos, y señalar qué cosas eran de- Con este ejercicio los participantes de- terminantes en cada momento para que ben pensar en su vivencia en esta acción eso fuera así. Ejemplo Antes Junio Enero Junio Diciembre Año 2013 del 2010 2010 2011 2011 2011 2012 (actualidad) Dedicamos el primer semestre del 2011 a pensar hacia dónde queríamos ir, y por eso elegimos la Ejemplo de relato construido imagen de un faro. de manera colectiva En diciembre del 2011 conseguimos organizar la primera actividad de manera conjunta: fue un mo- “Hasta el 2010 todo era como un desierto, está- mento de mucha ilusión colectiva, todo surgió se- bamos aislados y nadie hacía nada con nadie. gún lo previsto, un éxito. En junio del 2010 fue cuando se planteó el inicio Desde ese momento, hemos estado trabajando de la acción comunitaria, pero no fue fácil, ya que todos juntos. era una disputa constante, no sabíamos dialogar, Ahora, en el 2013, estamos mejor organizados, por no sabíamos trabajar juntos. - Recuerdo que fue en enero del 2011 cuando se mienza a funcionar, que cada cual asume compro- incorporó Pere, del AMPA, al grupo impulsor: con misos, y que somos capaces de encontrarnos re- su humor y su capacidad de consenso fue como gularmente para explicarnos los avances del plan si saliera el sol. : ) : ) : ) : ) : ) INSTRUMENTO 15. Termómetro nea simula un termómetro que mide el grado de acuerdo o desacuerdo con las El termómetro es una dinámica de re- - namiza la sesión. participación de todas las personas pre- sentes en la sesión. Quizás no todo el A continuación, el dinamizador preguntará mundo hablará, pero todo el mundo podrá a los participados por qué se han coloca- expresar lo que piensa a partir del movi- do en esa posición, dará palabras e irá de miento. Este mismo movimiento facilita un extremo a otro del termómetro para que la sesión sea ágil y divertida y que la animar el debate. Una vez hechas varias gente se anime a participar mientras pasa intervenciones, el dinamizador podrá re- un buen rato. aportaciones que hacen los participantes, Lo podremos utilizar para evaluar accio- e invitarlos para que se vuelvan a posicio- nes, actores o impactos, dependerá úni- 98 que formulemos. Es una herramienta muy Ejemplo: Y si digo... “Los liderazgos son recomendable para que hablen todos o, al necesarios, pero deben ejercerse facili- IGOP – UAB Ajuntament de Barcelona menos, para hacer que se posicionen. tando la participación de todos en la toma de decisiones.” Guía operativa de evaluación de Desarrollo de la dinámica la acción comunitaria dinamizador, haya alguna persona que Nos ubicamos en una sala que tenga un tenga la función de tomar nota de los de- espacio amplio, para que los participantes bates para poder hacer un retorno a los puedan moverse con facilidad. El dinami- participantes como cierre de la sesión de zador de la sesión trazará en el suelo una trabajo, y posteriormente hacer un resu- línea recta imaginaria y se colocará en un men. extremo de esta línea. Después pronun- - Presentamos a continuación algunos ejem- nerar controversia entre los participantes. - - tundentes”, que se podrían formular en el ras, contundentes, e incluso un poco am- marco de una sesión de termómetro para biguas en cuanto a posibles interpretacio- evaluar. Como decíamos, el objetivo es nes para facilitar que la gente tome generar inicialmente una cierta controver- posiciones que habrá que matizar o expli- sia, hacer que la gente se posicione, y car en el debate posterior. No serviría de abrir el debate. Es ideal que consideréis la mucho presentar unos postulados con los realidad de la acción comunitaria para ha- que todo el mundo esté claramente de cer emerger los temas que costaría poner acuerdo o en desacuerdo. sobre la mesa en un espacio más formal de trabajo. Ejemplo: “Es imposible la participación horizontal, necesitamos que alguien li- dere y el resto lo seguimos.” Los participantes deberán posicionarse sobre la línea imaginaria dibujada en el suelo en función del grado de acuerdo o - tén más de acuerdo se situarán más cerca del dinamizador, y los que estén más en desacuerdo lo harán más lejos. Así, la lí- Ejemplo. Para evaluar las dimensiones, la calidad de las acciones No es necesario hacer estudios ni diagnósticos: ¡todo el mun- do sabe cuáles son los problemas del barrio! No es necesario hacer estudios ni diagnósticos:¡todo el mun- do sabe lo que el barrio necesita! … Organización Hacemos muchas reuniones y poco trabajo: las reuniones no sirven para nada. Trabajar por ámbitos multiplica los esfuerzos, muchas reunio- nes y pocos resultados. … Participación que hacer. … 99 Sostenibilidad T odos lo hacemos todo. A este ritmo, todo el mundo se que- IGOP – UAB mará y se irá. Ajuntament de Barcelona L a cosa no funciona porque la gente no paga. Guía operativa de evaluación de … la acción comunitaria INSTRUMENTO 16. CAP (critico-aplau- Entre uno y tres aspectos que valoren do-propongo) positivamente y que, por lo tanto, aplau- dan. La técnica de evaluación CAP (critico- aplaudo-propongo) permite hacer una Alguna propuesta de mejora de la acti- evaluación rápida y visual a través de la vidad (máximo tres). positivos y negativos y, al mismo tiempo, Una vez hecho este ejercicio, se pide a los de propuestas de mejora o cambio. Es una participantes que lo peguen en la pared, buena herramienta para evaluar el desa- en tres sitios diferenciados, uno para las rrollo de una actividad, jornada, encuentro aportaciones “aplaudo”, otro para las apor- o sesión de trabajo o de formación. taciones “critico”, y el otro para las aporta- ciones “propongo”. Desarrollo de la dinámica Siempre recomendamos comenzar los diagnósticos y las valoraciones por los as- 100 pectos positivos para que no queden “en- trabajo para evaluar, damos a los partici- terrados” bajo la capa de las críticas, que IGOP – UAB Ajuntament de Barcelona pantes cartulinas, papelitos o similares, y acostumbramos a hacer con más facilidad les pedimos que escriban, de forma clara y profusión. Guía operativa y en mayúsculas, para que todo el mundo de evaluación de lo pueda leer después: La idea es que todos puedan ver luego lo la acción comunitaria que ha salido. El hecho de que las aporta- Entre una y tres críticas o aspectos que ciones sean anónimas y se deban concre- consideren que se deberían mejorar. tar en una única frase facilita el desarrollo del ejercicio y permite que la evaluación sea compartida por todos. Evaluación CAP Critico Aplaudo Propongo 1. 1. 1. 2. 2. 2. 3. 3. 3. INSTRUMENTO 17. Diana de evalua- nes) y escribimos el nombre de cada una ción de estas dimensiones en la parte corres- pondiente. Es aconsejable no abarrotar La diana de evaluación es una herramienta demasiado el dibujo de la diana con mu- sencilla que nos permite evaluar las di- chas porciones (se recomienda que no mensiones que consideramos más rele- sean más de cuatro). Así será más visual y vantes de la acción comunitaria, de una comprensible. manera rápida y ágil, a partir de las impre- siones de los participantes. Los círculos concéntricos de la diana de- terminarán la máxima puntuación al acer- carnos al centro y la mínima al alejarnos. Desarrollo de la dinámica Para hacer la evaluación repartiremos en- Dibujamos una diana en un papel o en una tre los asistentes las “papeletas de voto”, cartulina grande para que sea visible y ac- que en este caso deben ser puntos adhe- cesible a los participantes. Al dibujarla, la sivos (pegatinas) que puedan enganchar- dividimos en el número de dimensiones se fácilmente en la diana: un voto o pega- 101 que queremos evaluar (hacemos porcio- tina por persona y dimensión o porción. IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Ejemplo de diana para la evaluación de una sesión informativa Cuatro dimensiones Capacidad didáctica del docente Capacidad didáctica del docente Aplicabilidad de los contenidos trabajados Aplicabilidad Documentación de los Documentación complementaria contenidos complementaria trabajados Metodología de trabajo Metodología de trabajo 4. INSTRUMENTOS PARA LA RECOGIDA Y LA SISTEMATIZACIÓN DE INFORMACIÓN INSTRUMENTO 18. Modelo de acta es necesario que la persona tenga en cuenta hacer un registro de: Un buen registro del funcionamiento de los espacios de trabajo, su composición y el tiempo en que se desarrolla cada dinámica nos puede ayudar a tener ele- punto del orden del día. mentos para hacer una evaluación poste- rior. los temas abordados y los acuerdos al- canzados. En este sentido, hay que plantear herra- mientas de recogida de información cla- quién participa en el debate. ras y fáciles de rellenar que no den pie a la subjetividad de quien recoge la informa- la forma de convocatoria utilizada y las ción, con el objetivo de que cualquier per- personas a las que se ha dirigido. sona, haya participado o no en ese espa- cio de trabajo, pueda extraer sus propias y la sistematización de los nombres de con clusiones, independientemente de los convocados y de los asistentes y de 102 quien haya recogido la información. la dinámica en general. IGOP – UAB Ajuntament de Barcelona A continuación, presentamos una pro- puesta de modelo de acta para la sistema- Guía operativa tización de la información. Para rellenarla, de evaluación de la acción comunitaria Ejemplo. Modelo de acta Fecha Hora de convocatoria Hora de inicio ¿Quién convoca? ............................................... ¿A quién se convoca? ....................................... ¿Quién asiste? ................................................... % total de los convocados ............................... ¿Quién se excusa? ............................................ % total de los convocados ............................... ¿Quién modera la reunión? ................................................................................................................ Puntos del orden del día (y tiempo dedicado a la reunión) 1 ........................................................................................ Tiempo dedicado ................................. 2 ........................................................................................ Tiempo dedicado ................................. Temas sobrevenidos (tratados en la reunión, pero que no formaban parte del orden del día inicial) 1 ........................................................................................ Tiempo dedicado ................................. 2 ........................................................................................ Tiempo dedicado ................................. Acuerdos y compromisos a. ¿Qué hacer? ................................................... ¿Quién lo hará? .................................................. b. ¿Qué hacer? ................................................... ¿Quién lo hará? ................................................. Observaciones - ¿Cuesta mucho o poco seguir el orden del día marcado? 103 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria ¿Hay personas que acaparan los turnos de palabra? ¿Quiénes? ¿Hay interrupciones? ¿Por qué motivos? ¿La reunión acaba con las mismas personas que la han empezado? 5. ANÁLISIS DE REDES INSTRUMENTO 19. Sociograma Administraciones El sociograma o mapa social es una repre- Servicios públicos actores del territorio en relación con la ac- Entidades prestadoras ción comunitaria que estamos desarrollan- de servicios do o queremos desarrollar. Asociaciones Las acciones comunitarias son procesos que tienen una importante dimensión rela- Colectivos o grupos informales - tegia y unos objetivos a la hora de trabajar las relaciones para conseguir la colabora- ción y el trabajo conjunto, para establecer Paso 2. Ubicación de los actores en el mapa y dibujo de las relaciones existen- El sociograma nos puede ayudar a hacerlo tes 104 permite evaluar nuestros impactos o avan- Pensando en nuestra acción comunitaria, IGOP – UAB Ajuntament de Barcelona ces en la estrategia relacional. situaremos los diferentes actores en un papelógrafo. De manera muy visual, con Guía operativa más o menos proximidad, haremos visi- de evaluación de Recomendaciones y pasos para su la acción comunitaria elaboración e interpretación etc. El sociograma se puede elaborar a partir Después, a partir del debate, representa- de entrevistas, de la recopilación de per- remos las relaciones que se dan entre los cepciones, etc., para luego contrastarlo diferentes actores y entre los diferentes con los actores implicados en la acción comunitaria, o bien directamente de forma relaciones usaremos la simbología si- participada entre los diferentes actores in- guiente: volucrados. Detallamos una posible dinámica para ha- cerlo de forma participativa en el marco de Relación de dependencia una sesión con todos los actores implica- dos. Relación fuerte Relación débil marco de la acción comunitaria Pedimos a los participantes que enumeren colectivamente a los actores con los que tiene relación la acción comunitaria, o con quienes creen que debería tener relación. (Esta relación puede ser diversa, a favor, en contra, etc.). Cuando tengamos la lista, les asignamos Ejemplo de sociograma Nivel político Nivel técnico Nivel ciudadano 105 IGOP – UAB Ajuntament de Barcelona Fuente: Adaptado de un texto original de Joel Martí. Guía operativa de evaluación de la acción comunitaria A veces se empieza una acción comunita- clave de evaluación ria sin dibujar un sociograma, pero esto no invalida la utilización de esta herramienta En clave de evaluación, nos puede intere- en el futuro, ya que, igualmente, nos pue- sar dibujar un sociograma al inicio de de ayudar a representar el impacto de la nuestra acción comunitaria e intentar pro- acción comunitaria en las relaciones del yectar en clave de futuro cómo nos gusta- conjunto de actores del territorio. En este ría que quedara el dibujo y cuál sería la caso, deberíamos intentar dibujar cuál es estrategia relacional que habría que desa- el mapa actual y, seguidamente, hacer el rrollar para conseguirlo. dibujo de cómo eran estas relaciones al inicio de la acción comunitaria. Los cam- En el momento de la evaluación debere- bios entre los dos dibujos, si son atribui- mos ver si hemos sido capaces de conse- bles al proceso, determinarán el impacto guir lo que nos planteábamos a escala re- en las relaciones entre actores. lacional. INSTRUMENTO 20. Análisis de redes permitirá conocer no solo la estructura de la red y sus grupos, sino también la posi- Encontramos la esencia de la acción co- ción que ocupan los individuos y las orga- munitaria al trabajar las relaciones socia- nizaciones, el grado o el tipo de interrela- les. Las relaciones que se dan entre perso- ciones que establecen y los recursos que nas, grupos, entidades, servicios públicos, derivan de estas interrelaciones. equipamientos, etc. La acción comunitaria persigue que estas relaciones se produz- can, aumenten y se fortalezcan con el ob- el tipo de relación que se quiere estudiar. jetivo de mejorar las condiciones de vida Esta dependerá de la población que se tie- de la población. La hipótesis de cambio ne que estudiar y del foco de interés del que reside en la base de la acción comuni- proyecto, de modo que una misma po- taria como propuesta de trabajo para la blación se podrá analizar partiendo de di- mejora de las condiciones de vida estable- ferentes tipos de vínculos: existencia de ce una relación directa entre la capacidad relación o no, frecuencia del contacto, uni- de la gente para tener unas relaciones so- direccionalidad o bidireccionalidad del vín- 106 ciales sólidas con su entorno y las oportu- culo, contextos de relación, consecuencias nidades que derivan directamente de es- del contacto, etc. Así, pues, el análisis de IGOP – UAB Ajuntament de Barcelona tas relaciones: conozco a más gente con “qué pasa” con las relaciones sociales, la que puedo establecer relaciones de con las redes, puede ser muy amplio e in- Guía operativa cooperación y de ayuda mutua; conozco y cluir objetivos variados. Asimismo, depen- de evaluación de me relaciono con más gente con la que diendo de cuáles sean los objetivos que la acción comunitaria puedo organizarme para defender mis de- - rechos o para proveerme de recursos; co- ción de los instrumentos metodológicos y nozco más y mejor las oportunidades que tecnológicos que usaremos (cuestionarios, se ofrecen desde los servicios y los equi- software, etc.) puede ser importante. pamientos públicos; tengo un abanico de relaciones que me hace sentir una perso- Por eso, en esta guía nos limitaremos a na integrada socialmente en mi entorno, proponer un análisis básico de las redes etc. No es extraño que las relaciones so- sociales que se generan como fruto de ciales se conviertan en uno de los princi- una determinada acción comunitaria. De pales objetos de estudio cuando habla- acuerdo con una acción comunitaria que mos de evaluar la acción comunitaria, ya se prolonga en el tiempo (un plan comuni- que nos interesa mucho saber cómo fun- tario, un programa o proyecto con reco- - rrido), miraremos si ha aumentado el vo- nes se producen como resultado de la ac- lumen de las relaciones sociales que ción comunitaria que desarrollamos. mantienen las personas que están en el programa como resultado de su partici- Pues bien, la metodología que permite ha- pación. Dicho de otro modo, el análisis cer mejor este tipo de indagaciones es el - análisis de redes. El análisis de redes se cial” de las personas. encarga de mirar “qué pasa” con las rela- ciones que se establecen entre sujetos, El análisis de redes necesitará, por lo tan- que pueden ser personas o colectivos, in- to, el diseño de un sistema de recogida de dividuos o instituciones. El objeto de estu- información (como, por ejemplo, un cues- dio del análisis es siempre el conjunto de tionario), la utilización de un sistema para vínculos bilaterales o multilaterales que se la explotación de la información recopila- establecen entre los individuos o actores da (en nuestro caso, un programa informá- que interaccionan, ya que las redes son y - ción de los resultados obtenidos (también que vinculan individuos u organizaciones en “grupos”. El análisis de estas redes los datos que nos facilitará la explotación hecha por el programa informático men- ser susceptibles de la aplicación del análi- cionado). sis de redes, de manera muy genérica, po- Teniendo en cuenta que cada acción co- munitaria a evaluar tendrá unas caracte- Las acciones comunitarias que se de- rísticas diferenciadas, en cuanto al tiem- sarrollan con un grupo cerrado y es- po de participación, formas de relaci ón table de personas que se encuentran de manera regular y que llevan a cabo pantes, etc., debemos diseñar herramien- una actividad conjunta. Se espera de esta actividad que sea el elemento mo- mación. Se tendrá que prestar especial tivador que les permita seguir de mane- atención a los cuestionarios que funda- ra autónoma la actividad, al mismo mentarán la recogida de información, ya tiempo que genera una nueva red so- que en función de estos formularios po- cial de apoyo para sus participantes. dremos llevar a cabo un análisis más o Este podría ser el caso, por ejemplo, menos profundo. del proyecto “Caminando hacemos sa- lud. Rutas por el barrio de Sagrada Fa- 107 mília”, del Plan comunitario de la Sa- IGOP – UAB tipo de acciones comunitarias que podrían grada Família. Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Las acciones comunitarias que se de- nal acompaña y dinamiza inicialmente a sarrollan con grupos más abiertos, don- estas personas por una serie de rutas a pie de pueden aparecer personas de mane- por el barrio de Sagrada Família, con la ra más esporádica o irregular. En este pretensión de que más adelante, una vez caso, el objetivo es generar una activi- acabado el programa (que tiene una dura- dad cohesionadora para el barrio, es ción de seis semanas y 12 rutas de una decir, que a partir de esta actividad los hora), los participantes puedan organizar- participantes se acerquen al proyecto se para desarrollar esta actividad de ma- comunitario, haciéndolos pasar de con- nera autónoma. A la vez, se espera que sumidores de actividades a organizado- este contacto inicial permita la ampliación res activos de la vida comunitaria. Este de la red social de los integrantes del gru- sería el caso, por ejemplo, del taller para po. la elaboración de los disfraces de car- naval en el barrio de Roquetes, en el A continuación, mostraremos cuál ha sido que participan y se relacionan personas el proceso de elaboración de los instru- de diversa procedencia, y este puede mentos de recopilación de información 108 ser un elemento muy interesante para para esta acción comunitaria. Hay que ad- analizar las interacciones entre grupos vertir que los resultados aquí contenidos IGOP – UAB Ajuntament de Barcelona de diferente origen. son producto de una simulación y, por lo tanto, no responden a la realidad. Guía operativa Las acciones comunitarias estructura- de evaluación de das a partir de un espacio de trabajo En primer lugar, es necesario elaborar la acción comunitaria un calendario de recogida de informa- por profesionales de servicios, entida- ción. En función del tipo de actividad (du- des o instituciones, a partir del cual se ración, frecuencia...) se deberán detallar los momentos idóneos para recoger la in- En esta tipología de acciones puede ser formación. Se establecerá un momento de recogida inicial que coincida con la las relaciones establecidas entre estos inscripción o el inicio de la actividad. Si actores y observar si la cooperación y la todos los integrantes empiezan en un colaboración entre ellos ha derivado en mismo momento, todos aportarán su in- la generación de nuevas redes para el formación en este momento. Si se prevé impulso de nuevos proyectos. En otras la incorporación en momentos diferentes, palabras, se trata de analizar si la ac- hay que tener muy presente que se debe ción comunitaria ha tenido un efecto conseguir la información de aquel actor multiplicador en lo referente a las cola- en el momento en que se incorpora. En boraciones. todos los casos, se establecerá una se- gunda recogida de información para esta- Hemos elegido una acción comunitaria del blecer la comparativa con la recogida ini- tipo A para ilustrar el proceso de elaboración cial y evaluar la existencia de cambios. En de los instrumentos de recopilación de infor- este caso, hay que encontrar un momento mación y una lectura de los primeros resul- adecuado que puede ser la última jornada tados. A partir del proyecto “Caminando de la actividad o incluso un tiempo des- hacemos salud. Rutas por el barrio de Sa- pués (siempre que haya la opción de con- grada Família” mostraremos la utilidad del tactar con todos los participantes). Final- análisis de redes como instrumento en la mente, es posible hacer una tercera, evaluación de la formación de capital social. cuarta o sucesivas recogidas de informa- ción a medida que avanza el tiempo para Este proyecto tiene como objetivo promo- comprobar la existencia de efectos a lar- cionar la actividad física de la gente mayor go plazo (en este caso, también, solamen- y de las personas con determinadas pro- te si es posible obtener información de blemáticas cardiovasculares. Un profesio- todos los participantes). Para esta recogi- da de información es esencial la coordina- la experiencia comunitaria. En el caso ción con los responsables de la actividad de nuestro ejemplo, se pregunta si ha para aprovechar espacios o momentos de sido positivo coincidir con personas con comunicación existentes desde la organi- el mismo problema de salud, si hacen zación. - tencia anima a hacer amigos... En nuestro ejemplo hemos planteado tres momentos de recogida de informa- c) ción. Durante el primer día de la activi- las relaciones: este es seguramente el dad (recogida inicial), el último día del punto más complejo. Hay que detallar qué tipo de relación buscamos (convi- meses (recogida a largo plazo). Se trata, vencia, conocimiento, amistad, grado en este caso, de observar si se han de amistad...) y hay que formular las cread o vínculos relacionales a lo largo preguntas de manera que todos los ac- tores entiendan este punto claramente margen de tiempo, si estos vínculos se (para evitar disfunciones en el análisis). han mantenido en el tiempo o si se han En el caso que nos ocupa, se pregunta 109 por las relaciones establecidas antes de IGOP – UAB la actividad y se distingue entre “las Ajuntament de Barcelona ha hecho integrando el cuestionario del personas con las que se han inscrito en la actividad” y “las personas que han Guía operativade evaluación de elaborado por la organización (inscrip- encontrado al empezar y que ya cono- la acción comunitaria 2 cían”. Además, se recoge información sobre las redes en espacios informales, En segundo lugar, - es decir, se pregunta si se comparte y la manera de tiempo de ocio no formal con otros par- elaborar un instrumento de recogida que sea sencillo pero completo. Aquí hay que los participantes coinciden en otra acti- distinguir tres líneas de atención: vidad organizada. a) En tercer lugar, - a los actores: hay que asegurar el máxi- que queremos hacer de estos datos. mo de datos que posteriormente nos Este análisis puede ser más o menos pro- permitan analizar los puntos en común fundo en función de las necesidades eva- de los vínculos relacionales (edad, sexo, procedencia, barrio de residencia, reli- aproximación, sencilla pero interesante, es gión...). Todo dependerá del tipo de ac- la comparación entre las redes relaciona- tividad. En el caso de “Rutes de salut” les resultantes del primer y el segundo - cuestionario. En este punto, hay que ad- vertir que podemos obtener diferentes di- problemas de salud. bujos en función de la variable abordada (amistad, conocimiento, compartir tiempo b) En segundo lugar, información contex- de ocio...) y, además, podemos introducir tual: es decir, hay que recoger informa- las variables explicativas de que dispone- ción cualitativa sobre motivaciones para mos (sexo, edad, procedencia...) para ob- hacer la actividad, redes relacionales servar la existencia de vínculos más o me- previas a la experiencia y otros datos que consideremos que nos pueden estas variables. ayudar a analizar los vínculos y las rela- ciones establecidas antes y después de 2. Modelo de cuestionario al final del instrumento 20. A modo de ejemplo, a partir de los resulta- - ciones según el sexo programa “Rutes de salut” hemos elabo- P2 P11 - P6 P10 serva la distribución de las relaciones, P9 destacan cuatro participantes que asisten P12 sin ningún vínculo con los demás (P2, P6, P9 y P12), una pareja (P10, P11) y un con- junto de personas con más relación (P1, P3, P4, P5, P7, P8). Además, se constata P5 que el participante P5 es la persona que P3P7 tiene más vínculos (conoce a tres perso- nas: P7, P3, P8) e indirectamente, a través P8 P1 de sus amigos, tiene acceso a dos partici- P4 pantes más (P1 y P4). 110 - ciones - IGOP – UAB Ajuntament de Barcelona ciones según la edad. Se han establecido P2 P11 dos grupos de edad, 40-59 años (color P6 P10 Guía operativa azul claro) y más de 60 años (color azul P9 de evaluación de P12 oscuro). En este caso, observamos que la la acción comunitaria mayor parte de integrantes del grupo de participantes que se conocen comparten el hecho de ser de edad avanzada (más de 60 años) y, por el contrario, el resto de par- P11 P3 ticipantes se sitúa entre los 40 y los 60 P7 años. P8 P1 P4 - ciones según la edad P2 P11 P6 P10 relaciones de género (color verde los hom- P9 bres y lila las mujeres). En este caso, se P12 observa que son mayoritariamente hom- bres los que asisten a la actividad sin co- nocer a nadie más y que son mujeres las integrantes del grupo de amistades deta- P5 llado antes. Por otra parte, el núcleo inte- P3P7 grado por dos componentes puede apun- tar a una pareja (hombre-mujer). P8 P1 P4 Finalmente, se ha introducido la variable procedencia en el análisis. En este caso, se han distinguido tres categorías: naci- dos en Cataluña, nacidos en el resto de España y nacidos en el extranjero. El análi- (superior) sis de esta variable aporta poca infor- (inferior) de la comparativa de re- mación, ya que se observa diversidad de laciones procedencias entre los que no tienen vín- culos relacionales y los que están integra- P2 P11 P6 P10 dos en el grupo más grande. P9 P12 - ciones según la procedencia P11 P3 P7 P11 P10 P8 P1 P2 P4 P6 111 P9 P12 P6 IGOP – UAB P5 Ajuntament de Barcelona P3 P7 P12 P9 P11 P10 Guía operativa de evaluación de la acción comunitaria P8 P1 P4 - ción de las características que se quieran P8 P5 P2 estudiar o introducir diferentes variables P3 P7 y formas, por ejemplo). P4 P1 Esta primera aproximación es solo des- La incorporación de las variables y carac- comparación que haremos a continuación terísticas de los individuos puede orientar- con los resultados del segundo cuestiona- nos sobre los factores que han motivado rio, que se distribuirá una vez terminada la la creación de las redes relacionales. expresa no haber establecido vínculos con otros participantes (P12), mientras que el resto se ha integrado en redes relaciona- les. Destaca también el hecho de que se mantengan dos grupos separados sin re- lación entre ellos. Por un lado, el grupo in- tegrado por los P6, P9, P10 y P11, y por otro, uno más amplio con el resto de parti- cipantes. (superior) Una primera aproximación a las redes re- (inferior) según los atributos de la sultantes parece apuntar al sexo y a la comparativa de relaciones edad de los participantes como el punto de unión de la incorporación de P6 y P9 al P2 P11 núcleo previamente integrado por P11 y P6 P10 P9 P10. De hecho, la variable sexo parece te- P12 ner un peso relevante, ya que la relación de aquellos dos participantes se ha limita- do al contacto con P11 (hombre) y no con P10 (mujer). En el caso de P2, la edad pa- P11 rece no haber sido un factor de peso; en P3 P7 cambio, el sexo y la procedencia (extranje- ra) pueden explicar su mayor vinculación P8 P1 con P3 y no con el resto de participantes. Aparte de esta mirada a las redes y los 112 P6 atributos, el análisis de redes nos permite P12 P9 P11 hacer uso de medidas matemáticas que IGOP – UAB P10 Ajuntament de Barcelona permiten establecer comparaciones entre Guía operativa pretender hacer un análisis estadístico de evaluación de profundo, mostramos a continuación algu- la acción comunitaria nos de estos indicadores: P8 P5 P2 P3 a) Densidad: es la proporción de relacio- P7 nes que existen en referencia a las posi- P4 bles. En el caso del cuestionario inicial es de 0,12 (12%), mientras que en el P12 P9 P11 implica un crecimiento de las relacio- P10 nes. b) Grado: indica el número de relaciones - co cuando son pocos casos, pero más P8 P5 P2 difícil en muestras grandes). Además, P3 es posible comparar las medias de gra- P7 do. En nuestro caso, el promedio de re- P4 P1 laciones del cuestionario inicial es de tanto, se han incrementado las relacio- P12 P9 P11 nes. P10 c) Centralización de grado: nos ayuda a saber de qué manera están centraliza- das las relaciones. En el cuestionario inicial esta centralización de grado era P8 P5 P2 del 18,18%, mientras que en el cuestio- P3 - P7 dica que se ha abierto la red a más par- P4 P1 ticipantes. d) Lejanía y proximidad: mide la distancia zación de la red, pero no en la nuestra, y la proximidad de un actor respecto al ya que hay grupos totalmente aisla- total de la red y permite saber si las dos. redes dejan ubicaciones más cercanas o más alejadas de estos actores. Es No hay que calcular siempre todos estos posible observar los datos por actores indicadores, sino que podemos seleccio- o el promedio de la red, lo que nos nar los que aporten más información a permitirá establecer una comparación. nuestro caso. Se trata simplemente de un En el caso del cuestionario inicial, la apoyo estadístico en el trabajo de obser- proximidad era de 12.629 y en el caso vación de las redes, apoyo especialmente necesario en caso de redes grandes don- hasta 13.924. En algunos casos se de la observación a simple vista es más puede obtener una medida de centrali- compleja. 113 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Anexo: ejemplo de cuestionario de análisis de redes Información sobre la red Participantes Tiempo Momentos de interés Cuestionario 1 Nombre o código Edad Sexo Hombre Mujer Ciudad / Provincia / País de nacimiento Profesión (actual o anterior) ¿Qué lo animó a inscribirse en esta actividad? ¿Se apuntó a la actividad con algún amigo o amiga? No Sí Indique el nombre o código Al llegar a la actividad, ¿ha encontrado amigos suyos entre los partipantes? No Sí Indique el nombre o código ¿Y conocidos o vecinos? No Sí Indique el nombre o código ¿En su tiempo libre realiza otras actividades con alguno de los participantes de esta actividad? No Sí Indique el nombre o código I Evaluación de la acción comunitaria — Anexo: ejemplo de cuestionario de análisis de redes Cuestionario 2 Nombre o código Edad Sexo Hombre Mujer Ciudad / Provincia / País de nacimiento Profesión (actual o anterior) ¿Se apuntó a la actividad con algún amigo o amiga? No Sí Indique el nombre o código Al llegar a la actividad, ¿ha encontrado amigos suyos entre los partipantes? No Sí Indique el nombre o código ¿Y conocidos o vecinos? No Sí Indique el nombre o código ¿Diría que ha hecho amigos entre los participantes de la actividad? No Sí ¿En su tiempo libre realiza otras actividades con alguno de los participantes de esta actividad? No Sí Indique el nombre o código A partir de la participación en esta actividad, ¿ha participado en otras actividades? No Sí ¿Cuáles? No Sí Indique el nombre o código II Evaluación de la acción comunitaria — Anexo: ejemplo de cuestionario de análisis de redes Cuestionario 3 Nombre o código Edad Sexo Hombre Mujer Ciudad / Provincia / País de nacimiento Profesión (actual o anterior) Hace un tiempo participó en la actividad “Caminant fem salut” y nos gustaría hacerle algunas pre- guntas en referencia a aquella experiencia. A continuación tiene la lista de personas que participaron con usted en esta actividad y nos gustaría que contestara Sí o No según corresponda. ¿Han quedado ¿Ha participa- para compartir do con esta ¿La conocía ¿Mantienen tiempo de ocio persona en ¿Recuerda a antes de la ¿La conoció en contacto en la fuera de la otras activida- esta persona? actividad? la actividad? actualidad? actividad? des? Sí Sí Sí Sí Sí Sí Nombre 1 No No No No No No Sí Sí Sí Sí Sí Sí Nombre 2 No No No No No No Sí Sí Sí Sí Sí Sí Nombre 3 No No No No No No ¿Diría que ha hecho amigos entre los participantes de la actividad? No Sí A partir de la participación en esta actividad, ¿ha participado en otras actividades? No Sí ¿Cuáles? No Sí Indique el nombre o código III Evaluación de la acción comunitaria — Anexo: ejemplo de cuestionario de análisis de redes 6. FICHA DE PROGRAMACIÓN DE LAS ACCIONES COMUNITARIAS bienes comunes, capacidades de la gente Presentación y/o capital social y otros. A lo largo del proceso de elaboración de esta Guía operativa de evaluación de la ac- La comunidad y los actores comunitarios ción comunitaria, surgió en varias ocasio- nes la necesidad de poder contar con un - acción comunitaria, incidiendo en los di- este debate, y desde un punto de vista es- trictamente instrumental y operativo, po- de evaluación y facilitando el proceso de - lidad de esta Ficha de programación de las componen (personas, organizaciones, ser- acciones comunitarias. vicios, empresas, etc.) y de las relaciones - Consideraciones previas 117 IGOP – UAB esta aproximación instrumental u operati- Ajuntament de Barcelona - - Guía operativade evaluación de nos. Hacemos una breve mención de las - la acción comunitaria lidad administrativa o de convivencia - munidad desde este punto de vista instru- Qué es una acción o proyecto comunitario mental, no estamos presuponiendo unas relaciones siempre armónicas entre los - partir de sus objetivos, como de los mé- todos las relaciones pueden ser de indiferencia Fortalecimiento-em- Algunos principios fundamentales de la y protagonismo en la construcción de su metodología comunitaria propia vida) – Inclusión (voluntad de incluir, Mejora de las Construir y dinamizar un proyecto colecti- condiciones de vida (salud, educación, vi- exige unos métodos y unas formas de tra- Desde el punto de vista metodológico, - - Diagnósticos compartidos pios fundamentales de la metodología co- munitaria). - El desarrollo comunitario es un desarrollo - Trabajar juntos nidad, en especial agentes sociales y eco- - Normalmente, actores diversos (profesio- blicos, pero también podríamos pensar en nales, técnicos, vecinos, usuarios, afecta- dos, etc.) no estamos acostumbrados a nalidad de estos espacios, donde pueden participar asociaciones y/o ciudadanía, es - tercambio de información en la organiza- - - ponemos de la misma información. Así des, pasando por la colaboración entre - servicios y entidades). tos, espacios y estrategias para aprender - Otros espacios de trabajo comunitario cisiones de forma compartida, etc. Para - mo o tener siempre las mismas ideas, pero técnicas, cada acción comunitaria puede decidir dotarse de otros espacios de tra- diferencias y reconocer a los otros con - - plo, espacios o comisiones de seguimiento 118 La participación comunitaria técnico y/o político, espacios de coordina- - IGOP – UAB Ajuntament de Barcelona La participación comunitaria es la parti- ra (cantidad y tipo de espacios) de cada cipación de la multitud de actores diver- acción comunitaria debe responder a sus Guía operativa de evaluación de sos (vecinales, asociativos, profesionales, - la acción comunitaria económicos...) implicados en el proyecto. blecido y estandarizado. comunitaria tendría sentido sin la partici- pación activa de la ciudadanía. La parti- cipación de la ciudadanía es una condi- - - - - Liderazgos y grupos promotores ra, improvisadamente, de forma aleatoria. La aspiración de toda acción comunitaria - puesta a, como mínimo, cuatro preguntas sean promotores del proyecto colectivo. (¿Qué? - ¿Por qué? - ¿Quién? - ¿Cómo?) - - las respuestas a estas preguntas no las cimiento de sus capacidades), y una comunitarios, con presencia de ciudada- activamente. proyecto, actividad, espacio, etc. Mesas técnicas y comunitarias - También pueden ser necesarios espacios to, medio o largo plazo; evitando así la - - - - - - - este grupo (ya estamos todas y to- en las actividades en los 12 próximos me- - rea, encargo) de cada una de las per- Qué entendemos por teoría del cambio - - - 119 - IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Preguntas clave para empezar a - constituiros como servicio o grupo pro- motor de una acción comunitaria, tal vez - este caso, os apuntamos algunas pregun- tas clave para orientar la discusión (po- déis completar estas cuestiones con otras - tos). - Pensando en nosotros (este grupo pro- motor de la AC, este servicio...), debe- mos construir una respuesta para las Ficha de programación de las acciones comunitarias Nombre Distrito Barrio Dirección Web Correo electrónico Teléfono Persona de contacto 1.2. ¿Quién promueve la acción comunitaria? Un servicio municipal. Una entidad o asociación. 1.3. Equipo técnico (solo profesionales) Dedicación al proyecto de acción comunitaria Nombre (iniciales) Cargo 1.4. Tipo de acción comunitaria Señala la que corresponda. Acción informativa o de sensibilización. Acción de apoyo a grupos sociales y colectivos. Acción de apoyo a iniciativas vecinales y colectivas de un territorio. No Plan de desarrollo comunitario (PDC) I Evaluación de la acción comunitaria — Ficha de programación de las acciones comunitarias Relación de proyectos que forman parte del PDC Responder solo si el tipo de acción comunitaria es un PDC Ámbitos de actuación del proyecto Nombre Elegir máximo 3, por orden Elegir máximo 3, por orden Año de inicio del proyecto de prioridad de prioridad del proyecto 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. 1.5. Ámbitos de actuación Señala con un número del 0 al 3 los ámbitos de actuación en los que trabajas actualmente por orden de priori- dad. (0 no se trabaja, 1 poco prioritario, 2 bastante prioritario, 3 muy prioritario). - Asociacionismo - TIC - Vecindad y mediación comunitaria - Interculturalidad - Cultura - Promoción económica - Ocio - Deporte - Educación / formación - Acción solidaria - Vivienda - Laboral - Discapacidad II Evaluación de la acción comunitaria — Ficha de programación de las acciones comunitarias 1.6. Sectores de población Señalar con un número del 0 al 3 los sectores de población con los que trabajas actualmente por orden de prio- ridad. (0 no se trabaja, 1 poco prioritario, 2 bastante prioritario, 3 muy prioritario). - Infancia/adolescencia - Inmigración - Jóvenes - Adultos - Familias - Persones mayores - Población en general 2.1. Diagnóstico 2.2. Los objetivos de la acción comunitaria En este apartado hay que describir los objetivos de nuestras acciones: qué queremos conseguir y qué haremos para lograrlo (teoría del cambio). Proponemos hacerlo diferenciando cinco subapartados. - nitaria (ejemplo: infancia, jóvenes, personas mayores, etc.) (objetivos sustantivo y de proceso) Tiempo de consecución III Evaluación de la acción comunitaria —Ficha de programación de las acciones comunitarias Tiempo de consecución 2.3. Principales acciones y/o actividades objetivos. 2.4. Espacios de trabajo (composición y tareas) Los espacios de trabajo comunitario no tienen por qué ser de profesionales (aunque pueden estar allí). Nos re- ferimos a grupos promotores, mesas técnicas, comisiones de seguimiento, asambleas o plenario, etc. Cualquier Nombre del espacio Composición Funciones 2.5. Participación comunitaria Entidades Agentes económicos prestadoras Asociaciones y (empresas, Personas de servicios grupos formales individualmente 2.6. Recursos humanos - sional como voluntario. (horas semanales de dedicación al proyecto) Horas semanales IV Evaluación de la acción comunitaria — Ficha de programación de las acciones comunitarias Asociadas No asociadas Anexo. Recursos económicos Nombre del proyecto Promotor de la acción Gastos Concepto Importe Forma de pago Nombre proveedor Factura Anticipo Factura Anticipo Factura Anticipo Factura Anticipo Factura Anticipo Factura Anticipo Factura Anticipo Total Factura Anticipo Ingresos Concepto Importe Observaciones Total V Evaluación de la acción comunitaria — Ficha de programación de las acciones comunitarias 7. FICHA DE SEGUIMIENTO DE LAS ACCIONES COMUNITARIAS Presentación Instrucciones 1. un estudio de la acción comunitaria impul- proyecto de acción comunitaria. Las valoración global del proyecto, conside- las cuatro dimensiones de la acción comu- desarrollan. guía operativa de evaluación de acciones - 2. - - llenando el cuestionario, las respuestas pación comunitaria y (4) sostenibilidad de - las acciones comunitarias. en la organización o son promotoras de las acciones comunitarias y evaluar míni- los proyectos puedan contestar el cues- 125 - tionario; se recogen todos los cuestio- IGOP – UAB tran estas acciones en función de las di- - Ajuntament de Barcelona - Guía operativade evaluación de motor es reducido (menos de cuatro la acción comunitaria po de un servicio, se puede rellenar un de una deliberación en el grupo. Ficha de seguimiento de las acciones comunitarias ¿Quién contesta este cuestionario? 1. Número de personas que han participado dando respuesta al cuestionario 2. Servicio, equipo, grupo o similar al que pertenecen esta/estas personas: 3. En caso de que el cuestionario lo conteste una única persona... - Cargo o responsabilidad en relación al proyecto - Cargo o responsabilidad en su organización 4. Contacto e-mail Nombre Distrito Barrio Dirección Web Correo electrónico Teléfono Persona de contacto 1.1. Breve descripción del proyecto (destinatarios, objetivos, metodología) 2. ¿Quién promueve la acción comunitaria? Un servicio municipal Una entidad o asociación 3. Equipo técnico (solo profesionales) Dedicación al proyecto de Nombre (iniciales) Cargo I Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias 4. Tipo de acción comunitaria Señala la que corresponda. Acción informativa o de sensibilización. Acción de apoyo a grupos sociales y colectivos. Acción de apoyo a iniciativas vecinales y colectivas de un territorio. No Plan de desarrollo comunitario (PDC) Relación de proyectos que forman parte del PDC Responder solo si el tipo de acción comunitaria es un PDC. Ámbitos de actuación del proyecto Nombre Elegir máximo 3, por orden Elegir máximo 3, por orden Año de inicio del proyecto de prioridad de prioridad del proyecto 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 1. 2. 2. No 3. 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. 1. 2. No 3. II Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias 5. Ámbitos de actuación Señala con un número del 0 al 3 los ámbitos de actuación en los que trabajáis actualmente por orden de priori- dad. (0 no se trabaja, 1 poco prioritario, 2 bastante prioritario, 3 muy prioritario). - Asociacionismo - TIC - V ecindad - Interculturalidad y mediación comunitaria - Cultura - Promoción económica - Ocio - Deporte - Educación/formación - Acción solidaria - Vivienda - Laboral -Discapacidad 6. Sectores de población Señala con un número del 0 al 3 los ámbitos de actuación en los que trabajáis actualmente por orden de priori- dad. (0 no se trabaja, 1 poco prioritario, 2 bastante prioritario, 3 muy prioritario). - Infancia/adolescencia - Inmigración - Jóvenes - Adultos - Familias - Personas mayores - Población en general III Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias Evaluación Escala de valoración de 1 a 4 en la cual: En descuerdo Parcialmente de acuerdo Totalmente de acuerdo No lo sé / No tengo / No se cumple cumple de manera - insatisfactoriamente aceptable mente para contestar 1 2 3 4 - Grado de acuerdo 1 2 3 4 - para sacarlas adelante. para sacarlas adelante. 2. Objetivos e impactos 10% de los participantes en la formación. Grado de consecución 1 2 3 4 - IV Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias (elige la más importante). Grado de acuerdo 1 2 3 4 - implicadas. como resultado de las acciones comunitarias desarrolladas (máximo 3). 3. Participación comunitaria 3.1 ¿Quién participa activamente como promotor y/o organizador (más allá de momentos pun- Entidades prestadoras Vecinos/as, usuarios de servicios Asociaciones de barrio o afectados N. total N. total N. total N. total V Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias Grado de acuerdo 1 2 3 4 - del programa o proyecto. - El traspaso de información de unos servicios a otros funciona de manera óptima. funciona de manera óptima. - La transparencia y el acceso a la información para los no participantes o participantes puntuales en el programa o proyecto funciona de manera óptima. el encuentro y el debate entre ciudadanía y representantes políticos. los temas tratados y los acuerdos tomados. en la elaboración de los diagnósticos comunitarios o compartidos. en la evaluación del programa o proyecto. en la gestión económica del programa o proyecto. un papel relevante en la evaluación del programa o proyecto. 4. Sostenibilidad que contemplar los recursos propios aportados en personal. del proyecto Distrito Generalitat de Catalunya Presupuesto ordinario del servicio Otros VI Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias Grado de acuerdo 1 2 3 4 - el programa/proyecto tal como estaba previsto. - El tiempo de dedicación de los profesionales asignado inicialmente - El proyecto dispone de una estrategia activa de captación de fondos - El proyecto no podría salir adelante sin las aportaciones económicas de los usuarios. 5. Valoración global Escribe un pequeño texto que recoja una valoración global del proyecto (fortalezas, oportunidades, debilidades, amenazas...). Fortalezas Oportunidades Debilidades VII Evaluación de la acción comunitaria — Ficha de seguimiento de las acciones comunitarias 8. ANEXOS Listas de convocados y participantes en el proceso de trabajo Grupo impulsor (INDIC) Cívica i Comunitària, Generalitat de Ca- talunya - ment de Barcelona - - - fants - 133 gía comunitaria, Universitat de Barcelo- IGOP – UAB na Ajuntament de Barcelona - Guía operativade evaluación de Cívica i Comunitària, Generalitat de Ca- la acción comunitaria talunya - lona - cials del IGOP - Grupo de contraste de servicios sociales PDC de Poble-sec - Guinardó Cívica i Comunitària, Generalitat de Ca- talunya - cial, Universitat de Barcelona - rris - munitària, AQVIE PDC Trinitat Nova PDC Verdum Guinardó PDC Ciutat Meridiana Marina PDC Baró de Viver 134 PDC Verdum IGOP – UAB Ajuntament de Barcelona - laso Guía operativa de evaluación de la acción comunitaria PDC Poblenou Clot Participación social Gòtic RELACIÓN DE PROFESIONALES - Y DE EXPERIENCIAS neueta-Verdum-Prosperitat COLABORADORAS Relación de profesionales - mediación comunitaria – UAB/UB/ UDL Grupo de contraste de los planes - de desarrollo comunitario ción comunitaria– UAB/UB/UDL - ción de proyectos de cooperación - del PDC Barceloneta - des e investigadora en el IGOP en políticas sociales y mediación comu- nitaria–UAB/UB/UDL de la organización cívica y social Relación de experiencias colaboradoras Nou Barris 135 IGOP – UAB Ajuntament de Barcelona Guía operativa de evaluación de la acción comunitaria Bibliografía: documentación municipal en relación a la acción comunitaria Documentos de carácter general Proyectos comunitarios de servicios sociales - - - - munitàries en el marc dels serveis so- - comunitàries en el marc dels serveis so- Planes de desarrollo comunitario (PDC) IGOP – UAB Ajuntament de Barcelona - - Guía operativa de evaluación de la acción comunitaria - Redes de intercambio solidario -