Guia operativa d’avaluació de l’acció comunitària BC N Direcció Àrea de Qualitat de Vida, Igualtat i Esports Coordinació tècnica Departament d’Acció Comunitària Institut Municipal de Serveis Socials de Barcelona Departament de Serveis Socials Bàsics Grup de recerca Institut de Govern i Polítiques Públiques Direcció / Coordinació: Óscar Rebollo Equip de recerca: Ernesto Morales Óscar Rebollo Sheila González Coordinació de l’edició Departament de Comunicació. Àrea de Qualitat de Vida, Igualtat i Esports Octubre 2014 SUMARI PRESENTACIÓ 6 PART I. AVALUAR L’ACCIÓ COMUNITÀRIA 1. INTRODUCCIÓ 10 1.1. Sobre el fet d’avaluar i sobre l’avaluació de l’acció pública 10 1.2. L’acció comunitària 11 1.3. Perspectives d’avaluació 13 1.4. Avaluació, seguiment, supervisió i recerca 15 2. CONSIDERACIONS SOBRE L’AVALUACIÓ 3 DE L’ACCIÓ COMUNITÀRIA 17 2.1. Hem de prendre consciència de la complexitat de la tasca 17 Qualitat de Vida, Igualtat i Esports avaluadora Guia operativa 2.2. Necessitem un marc institucional que doni sentit a 20 d’avaluació de l’avaluació l’acció comunitària 2.3. Què avaluem? 21 2.4. Sobre el procés i els instruments d’avaluació 23 3. PRINCIPIS METODOLÒGICS DE CAIRE GENERAL 24 3.1. Avaluació i planificació van sempre juntes 24 3.2. Hem de disposar d’uns objectius avaluables 25 3.3. Hem de fer explícita la nostra “teoria del canvi” 26 3.4. L’avaluació no només analitza informació, també l’ha de 27 generar 3.5. Alguns apunts sobre l’avaluació d’impactes 28 3.6. Annex: una pluja de preguntes 30 PART II. MARC OPERATIU DE L’AVALUACIÓ (MOA): CONCEPTES I DEFINICIONS PER AL DISSENY DELS INSTRUMENTS D’AVALUACIÓ 1. INTRODUCCIÓ 34 1.1. Objectes i objectius de l’avaluació 35 1.2. Qui ha d’avaluar 36 1.3. Avaluar la qualitat de les accions comunitàries 38 1.4. Avaluar els impactes en la població 41 1.5. Avaluar els espais de treball professional 43 PART III. INSTRUMENTS D’AVALUACIÓ 1. QÜESTIONARIS D’AVALUACIÓ 46 1.1. Per avaluar activitats 46 1.2. Per avaluar la qualitat de programes i projectes 50 1.3. Per avaluar impactes en la població 63 1.4 Per avaluar els espais professionals de treball 80 2. INSTRUMENTS I DINÀMIQUES D’AUTOAVALUACIÓ 92 QUALITATIVA O PARTICIPATIVA 4 3. INSTRUMENTS PER A UNA AVALUACIÓ IMPRESSIONISTA 95 Qualitat de Vida, Igualtat i Esports 4. INSTRUMENTS PER A LA RECOLLIDA I LA 102 Guia operativa SISTEMATITZACIÓ D’INFORMACIÓ d’avaluació de l’acció comunitària 5. ANÀLISI DE XARXES 104 Annex: exemple de qüestionari d’anàlisi de xarxes 114 6. FITXA DE PROGRAMACIÓ DE LES ACCIONS COMUNITÀRIES 117 7. FITXA DE SEGUIMENT DE LES ACCIONS COMUNITÀRIES 125 8. ANNEXOS 134 ÍNDEX DELS INSTRUMENTS Instrument 1. Qüestionari d’avaluació d’una activitat 46 Instrument 2. Qüestionari d’avaluació de la planificació i 50 organització Instrument 3. Qüestionari d’avaluació dels objectius 54 Instrument 4. Qüestionari d’avaluació de la participació 58 comunitària (metodologia) Instrument 5. Qüestionari d’impactes en l’individu 63 Instrument 6. Qüestionari d’avaluació dels impactes en el grup 67 Instrument 7. Taller d’avaluació d’impactes en la comunitat- població 73 Instrument 8. Qüestionari d’avaluació de l’equip d’un servei 80 Instrument 9. Qüestionari d’avaluació d’una mesa tècnica 84 Instrument 10. Qüestionari d’avaluació d’un equip comunitari 88 Instrument 11. Reunió d’avaluació amb un grup o espai comunitari 92 Instrument 12. DAFO 94 Instrument 13. Gràfic d’evolució d’una activitat 96 Instrument 14. La línia del temps 97 Instrument 15. Termòmetre 98 Instrument 16. CAP (critico - aplaudeixo - proposo) 100 Instrument 17. Diana d’avaluació 101 Instrument 18. Model d’acta 102 Instrument 19. Sociograma 104 Instrument 20. Anàlisi de xarxes 106 5 ÍNDEX DE LES TAULES Qualitat de Vida, Igualtat i Esports Taula 1. Marc operatiu per a l’avaluació de la qualitat de l’acció 39 Guia operativa comunitària d’avaluació de l’acció comunitària Taula 2. Instruments per avaluar la qualitat de l’acció comunitària 40 Taula 3. Marc operatiu per a l’avaluació dels impactes de l’acció 42 comunitària Taula 4. Instruments per avaluar impactes de l’acció comunitària 42 Taula 5. Marc operatiu per a l’avaluació dels espais de treball pro- 44 fessional Taula 6. Instruments per avaluar espais de treball professional 44 ÍNDEX DE LES FIGURES Figura 1. Triangle de l’acció comunitària a Barcelona 12 Figura 2. Marc conceptual de l’acció comunitària 41 PRESENTACIÓ El Marc municipal per a l’acció comuni- exercici de depuració dels instruments tària estableix com a objectiu general la per tal d’adaptar-los tant com sigui pos- necessitat de dotar la ciutat d’un marc sible als llenguatges i a les necessitats de referència, tant estratègic com meto- reals dels operadors, amb els quals, tal dològic, pel que fa a l’acció comunitària com veurem de seguida, hem treballat com a mecanisme generador de benestar constantment. Però no hem d’amagar en la vida quotidiana. De manera especí- que avaluar requereix temps, certa dedi- fica fa un esment especial a la necessitat cació i també atenció i rigor a l’hora de d’impulsar el desenvolupament i l’apli- fer servir estratègies i instruments, que cació de sistemes d’avaluació de procés les coses no es poden fer de qualsevol i de resultats que permetin valorar l’im- manera i que cal prestar atenció a alguns pacte de les accions comunitàries, així aspectes que, com veurem, són absolu- com la seva sostenibilitat en el temps. tament crucials. D’altra banda, l’Ajuntament de Barcelona En efecte, tal com acabem d’apuntar, tam- i l’Institut de Govern i Polítiques Públi- bé ha format part de l’encàrrec construir ques (IGOP) fa anys que col·laboren en la guia de manera participada, i donar veu l’impuls de l’acció comunitària a la ciutat. als diferents protagonistes de l’acció co- 6 Fruit d’aquest impuls conjunt en els dar- munitària a la ciutat, per tal d’incorporar rers anys, s’han elaborat tot un seguit de les seves visions i expectatives que, com Qualitat de Vida, productes —guies, vídeos, estudis, et- podem suposar, no sempre coincideixen. Igualtat i Esports cètera— amb aquesta finalitat. L’elabo- Metodològicament, doncs, podem dir que Guia operativa ració d’aquest document —que encara la producció d’aquesta guia d’avaluació d’avaluació de es troba en procés de construcció— és s’emmarca en l’àmbit i la tradició de la l’acció comunitària fruit també d’aquesta col·laboració entre recerca-acció-participada, és a dir, una les dues institucions i respon a l’encàrrec recerca que construeix coneixements de fet a l’IGOP per l’Ajuntament de Barcelo- manera col·laborativa a partir de les apor- na de coordinar tècnicament el procés tacions que fan agents diversos vinculats d’elaboració de la Guia operativa per a a les pràctiques socials i institucionals en l’avaluació de l’acció comunitària a la els camps de referència (en aquest cas, ciutat. És a dir, una guia que esdevingui l’acció comunitària); un coneixement que un instrument senzill i útil per als opera- té una voluntat clara de ser útil a les pràc- dors de l’acció comunitària a la ciutat. tiques que desenvolupen aquests actors, i que en el procés de la seva construcció Aquestes dues premisses, utilitat i sen- acompanya i és acompanyat, produeix i zillesa, han esdevingut en tot moment és produït per les pràctiques i pels seus autèntics punts de referència per a la protagonistes. nostra orientació en el desenvolupament de la feina. Com veurem tot seguit, han Al llarg de tot el temps dedicat a la re- marcat de manera clara tant els mèto- dacció de la guia hem organitzat diversos des de treball com els resultats que ara grups de discussió amb els diferents pro- presentem. Hem renunciat, doncs, a pro- tagonistes de l’acció comunitària que té postes metodològiques i instruments suport institucional a la ciutat de Barce- d’avaluació que no responien a les dues lona: professionals dels plans comunita- premisses esmentades perquè exigien el ris i de l’Administració municipal (serveis desplegament d’un instrumental massa socials, tècnics de barri i de participació sofisticat o perquè demanaven una gran ciutadana), referents de la gestió en el dedicació de temps (de difícil assumpció suport i finançament a les accions comu- pels professionals als quals ens adre- nitàries, experts acadèmics i membres cem). Per nosaltres, parlar de senzillesa d’entitats i de l’acció social. D’altra banda, dels instruments d’avaluació ha estat, en hem mantingut diferents reunions i con- primer lloc, exigir als instruments la pos- verses amb professionals, experts i amb sibilitat de fer-los servir sense una de- participants d’experiències, tant de l’ac- dicació de temps que quedés fora de les ció comunitària com de processos pròpia- possibilitats reals dels professionals als ment d’avaluació. Tot això amb la voluntat quals van adreçats. En segon lloc, par- d’alimentar aquesta reflexió compartida lar de senzillesa ha significat també un entorn de l’avaluació. Així que el que ara presentem en aquest document és, en les necessitats metodològiques que te- bona part, un exercici de síntesi de mol- nen davant el repte d’avaluar les seves tes d’aquestes aportacions. pràctiques. Els diversos perfils convocats a partici- La intenció d’aquest treball i la forma par i a aportar coneixement s’han orga- de produir-lo ens aparta una mica de nitzat en els grups següents: les tradicionals aproximacions acadè- • Un grup impulsor de la recerca, amb miques, molt més preocupades pels as- la participació d’experts acadèmics, pectes formals propis d’aquesta tradició referents municipals i de la Genera- (referència a marcs teòrics i conceptuals litat de l’acció comunitària, referents explícits en la literatura acadèmica es- i professionals dels serveis socials pecialitzada), però això no s’hauria d’in- municipals, tècnics de barri, tècnics terpretar com a símptoma de deixadesa comunitaris i membres del Consell o de falta de rigor conceptual. Hem de- Municipal de Benestar Social (CMBS). fugit d’elaborar un text acadèmic, però es pot veure que no es tracta d’un treball • Un grup de contrast i aprofundiment mancat d’un marc conceptual. Ara bé, in- en la reflexió sobre l’avaluació en sistim en el fet que el nostre encàrrec ha l’acció comunitària des dels serveis estat produir materials operatius, sen- 7 socials format per professionals dels zills i útils destinats al món de la pràcti- serveis socials. ca, de la intervenció, i a la gran diversitat Qualitat de Vida, Igualtat i Esports • Un grup de contrast i aprofundiment d’actors que ens trobem en aquest món. Guia operativa en la reflexió sobre l’avaluació comu- Hem organitzat els continguts d’aquesta d’avaluació de nitària en els plans de desenvolupa- l’acció comunitàriaguia en tres parts. La part I recull algunes ment comunitari (PDC) format per definicions i aproximacions conceptuals tècnics comunitaris dels plans i tèc- al significat i al sentit de l’avaluació, con- nics de barri. juntament amb certs principis metodo- També hem compartit reflexions amb el lògics de caire general. Encara no s’entra grup d’acció comunitària del CMBS, del en el detall de definir instruments d’ava- qual vam extreure algunes de les aporta- luació, però es recull tot un seguit de cions que hem incorporat a la guia d’ava- reflexions, moltes d’elles debatudes als luació. grups de treball, que pensem que sem- pre s’han de tenir presents i que sovint Finalment, en la darrera fase del treball, ens orienten en la tasca avaluadora en quan s’estaven dissenyant els instru- tot allò que els instruments d’avaluació ments d’avaluació, hem pogut disposar més concrets no sempre poden resoldre. del contrast de diverses professionals que han pogut esmenar les versions La part II, que hem anomenat MOA (marc inicials dels instruments a partir de po- operatiu per a l’avaluació), recull un exer- sar-los en pràctica en alguns casos, i en cici de síntesi dels que han de ser els altres, de discutir-los per adaptar llen- principals objectes i objectius de l’ava- guatges, formes i criteris d’interpretació, luació de les accions comunitàries: les etcètera. dimensions de l’avaluació. El conjunt de les aportacions fetes als grups de treball Volem destacar que, en aquest procés han posat de manifest l’enorme quanti- participat de construcció col·lectiva de tat d’aspectes que poden ser suscepti- coneixement, ens han interessat per da- bles de ser avaluats quan ens apropem a munt de tot els aprenentatges basats les accions comunitàries. El MOA apunta en l’experiència i aportats pels opera- els criteris per identificar i ordenar totes dors de l’acció comunitària a Barcelona. aquestes dimensions. Els coneixements professionals i els de la gent que, en general, fa coses i refle- La part III recull els instruments d’ava- xiona sobre el que fa i, de manera pri- luació que es deriven del MOA. Un total mordial, les preguntes que tots aquests de 20 instruments ordenats segons els operadors de l’acció comunitària es fan i seus objectes i objectius d’avaluació. Al- guns dels instruments proposats no són promotores o finançadores de les acci- pas nous: ja tenen una validesa acredi- ons comunitàries, els responsables tèc- tada. Però molts sí que ho són (tots els nics i polítics d’aquestes institucions, qüestionaris, per exemple) i s’han disse- però el que hem tingut al pensament en nyat a partir de les aportacions fetes als tot moment, quan dissenyàvem el procés grups i a les sessions de contrast amb de treball i quan fixàvem els objectius, professionals i experiències, pensant en han estat les persones, normalment tèc- les experiències d’acció comunitària de nics i professionals que, tal com dèiem Barcelona. En especial, de l’acció comu- més amunt, són els que estan treballant nitària que duen a terme els equips del en el dia a dia de l’acció comunitària, i serveis socials de base i els PDC (plans necessiten avaluar-la. de desenvolupament comunitari). Aquesta guia vol ser, primer de tot, un Al final del document trobareu un annex instrument fàcil de fer servir i útil per a amb material complementari a la guia: l’avaluació d’accions comunitàries. Tam- bé vol ser un recull de coneixements que • La fitxa de programació, que és una han sortit de l’experiència i, per damunt síntesi de diferents instruments que de tot, és un document obert, en cons- apareixen a la guia i que integra da- trucció, que pensem posar en pràctica, 8 des identificatives de projecte. fer-li “proves de resistència”, modifi- • La llista de participants que ens car-lo i ajustar-lo, especialment els di- Qualitat de Vida, Igualtat i Esports han aportat la seva experiència i els versos instruments d’avaluació. Això ens seus coneixements per a l’elabora- obliga a concloure aquesta presentació Guia operativa ció d’aquest document. Confiem que amb una invitació (potser més aviat una d’avaluació de l’acció comunitària moltes d’aquestes persones es vegin súplica) a totes les persones que tinguin prou reconegudes en diferents apar- interès a avaluar accions comunitàries tats d’aquest document que hem re- i pensin fer servir aquesta guia, a com- dactat, però amb les idees de tothom. partir amb nosaltres els seus aprenen- tatges, les seves conclusions i, molt • La relació de documents municipals especialment, les modificacions que in- sobre acció comunitària que han con- troduirien per fer-la més útil. tribuït a la reflexió generada. I per últim, volem fer constar que en Pensem que val la pena acabar aques- Jaume Blasco, expert en avaluació de ta presentació amb una petita síntesi polítiques públiques, i l’Elisenda Vegué, de les pretensions d’aquesta guia. De experta en desenvolupament comunita- fet, sempre hem tingut dues coses cla- ri, van revisar la primera versió d’aques- res respecte del que mai no hem pretès ta guia en profunditat, fent moltíssimes que sigui: mai no hem volgut que sigui un aportacions que han contribuït de ma- treball acadèmic que es justifiqui única- nera molt significativa a millorar la ver- ment des del rigor formal, ni tampoc no sió definitiva. Evidentment, ni en Jaume hem pretès que sigui la solució global i ni l’Elisenda, tenen cap responsabilitat definitiva a tots els problemes pràctics sobre el errors, però en tenen molta en que es deriven de les exigències de la els encerts. tasca avaluadora. Sí que ens agrada pensar que pot esdevenir un pas enda- vant, modest i limitat, en la producció d’estratègies i instruments d’avaluació útils per a la pràctica quotidiana de la gent que està treballant en el dia a dia de l’acció comunitària. No diem que aquesta hagi de ser la seva única utilitat, ni renunciem al seu valor científic, ni acadèmic, ni formal, i segur que també és útil d’alguna manera per a les persones i les institucions que són PART I AVALUAR L’ACCIÓ COMUNITÀRIA 1. INTRODUCCIÓ 1.1. Sobre el fet d’avaluar i sobre l’avaluació de l’acció pública Tot i que ja fa uns quants anys que es També és recurrent la idea que l’avalu- parla d’avaluació de polítiques públi- ació acostuma a ser un exercici feixuc i ques, el cert és que no hi ha una gran burocràtic que consisteix a omplir fitxes tradició, ni una cultura de l’avaluació, in- i registres que després ningú no es mira i corporada a les nostres organitzacions i que ens ocupa un temps preciós que po- administracions públiques. Si ens fixem dríem dedicar a altres assumptes més en les organitzacions del tercer sector, urgents o necessaris, com si es fessin en les nostres entitats i associacions, exercicis d’avaluació per “cobrir l’expe- amb algunes excepcions entre les enti- dient”. En altres casos, bones avaluaci- tats més grans i que són grans prestado- ons, ben fetes, no han servit per introduir res de serveis, podríem dir que encara és canvis, ja que han prevalgut altres crite- menys present la cultura de l’avaluació. ris a l’hora de prendre decisions. Així que el primer problema que ens tro- Però no podem oblidar que, quan es 10 bem a l’hora de plantejar-nos aquest en- tracta d’accions públiques, de recursos càrrec és que en molts aspectes caldrà públics, l’avaluació és una obligació. Par- Qualitat de Vida, “començar de zero”. És a dir, tal vegada lem de l’obligació de donar explicacions, Igualtat i Esports cal començar pel fet de preguntar-nos de retre comptes, i aquests són exercicis Guia operativa què és avaluar, què entenem per avalu- molt propers al de l’avaluació. d’avaluació de l’acció comunitària ar, quin sentit té i per a què volem fer-ho. Tot això abans de fer-se preguntes sobre Totes aquestes reflexions eren presents “com” avaluar. en el punt de partida del nostre treball. De fet, el primer que vam fer va ser com- A més, el fet d’avaluar sovint té moltes partir-les en els grups de treball. Això connotacions negatives i provoca re- ens va permetre obrir el debat pel prin- sistències. Ja sigui perquè pensem que cipi: per a què hem d’avaluar? Les res- l’avaluació deixarà entreveure les nos- postes a aquesta pregunta apuntaven de tres mancances i els errors que come- bon començament en una triple direcció: tem, perquè es veu com el moment que (1) Hem d’avaluar per retre comptes del fan servir els que són a dalt per controlar que fem, ja que treballem en el que és i fiscalitzar el que fan els que són a baix, públic amb recursos públics. (2) Hem o perquè es veu simplement com un d’avaluar per poder prendre decisions exercici legitimador de la supressió de en la reorientació de les pràctiques, dels programes i subvencions. Gairebé mai programes, de les prioritats, encara més no es viu bé l’avaluació, en positiu, com en temps de fortes limitacions pressu- una oportunitat per a l’aprenentatge, el postàries que segurament obligaran a canvi i la millora. prioritzar partides i intervencions: així que també necessitem l’avaluació per Segurament, una part d’aquesta “mala justificar en part la necessitat de la feina fama” és ben merescuda, ja que no s’ha que fem i el seus rendiments. Finalment, treballat prou el seu sentit, ni la forma (3) hem d’avaluar per aprendre i poder de fer-la útil reincorporant als proces- millorar les nostres formes i estratègies sos de treball els canvis que es puguin de treball. derivar dels seus resultats. Moltes ve- gades s’han fet servir instruments i me- todologies que són difícils d’entendre i d’incorporar a la tasca quotidiana de les organitzacions o dels processos comuni- taris. A més, molts exercicis d’avaluació aporten poc rendiment en comparació amb el seu cost, raó per la qual es fa difí- cil veure quelcom útil en el fet d’avaluar. 1.2. L’acció comunitària Com que és una guia per avaluar l’acció operatiu per a l’avaluació (MOA), torna- comunitària, hem de fer en aquestes rem a formular de manera més esque- pàgines inicials una mínima referència màtica. a la “nostra” manera d’entendre aques- ta perspectiva d’intervenció social. No De manera intuïtiva, l’acció comunità- és pas la intenció d’aquest document ria ens parla de gent que s’organitza entrar en debats teòrics i conceptuals per fer coses conjuntament (treballar sobre l’acció comunitària, però és ben col·lectivament objectius col·lectius). El cert que no tothom l’entén de la mateixa primer que hem de deixar clar és que no manera i, per tant, és necessària una de- es tracta d’un tipus d’intervenció pròpia limitació conceptual mínima. d’un determinat àmbit d’acció social, ni d’uns professionals específics. Es pot Ja fa temps que a Barcelona es desen- fer acció comunitària en un barri, en una volupen accions comunitàries. En molts escola o en un hospital, com la poden fer casos, amb el suport de les adminis- mestres i educadors, professionals de la 11 tracions públiques, quan no estan im- salut, dels serveis socials, de l’animació pulsades pels equips de professionals sociocultural o de qualsevol altre camp Qualitat de Vida, Igualtat i Esports dels serveis públics, com pot ser el cas en què es tingui la voluntat de treballar dels serveis socials municipals. Totes col·lectivament objectius col·lectius. A Guia operativa aquestes pràctiques han acumulat unes tall d’exemple, podríem assenyalar la d’avaluació de l’acció comunitària maneres de fer, tradicions i cultures important tradició comunitària que hi ha professionals, de vegades plasmades en l’àmbit de la salut o en el de la coope- en documents d’ordre molt divers1 i, si ració al desenvolupament. Darrerament no, formant part del bagatge professio- es parla d’economies comunitàries o de nal i dels equips tècnics. Es tracta de la gestió comunitària d’equipaments de perspectiva de l’acció comunitària que proximitat, per exemple. compartim, de manera més o menys ex- plícita, la gran majoria de les persones Quan parlem d’acció comunitària sem- que hem format part dels grups de tre- pre parlem de formes de participació, ball i discussió que han donat origen a però d’una participació que involucra aquesta guia. Per això, abans parlàvem professionals i serveis públics que po- de la “nostra” manera d’entendre l’acció den ser diversos. En un sentit ampli, es comunitària. Cal dir, no obstant això, que podria pensar en accions comunitàries no pretenem que totes les pràctiques desenvolupades de manera autònoma, comunitàries construïdes a Barcelona independents de l’acció de les institu- amb el suport municipal segueixin exac- cions públiques. Però les accions comu- tament i sempre la mateixa perspectiva nitàries en què pensa aquesta guia es d’intervenció, ni que, tot i compartir-la, caracteritzen pel fet de tenir la presèn- les pràctiques sempre siguin coherents cia i el suport de les institucions públi- amb aquesta perspectiva (de vegades, ques a través de l’acció que duen a terme les declaracions apunten en una direc- els diversos serveis i professionals in- ció i les pràctiques en una altra; això volucrats. Pensem, doncs, en equips o passa a tothom en molts àmbits de la professionals dels serveis públics que vida). Per això la necessitat d’aquesta participen o promouen projectes comu- guia d’avaluació: per donar instruments nitaris, i no en l’acció comunitària ente- que permetin saber fins a quin punt les sa exclusivament com a “acció veïnal”: pràctiques que s’estan desenvolupant aquest seria un dels primers elements responen a aquest plantejament comú, en relació amb l’acció comunitària, que tot seguit intentarem dibuixar mínima- ment, i que més endavant, en la part II 1 Vegeu l’annex sobre documentació municipal en d’aquesta guia, quan parlem del marc relació amb l’acció comunitària. de caracterització de l’acció comunitària responsabilitat al voltant de la inter- tal com s’ha entès i practicat a Barcelona: venció pública. organització i participació veïnal, i treball b) Construcció de ciutadania, l’apode- conjunt entre veïnatge i serveis públics a rament o enfortiment ciutadà: com a través de la implicació de les administra- procés de responsabilització indivi- cions públiques, especialment de l’Admi- dual i col·lectiu. També podríem parlar nistració local (Ajuntament). aquí de creació de pertinença, capital Així, l’acció comunitària mostra una do- social , de vincles, de confiança, de ble cara: la que té a veure amb la millora xarxes socials, etcètera. de certes condicions de vida de la gent c) Les transformacions en les condicions (problemes col·lectius, millora del bar- de vida i la creació de noves oportuni- ri) i la que té a veure amb els processos tats per fer front a carències i neces- d’enfortiment ciutadà, que seran neces- sitats de la població, mitjançant la 12 saris perquè la gent pugui ser protago- construcció d’espais de convivència. nista, i que tenen a veure amb les formes Qualitat de Vida, d) La inclusió social, en el sentit d’una Igualtat i Esports d’organització col·lectiva i de participa- clara intencionalitat de no deixar nin- ció veïnals, i amb les estratègies i les Guia operativa gú fora, de comptar amb tothom i tre-formes de relació entre persones, les d’avaluació de ballar per tothom, i no per a la millora l’acció comunitària entitats i els serveis públics. de les condicions de vida de només unes quantes persones. Incorporant Així, doncs, en un sentit molt ampli o ge- en els processos als col·lectius més neral, podríem enumerar els objectius vulnerables. següents (en part metodològics i en part substantius) per a l’acció comunitària: Aquest seria el nostre marc comú per a tota acció comunitària, però sense a) Construir processos planificats per oblidar que els objectius avaluables a a la millora de les polítiques públi- cada acció comunitària particular (els ques i dels serveis públics a través objectius específics) hauran de ser més de la implicació i de la cooperació de concrets, més precisos, i que hauran de la ciutadania, del treball coordinat respondre a diagnòstics concrets i a as- entre professionals i serveis, i d’un piracions específiques a cada territori o clima de consens, proactivitat i co- col·lectiu. Figura 1. Triangle de l’acció comunitària a Barcelona Apoderament ciutadà Treballar col·lectivament objectius col·lectius Millora de Processos les condicions d’inclusió de vida 1.3. Perspectives d’avaluació En relació amb l’avaluació de projectes del procés i dels resultats de l’avaluació socials i de polítiques públiques hi ha per part de la població, sense deixar-ho diverses perspectives de treball, plante- tot només en mans dels tècnics o dels jaments teòrics i metodològics que ens responsables polítics que l’encarreguen. apunten formes d’entendre què és ava- Però, tal com acabem de dir, les tres luar i com s’ha de fer, que també poden perspectives metodològiques poden ser ser diverses. Un repàs per la literatura absolutament complementàries i, de especialitzada ens permetria diferenci- fet, els millors usos de les metodologies ar entre avaluacions més convencionals participatives incorporen sempre ins- o tecnocràtiques i avaluacions partici- trumentals d’anàlisi quantitativa i quali- patives, entre avaluacions qualitatives tativa. De la mateixa manera, es fa difícil i quantitatives de processos o d’impac- pensar en una avaluació qualitativa que tes. També podríem diferenciar entre no parteixi d’un cert dimensionament avaluar per aprendre, per prendre deci- —quantitatiu— de la realitat que es vol sions o per apoderar la població, o entre valorar. 13 avaluacions com a estratègies de treball internes als equips tècnics i promotors, Si ens fixem en l’objectiu de l’avaluació Qualitat de Vida, Igualtat i Esports o com a exercicis externalitzats que, su- (avaluar, per a què?), podríem dir que posadament, hauran d’aportar punts de existeixen dos tipus d’avaluació que, cla- Guia operativa vista més objectius. Però no sempre hem rament, són també més complementaris d’avaluació de l’acció comunitària de llegir aquesta diversitat com a discre- que no pas alternatius: avaluar l’eficà- pància. Sovint es tracta de perspectives cia (o avaluació d’impactes): avaluar per i mètodes absolutament complementa- tal de veure si aconseguim els resultats ris. Avaluar processos no es contradiu que ens havíem proposat i avaluar l’efi- amb avaluar impactes, ni tampoc no són ciència (o avaluació del funcionament): contraposades, i sí complementàries, avaluem per saber si fem les coses tal les anàlisis quantitatives, les qualitati- com ens havíem proposat fer-les. En el ves i les participatives. primer cas (impactes), avaluem els efec- tes derivats de les nostres accions, i en Una possible classificació molt esque- el segon cas (funcionament) avaluem el màtica de les perspectives d’avaluació procés: les formes de treballar que te- tenint en compte els mètodes que es fan nim. De vegades es fa servir la distinció servir ens permetria diferenciar entre entre una avaluació finalista (la dels ob- metodologies quantitatives, qualitatives jectius i els impactes) i una altra d’inter- i participatives. Dit d’una manera molt mèdia (la del funcionament o el procés). resumida, i potser també massa sim- ple, les metodologies quantitatives són Avaluar eficàcia = Avaluar impactes = aquelles que basen les seves anàlisis en Avaluar objectius = Avaluació finalista la recopilació i el tractament estadístic de dades, les metodologies qualitatives Avaluar eficiència = Avaluar processos = són les que recullen i analitzen opinions, Avaluar funcionament = Avaluació inter- i les metodologies participatives són les mèdia que pretenen fer un pas més i aconseguir l’activació dels protagonistes de l’acció Ens preguntem si és possible plantejar avaluada: promoure accions en els sub- una tercera visió o perspectiva sobre jectes i no només copsar les seves opi- l’avaluació: avaluar la intel·ligència, que nions. Cal dir que, en certa manera, les posa l’èmfasi en la capacitat d’apre- metodologies participatives inclouen nentatge i el canvi de les organitzacions l’instrumental de l’anàlisi qualitativa, [Com diu el proverbi: aprendre és canvi- però hi sumen procediments que tenen ar]. Cal preguntar-se, en aquest cas, com una funcionalitat més política i que te- es donen el processos de canvi dins les nen a veure amb el control i l’apropiació organitzacions o els grups promotors de l’acció comunitària, i identificar les sens? Quins són els problemes que hem dimensions d’aquests processos i ava- d’abordar, els que pugui identificar un luar-los. Per començar, podríem dir que científic social, els que decideixi un di- una organització intel·ligent és aquella rectiu públic o els que ha consensuat que fa un ús estratègic de l’avaluació i una “comunitat”? També té tot el sentit n’incorpora els resultats als processos preguntar-se pels objectius estratègics de treball. També podríem dir que una d’aquesta elaboració participada de di- organització intel·ligent és aquella que agnòstics socials. Concretament, sobre sap escoltar i relacionar-se amb el “món si aquests s’han de limitar a eixamplar el exterior”, etcètera. coneixement que tenim d’una determi- nada realitat o entorn social, o si cal que Finalment, ens hem plantejat també la vagin més enllà —fins i tot sacrificant en necessitat d’avaluar necessitats, de fer part els objectius de coneixement— in- diagnòstics, i hem vist que aquesta visió corporant d’una manera especial objec- 14 de l’avaluació com a exercici d’identifi- tius més centrats en la dinamització, en cació de necessitats, i també d’oportu- Qualitat de Vida, nitats, debilitats, fortaleses o amenaces l’activació de processos relacionals que Igualtat i Esports al voltant d’un projecte comunitari no facin dels participants en l’avaluació no Guia operativa la podem entendre com un procés tec- només “opinadors” o “avaluadors”, sinó d’avaluació de també “actors”: protagonistes actius l’acció comunitària nocràtic i sí com un procés participat, en què tinguin cabuda diversos agents: dels processos comunitaris de canvi i afectats i protagonistes dels processos millora de la seva situació. de millora de la realitat en la qual es vol intervenir, professionals dels serveis pú- blics, experts, ciutadania..., que haurien d’abocar les seves visions i opinions, les seves valoracions per construir l’avalua- ció. Finalment, cal apuntar també, en rela- ció amb els diagnòstics, la importància que tenen per fixar el punt de partida: hem de confrontar els resultats de les nostres accions amb la situació tal com era en el moment de començar a actu- ar, i el fet de saber com estem en el punt de partida resulta fonamental per poder avaluar els canvis que s’han produït. L’avaluació de necessitats ens condueix cap a la construcció de “problemes so- cials” que, immediatament, es conver- teixen en objectes o dianes de l’acció pública: “Hem fet un diagnòstic i aquests són els problemes als quals hem de fer front.” Bé, davant d’aquesta mena d’exercici d’avaluació sorgeixen algunes preguntes que no podem obviar: quan parlem de problemes, de necessitats, etcètera, arribem a la seva identifica- ció per la via d’un suposat coneixement objectiu, o mitjançant el diàleg i el con- 1.4. Avaluació, seguiment, supervisió i recerca En les sessions de treball als grups s’ha xement que en cada moment es poden donat una gran coincidència entre molts tenir. Així, doncs, diferenciarem de l’ava- dels participants en detectar la neces- luació el seguiment, la supervisió i la re- sitat que tenen els professionals que cerca. treballen en el dia a dia de les accions comunitàries de disposar d’espais per Així, parlarem de seguiment quan el que contrast de les seves pràctiques per tal ens interessa destacar és la necessitat de millorar-ne el funcionament, canviar de disposar d’espais de contrast que el que s’hagi de canviar i reforçar allò tinguin una intencionalitat política, cosa que funciona. Però també hem pogut que dóna a aquests espais certs tipus veure que aquesta necessitat no sempre d’exigències metodològiques específi- s’expressa en els mateixos termes. De ques. Podríem pensar, per exemple, en vegades es fa referència a la necessitat una comissió de seguiment d’un pla co- d’anar contrastant amb algú el dia a dia, o munitari. determinades situacions concretes que 15 ens porten a carrerons sense sortida, a Els espais de seguiment d’una acció co- no saber què fer en un moment puntual. munitària van adreçats a validar i legiti- Qualitat de Vida, Igualtat i Esports Altres cops les necessitats de contrast mar les pràctiques que es desenvolupen apunten directament a l’eficàcia i l’efi- contrastant-les amb persones que te- Guia operativa ciència dels processos d’intervencions nen una rellevància política per al pro- d’avaluació de l’acció comunitària (treballem com hem de treballar?, estem cés comunitari, i no són les promotores aconseguint resultats?) amb una visió directes. L’objectiu principal dels espais més global. Certament, la necessitat de seguiment acostuma a ser validar les d’avaluació té a veure amb tot això, però estratègies que se segueixen, consensu- ens preguntem si hem de trobar la res- ar possibles reorientacions i gestionar posta a totes aquestes necessitats de possibles conflictes. Un bon seguiment coneixement en metodologies, instru- requereix bona informació i pluralitat, ments i espais d’avaluació o si, al con- significació i representativitat dels par- trari, cal diferenciar l’avaluació d’altres ticipants. Quan fem seguiment també formes de contrast de les nostres pràc- estem fent avaluació, ja que emetem un tiques i intervencions. judici de valor, però els espais de segui- ment poden fer més coses, a més d’ava- En part, en les sessions de treball als luar. grups ha sortit la idea que és impossible no avaluar, que sempre avaluem en la La supervisió és un camp de treball as- mesura que pensem o expressem judicis sentat en les pràctiques professionals de valor sobre el que fem nosaltres o el d’intervenció social i, normalment, fa que fan els altres i, per tant, estirant una referència al paper que desenvolupa mica l’argument, també podríem dir que una persona que té els coneixements i tot contrast de la pràctica és avaluació, les habilitats necessàries per saber es- i no calen més diferenciacions. Però, no coltar i fer pensar els professionals que obstant aquesta apreciació, sí que ens estan en el dia a dia de l’acció. També fer ha semblat interessant diferenciar de supervisió és fer avaluació, però ara les l’avaluació altres possibles estratègi- finalitats estan molt més focalitzades es de contrast que pensem que poden en l’anàlisi dels processos i les formes ajudar. No es tracta de fer disquisicions de treball dels equips professionals, i es conceptuals o terminològiques (com fa més difícil pensar en uns instruments més, millor), ja que no és el nostre objec- de supervisió independents de la perso- tiu, però potser val la pena fer-ne alguna na que els fa servir, cosa que vol dir que per facilitar la construcció de demandes l’atenció no es posa en el fet que la su- i el disseny de possibles respostes me- pervisió doni uns resultats objectius, i todològiques a les necessitats de conei- sí, en canvi, en el fet que el professional que supervisa sigui capaç de fer un bon acompanyament als equips. Algunes de les intervencions fetes als grups de treball han volgut destacar ex- pressament el paper crucial que té la recerca científica. L’objectiu fonamental de la recerca és arribar a un coneixement profund i sistemàtic del funcionament dels processos i dels impactes de les accions comunitàries en general. Dispo- sar d’una bona base de coneixement, a partir d’investigacions i recerques con- tinuades, ens pot mostrar efectes o im- 16 pactes de l’acció comunitària que seria difícil que apareguessin com a resultat Qualitat de Vida, de l’avaluació d’un projecte concret. Ar- Igualtat i Esports ribar a la conclusió, per exemple, que en Guia operativa aquells barris en què s’ha desenvolupat d’avaluació de una acció comunitària de qualitat, amb l’acció comunitària implicació dels serveis socials i els cen- tres educatius, aquesta ha tingut efec- tes positius en la convivència en l’espai públic, o en la millora del rendiment es- colar, és més el resultat d’una recerca fonamentada en anàlisis transversals i longitudinals de diverses experiències en diversos contextos socials, que no pas el fruit de l’avaluació d’un projecte concret durant un temps limitat. Però fer aquesta mena de recerca també és, en efecte, avaluar l’acció comunitària. 2. CONSIDERACIONS SOBRE L’AVALUACIÓ DE L’ACCIÓ COMUNITÀRIA 2.1. Hem de prendre consciència de la complexitat de la tasca avaluadora Com ja s’ha dit a la presentació, el con- 2.1.1. Aportacions principals fetes als tingut d’aquesta guia és fruit de les apor- grups de treball: tacions de moltes persones que, a través de diversos rols i responsabilitats, par- L’avaluació es considera una tasca abso- ticipen en el desenvolupament de l‘ac- lutament necessària, però a la vegada es ció comunitària a Barcelona. En aquest veu com quelcom summament complex. apartat, volem recollir les aportacions La gran complexitat que s’identifica en principals fetes als grups de treball per relació amb la tasca avaluadora no té totes aquestes persones, que són les a veure únicament amb la seva dimen- que han marcat el camí a recórrer en el sió més tècnica o metodològica. Moltes desenvolupament de la guia d’avaluació, altres dimensions es posen en escena en assenyalar les necessitats, deman- a l’hora de pensar en la complexitat de des, preguntes, reptes, etcètera, vincu- l’avaluació. Aquesta complexitat s’atri- lats a la tasca avaluadora. bueix principalment als aspectes se- güents: 17 Evidentment, no podem recollir-ho tot: - A les diferents visions, interessos, en- Qualitat de Vida, no surten totes les intervencions, però Igualtat i Esportscàrrecs, voluntats i capacitats del ven- sí les més rellevants o significatives tall d’actors implicats: Guia operativa per a la tasca que ens hem proposat fer. d’avaluació de Moltes idees són compartides per més l’acció comunitària... Els PDC plantegen canvis, transfor- d’una persona. Hem mirat de recollir-ho macions —com millorar l’èxit escolar—, tot en uns quants apartats que contenen però hi ha una prèvia, que és saber qui- aquestes aportacions agrupades per ca- na motivació tenen els agents del terri- tegories o idees força sobre l’avaluació: tori convidats a participar-hi per canviar aquesta realitat, i sense això es pot parti- 1. Hem de prendre consciència de la cipar en un procés comunitari per bondat complexitat de la tasca avaluadora de participar-hi, però la motivació inicial 2. Necessitem un marc institucional no és la mateixa que la que té un servei que doni sentit a l’avaluació públic, per exemple. 3. Què avaluem? ... Hi ha una dissociació entre la reivin- 4. Sobre el procés i els instruments dicació i la col·laboració i això fa difícil d’avaluació avaluar; també hi pot haver la percepció que hi ha coses que les haurien de fer les Per presentar aquesta informació, un administracions i no les accions comuni- cop agrupada en les idees força ante- tàries. riors, primer recollirem les aportacions principals fetes als grups de treball pels ... M’interessa del grup com podem cons- participants, i al final de cada apartat truir una informació compartida entre farem una síntesi o conclusió en relació els agents que estem tirant endavant un amb la idea força que les aglutina. pla comunitari i poder parlar més enllà dels interessos: des de la part més ad- ministrativa de vegades hi ha interessos polítics que justifiquen una cosa que tèc- nicament no s’aguanta i des de la part de les entitats de vegades es justifica un sou, encara que l’impacte sigui -3. ... No tenim temps ni encàrrec per avalu- ar. Som un col·lectiu d’acció, més que no pas d’avaluació. ... Crec que una avaluació d’un projecte - A les diferents “escales” o “nivells” no és la suma de les parts, que cada part pels quals transiten els processos co- ha de fer l’avaluació de què li representa, munitaris i els canvis que es busquen: què significa, i que hi ha d’haver una ava- luació conjunta que ha de transcendir la ... Avaluem una acció concreta, un pro- suma de cadascuna, ha de ser una altra grama, un PDC, la política pública dels cosa diferent. M’interessen les dues. PDC, els actors i les seves actituds i es- tratègies...? Mirem els canvis a escala individual, grupal, de participants, de - A falta d’uns objectius clars, específics barri...? i avaluables en els projectes d’AC: ... Perquè sigui útil m’interessa què sig- ... No pot ser que tots els PDC tinguin els nifica allò per al meu servei, però també mateixos objectius, les realitats del terri- què és el que representa per a cadascuna 18 tori són diferents... de les parts que formen aquell projecte. Qualitat de Vida, ... Treballem amb objectius massa gene- ... Igualment, el que és important no és Igualtat i Esports rals o impossibles d’assolir a curt termi- l’avaluació de cada projecte i no hem Guia operativa ni. d’avaluar tots els nivells de l’acció comu- d’avaluació de l’acció comunitària nitària (individual, grups, barri), ja que els ... Un grup de treball que sap definir bé indicadors potser són diferents... Hem de els seus objectius sap avaluar-los. poder objectivar. - A les rigideses dels processos burocrà- ... Els efectes positius d’un programa es tics a les administracions públiques: veuen en un altre programa perquè l’an- terior ens facilita relacions. ... La visió burocràtica de l’Administració ens va contra, hauríem de ser capaços ... Hem de distingir tres nivells: avaluar de recollir tota aquesta part més quali- un pla després de X anys; avaluacions tativa, aquestes percepcions més indivi- anuals o de curs i l’avaluació quotidiana duals, aquelles coses que no estan a la (del dia a dia i en el dia a dia). memòria, però que pots percebre quan visites les experiències. - A les expectatives d’una avaluació que ... Igual que fem un “relat” del diagnòstic, sigui “objectiva” i les dificultats que això necessitem un “relat” de l’avaluació. implica: ... Jo m’ho plantejo per aconseguir aque- - A la necessitat de disposar de concep- lla informació contrastada, útil i objectiva tes clars i compartits, que signifiquen el que permeti a qui ha de prendre la deci- mateix per a tothom: sió tenir més elements objectivables... ... Necessitem un esquema o esquelet prou compartit que permeti planificar i - A la necessitat de més coneixement al avaluar. voltant de l’AC perquè l’avaluació sigui més eficaç: ... Fer una bona conceptualització d’ele- ments clau també ens ajudaria a avalu- ... Ens cal recerca sobre l’AC i sobre l’ac- ar. Si hem d’avaluar l’apoderament, què ció dels serveis socials. entenem per apoderament? Quines di- mensions té? Si hem d’avaluar la trans- ... Tenim necessitat d’avaluació, i també formació o la coordinació... de recerca: no tot sortirà de l’avaluació. 2.1.2. Conclusió: en cap de les dues qüestions. Posar-se d’acord en la primera afirmació “allò que L’acció comunitària ens remet a una realment passa” pot arribar a ser possi- pluralitat d’actors que col·laboren, però ble, encara que l’experiència ens demos- que també poden passar per moments tra que no sempre és fàcil i, a vegades, de conflicte, i si això es dóna és perquè pot resultar gairebé impossible (on uns els diversos actors que hi participen po- veuen autonomia, els altres veuen alda- den tenir, en certs aspectes, posicions o rulls; el que per uns és activitat cultural, interessos contraposats. En un mateix per uns altres és soroll o propaganda...), projecte o acció comunitària, en un pla però la segona qüestió, “què hauria de comunitari, etcètera, sempre es donen passar”, això depèn clarament de prin- moments de conflicte i moments de co- cipis ètics, ideològics o polítics que no operació entre els diferents actors que tenen per què ser compartits i que pro- hi intervenen, o una mena de relacions jecten una determinada intencionalitat en què és possible esbrinar aquestes en l’acció que s’ha de desenvolupar. 19 dues cares (conflicte i cooperació) en proporcions diverses. Així que també ens Per tant, alhora de plantejar un procés Qualitat de Vida, podem trobar amb una significativa plu- d’avaluació en accions comunitàries, cal Igualtat i Esports ralitat de visions i d’interessos entorn de diferenciar entre: Guia operativa l’avaluació. Això ens fa pensar que l’ava- d’avaluació de l’acció comunitària luació segurament no sempre pot ser un a) Discernir sobre quin objectiu es vol exercici tan “científic” i “objectiu” com avaluar, l’èxit o impacte d’un progra- pensem de vegades, i pot passar fàcil- ma, qüestió principalment de caire ment que allò que per a uns és un èxit, polític. per a uns altres sigui un fracàs, alguna cosa no especialment rellevant, o fins i b) Inferir causalitat entre l’acció co- tot una amenaça. munitària i la variació de l’objectiu d’aquesta, sent aquest un repte me- Però l’acció comunitària, tot i assumir todològic. l’existència inevitable de conflictes i vi- És important atendre les dues qüestions sions contraposades entre els diferents però no confondre-les. participants (tècnics i professionals, as- sociacions, grups i persones no associa- Tot això no hauria de significar que re- des, administracions, experts, etcètera), nunciem d’entrada a tota pretensió basa bona part del plantejament meto- d’una mínima objectivitat. Més aviat el dològic en la necessitat de construir es- que ens diu és que hem de ser consci- pais de consens i acords que permetin ents dels límits i curosos amb els mèto- un treball de col·laboració, entre gent des per aconseguir aquesta objectivitat. diversa, al voltant d’un projecte com- Hi ha aspectes que ens poden ajudar. partit. Això significa que també caldrà Per començar, promoure avaluacions construir un cert acord al voltant dels participades i pluralistes: que recullin objectius i els mètodes d’avaluació. el màxim de visions, interessos i opini- ons. També, construir vocabularis, marcs Podríem dir que avaluar, emetre judicis conceptuals i operatius, que siguin prou de valor al voltant d’una situació o ac- compartits, fer un esforç per clarificar ció, és també una activitat “política” i d’antuvi els objectius que perseguim, no només “científica” o “tècnica”. Una dotar-nos d’instruments d’avaluació efi- altra manera de dir-ho seria que, quan caços, i d’altres que veurem més enda- avaluem, molts cops estem comparant, vant. almenys en part, “allò que realment pas- sa” amb “allò que voldríem que passi”, i no sempre és fàcil posar-se d’acord 2.2. Necessitem un marc institucional que doni sentit a l’avaluació Tot i considerar l’avaluació gairebé una 2.2.2. Conclusió: necessitat urgent, no és menys cert que es tracta d’un tasca que sempre genera Les raons poden ser diverses, però el cas inquietuds i suspicàcies: serveix per a és que l’avaluació no és una activitat in- alguna cosa?, es fa servir per retirar fons corporada naturalment a la nostra quo- de finançament dels projectes?, o per tidianitat, i això fa que sovint es visqui “castigar” uns professionals i “premi- com una cosa extraordinària, feixuga i ar-ne” uns altres? Cal aclarir d’antuvi els sense gaire sentit. A vegades, fins i tot, objectius de l’avaluació. com una amenaça directa a la nostra fei- na o la nostra posició a l’organització en No poques intervencions han assenyalat què treballem. Es fa perquè s’ha de fer, la importància de disposar d’un “marc” això d’avaluar, però encara sense gaire (normatiu, institucional, polític...) que convenciment i amb moltes cauteles. deixi ben clar el perquè de l’avaluació. 20 Veiem diverses intervencions dels parti- Però si ens volem prendre seriosament cipants als grups. la tasca d’avaluar, el primer que hem de Qualitat de Vida, fer és dotar-la de sentit. Una altra mane- Igualtat i Esports ra de dir-ho és que necessitem disposar Guia operativa d’una o més respostes clares a la qües- d’avaluació de l’acció comunitària 2.2.1. Aportacions fetes als grups de tre- tió de “per a què avaluem”. És això el que ball: donarà sentit a la tasca avaluadora: les raons per les quals la fem. - Necessitem situar la tasca avaluadora dins un “marc” o un “acord institucio- Quan diem que l’avaluació necessita un nal” que faci explícit el perquè de l’ava- marc institucional clar ens referim al fet luació i contribueixi a generar confiança que dins les nostres organitzacions, ja en el procés: sigui una entitat veïnal, una empresa de prestació de serveis o una administració ... perquè l’avaluació sigui compartida pública, es puguin saber amb claredat i objectiva, l’important és que es generi les raons per les quals volem avaluar i, un clima de confiança i compromís entre per tant, què en farem dels resultats de tots els agents. l’avaluació. Se’ns fa difícil imaginar una bona avaluació sense que aquest “pas ... moltes vegades comencem a treba- previ” sigui prou clar. Així, una avaluació llar plegats i no tenim definit per què ho ben “emmarcada” serà aquella que, més fem... i hem trigat a definir-ho. Molts PDC enllà de desplegar unes o altres meto- s’han posat amb calçador, no perquè vin- dologies, transmet de bon principi per a guin d’una definició conjunta del proble- què ha de servir l’avaluació, quina és la ma... Si és així, és molt més fàcil avaluar. seva finalitat i, per tant, quin és el seu sentit. ... hi ha resistències vinculades a qui la impulsa, i a la transparència en relació Aquest marc facilitarà el procés d’ava- amb les conseqüències de l’avaluació. luació des de molts punts de vista. Des de saber quin paper han de tenir els di- ... l’avaluació ha de ser capaç de recollir versos actors, fins a escollir entre uns o les diferents visions. altres mètodes o instruments. ... és important acotar una temporali- Les metodologies d’avaluació són diver- tat: avaluar un període de temps. Un pla ses, com els instruments que es poden ha de tenir un moment final, però, si no fer servir a l’hora d’avaluar. Però no és el és així, s’ha de poder avaluar un període mètode el que ha de donar sentit a l’ava- concret de temps. luació. Més aviat és tot el contrari: és 2.3. Què avaluem? el sentit institucional de l’avaluació (la Moltes intervencions en els grups han seva finalitat) el que ens ha de fer esco- plantejat que l’objecte de l’avaluació, el llir entre uns o altres mètodes. Triar en- què de l’avaluació, pot arribar a ser molt tre els diversos mètodes o instruments divers, a vegades extremadament difí- d’avaluació pot respondre a conside- cil d’identificar. “Si tenim clar què hem racions molt diverses (disponibilitats d’avaluar, tenim la meitat de la feina de recursos i de temps, tipus d’accions feta”, és el que ens vénen a dir moltes que s’han d’avaluar, etcètera), una de les de les intervencions. Tant per nombre quals és la finalitat de l’avaluació. d’intervencions, com pels debats sus- citats, podríem dir que aquest ha estat el gran tema, i aquesta és, doncs, la gran pregunta: “Què avaluem?” Aquí surten molts aspectes, des dels objectius del projecte fins a l’apoderament individual, passant per l’ànima dels projectes. Val la 21 pena llegir algunes de les intervencions per fer-se una idea millor del que estem Qualitat de Vida, dient. Igualtat i Esports Guia operativa d’avaluació de l’acció comunitària 2.3.1. Aportacions principals fetes als grups de treball: - La qüestió del “què avaluem” que apa- reix com un dels reptes operatius més importants: ... No tenim ben definit el problema que després voldrem avaluar. ... Costa avaluar per què costa definir què avaluem. ... per mi, el difícil és extreure què és allò que hem d’avaluar, i que no passa per allò quantitatiu, sinó que passa pel fet de mesurar altres aspectes que són impor- tants i que garanteixen l’èxit del projecte (els intangibles!). ... l’avaluació hauria de permetre saber si aquell projecte té ànima o no té ànima, una sensació que sabem que hi és i que l’hem d’identificar (hi ha projectes que fan “pudor de podrit”). ... Els objectius que ens marquem, uns són molt macro i altres són molt micro. ... Es parlava per exemple de millora de les relacions... Això ho podrem traduir en números? ... però els processos comunitaris [...]. entre si. Hem de poder avaluar-ho tot, Jo tinc moltes coses que no sé si les puc encara que avaluar-ho tot sigui impos- avaluar perquè tenen a veure amb la re- sible. Altrament dit: no tenim per què lació amb la gent, el contacte personal… renunciar a l’avaluació de cap aspecte o Hi ha moltes coses que fan que un pro- dimensió relacionada amb l’acció comu- jecte tiri endavant… nitària, però, de la mateixa manera, no es pot pensar en l’avaluació d’una acció ... s’han de marcar com una prioritat els comunitària que ho tingui en compte tot. objectius generals del procés, la creació de xarxes, l’apoderament de les perso- També és clar que les demandes en rela- nes (si han assumit responsabilitats), si ció amb l’avaluació es construeixen des estem avançant cap a l’autogestió dels dels diferents rols professionals, veïnals projectes i els grups. i institucionals que la protagonitzen. Així, el que espera de l’avaluació un professi- 22 ... el que hem d’avaluar és el canvi. onal d’un equip de serveis socials, per exemple, pot perfectament no coincidir Qualitat de Vida, ... hem d’avaluar els vincles. amb el que necessiten els responsables Igualtat i Esports polítics de la institució per a la qual tre- Guia operativa ... hem d’avaluar processos (no produc- ballen o el que voldria un col·lectiu orga- d’avaluació de l’acció comunitària tes) en el seu context. nitzat de ciutadans i ciutadanes. De fet, hem pogut veure en els debats als grups .... hem d’avaluar la capacitat projectiva: que la diversitat d’expectatives dels capacitat d’estar generant nous projec- participants davant l’avaluació que s’ha tes i noves accions. presentat provenia precisament de les seves diverses necessitats d’objectes i ... hem d’avaluar l’impacte, hem de donar objectius d’avaluació. resposta a la pregunta: “Això per a què serveix?” 2.3.2. Conclusió: La conclusió en relació amb el gran tema de quins han de ser el objectes de l’ava- luació (Què hem d’avaluar) és força sen- zilla, però molt contundent. En primer lloc, cal tenir clar què volem avaluar, i aquest és un exercici que exigeix dimen- sionar l’acció comunitària per tal de veu- re els diversos aspectes que comprèn, i la multitud d’elements en els quals pot arribar a tenir incidències significatives. Realment són moltes les “coses” sus- ceptibles de ser avaluades. Així, un dels reptes principals de la tasca avaluadora consistirà a posar ordre en el Què (vegeu més endavant la part II d’aquesta guia: El Marc Operatiu per a l’Avaluació). Les diverses dimensions, els aspectes diversos que es poden avaluar, no s’han de considerar contradictoris o excloents 2.4. Sobre el procés i els instruments d’avaluació Els aspectes més purament metodolò- ... Hem d’incorporar elements lúdics, la gics no han estat els més presents en gent s’ho ha de passar bé avaluant els debats als grups, però s’han dit al- gunes coses que no cal perdre de vista. ... perquè sigui útil per a mi, ha de per- Especialment, la necessitat de ser inno- metre poder contrastar aquestes valo- vadors i creatius en relació amb les tèc- racions que fem els tècnics en el dia a niques i els instruments d’avaluació, la dia, que són valoracions individuals o en importància de combinar les perspecti- equip, poder contrastar-les amb la resta ves quantitativa, qualitativa i participa- de percepcions dels agents que hi par- tiva, la importància de combinar, també, ticipen... i també amb una visió externa, avaluació interna amb avaluacions ex- que de vegades és la que et diu això és el ternes, i la necessitat d’una reflexió de que jo veig des de fora que esteu passant les administracions públiques respecte per alt, o que no està funcionant, com dels sistemes de seguiments i registre una mena d’assessorament... Crec que 23 (memòries) que es fan servir, i que hauri- aquesta eina i poder contrastar els que en de ser més compartits i estables. estem en el dia a dia amb algú de fora, amb un visió externa. Qualitat de Vida, Igualtat i Esports ... L’avaluació té sentit dins un projecte. Guia operativa No podem parlar d’un únic instrument d’avaluació de 2.4.1. Aportacions principals fetes als l’acció comunitàriad’avaluació descontextualitzat d’un pro- grups de treball: jecte concret. - Necessitem estratègies i instruments ... Cal dissenyar un model d’acta per a re- d’avaluació que siguin útils i senzills, unions que faciliti la feina a l’hora d’ava- àgils i creatius: luar. .... De memòries, les administracions en ... hi ha vicis, cronificacions, que no es fem dues (Ajuntament i Generalitat), i les poden detectar si no és amb una avalu- carreguem a una sola persona, i on es pot ació externa. treure més és quan això es fa en grups, com al grup comunitari... Això dóna més ítems que la memòria. 2.4.2. Conclusió: ... la quantitat de dades que demanem, La conclusió principal d’aquest darrer des d’organismes diferents, sotmesos a debat apunta la necessitat de mirar l’ava- la pressió de les memòries, de mil for- luació amb una visió prou àmplia i crea- mats i organismes, que finalment no ens tiva perquè hi tinguin cabuda mètodes, aporten res. instruments i estratègies d’ordre molt divers. Que hi tinguin cabuda i que siguin ... Analitzar el clima que té aquell barri, compatibles i no excloents entre si. És exemple d’interrelació positiva, etcètera, més, cal que fem l’esforç per incorporar la això pot ser un indicador valorat a escala creativitat en els processos d’avaluació política..., cooperació, coresponsabili- com a única via possible per incorporar tat... Això no es pot valorar amb nombres, la diversitat d’experiències i participants o el mateix que els projectes d’inserció, que poden arribar a confluir en una acció quantes persones han trobat feina... comunitària: gent amb formació i sense, infants i gent gran, d’aquí i d’allà, profes- ... Els formats de l’avaluació, s’ha de ser sionals i voluntaris, etcètera. molt creatiu... un sopar, un audiovisual, una assemblea de barri, una consulta ciutadana... no en tinc la recepta. 3. PRINCIPIS METODOLÒGICS DE CAIRE GENERAL 3.1. Avaluació i planificació van sempre juntes Finalment, tota avaluació passa per Els procediments per a l’avaluació no aplicar o fer servir uns instruments con- poden estar molt allunyats dels proce- crets seguint uns mètodes o models diments de planificació. De fet, les idees predefinits. Però, independentment de apuntades fins ara ens remeten clara- quins siguin aquests instruments, de si ment a la necessitat que la tasca avalu- fem servir uns o altres models d’avalu- adora formi part de bon començament ació, hem pogut identificar uns principis de la planificació de l’acció. Quan planifi- metodològics generals que caldrà tenir quem hem de planificar també l’avalua- sempre presents quan parlem d’avaluar ció. De la mateixa manera, quan pensem accions comunitàries. No són gaires, i no instruments d’avaluació, aquests ens ens estendrem a l’hora de presentar-los, fan pensar en aspectes que hem de tenir però sí que són prou importants com per presents a l’hora de dissenyar i planifi- dedicar-los un apartat específic. car les nostres accions. 24 Planificar l’avaluació ens exigeix, per exemple, pensar i dissenyar procedi- Qualitat de Vida, ments de recollida i registre d’informació Igualtat i Esports relativa al desenvolupament de les acci- Guia operativa ons que es voldran avaluar. Si això no ho d’avaluació de pensem de bon començament, si no ho l’acció comunitària planifiquem, difícilment disposarem al final d’aquesta informació. Veurem tam- bé, per exemple, que per avaluar hem de disposar d’objectius avaluables, o d’una teoria del canvi que vinculi les nostres accions als resultats que esperem obte- nir. Doncs bé, això també ha de ser clar d’antuvi. En definitiva, cap avaluació no pot ser una “sorpresa” improvisada en l’últim moment, ja que correm clarament el pe- rill que l’exercici d’avaluació s’acabi con- vertint en un exercici d’autojustificació fet a última hora amb la informació que hem pogut arreplegar en l’últim moment. L’avaluació tampoc no s’hauria de con- vertir en un tràmit burocràtic més que no ens ha de “molestar” gaire i que podem fer mentre estem pensant en una altra cosa. L’avaluació ens ha de fer pensar, ens ha d’ajudar a planificar i a redefinir estratègies, i ens ha d’inquietar” i “mo- lestar” una mica. Avaluació i planificació van sempre jun- tes. L’avaluació es planifica alhora que es planifica l’acció. I aquesta associació entre planificació i avaluació compor- ta un doble benefici; a) l’avaluació es beneficia pels motius expressats i b) la planificació es beneficia de l’avaluació perquè li aporta un cert rigor a l’hora de 3.2. Hem de disposar d’uns objectius avaluables dir què es farà, com es farà i per a què L’avaluació ens obliga a fer explícits els es farà. De fet, les qüestions que abor- nostres objectius i posa a prova la seva darem en els diversos punts d’aquest pertinència i viabilitat. Segurament, no apartat tenen a veure, precisament, amb tota la tasca avaluadora del nostre pro- aspectes que cal considerar en els pri- jecte s’haurà de centrar a mesurar el mers moments, abans que el projecte es grau d’assoliment dels objectius que ens tradueixi en acció. havíem plantejat, ja que també avaluem el procés per assolir-los, però difícil- ment ens podem imaginar una avalua- ció que no prevegi d’alguna manera una mirada sobre el grau d’assoliment dels objectius. Aquí apareixen algunes qüestions de gran importància. En primer lloc, la ne- 25 cessitat de disposar d’uns objectius prou clars i concrets perquè siguin ava- Qualitat de Vida, Igualtat i Esports luables. De vegades fem explícits uns objectius tan generals, o a tan llarg ter- Guia operativa mini, que després no veiem la manera de d’avaluació de l’acció comunitària presentar-ne resultats. Quan ens posem a projectar la nostra activitat, ens ima- ginem un “món millor” i ens plantegem l’objectiu d’arribar-hi amb les nostres accions comunitàries, però això no vol dir que sigui possible, almenys en els terminis que nosaltres treballem i en els quals hem de presentar resultats. És ben cert que l’acció comunitària és una estratègia de treball que no pot mostrar resultats espectaculars en un termini curt de temps, però això no vol dir que no ens puguem plantejar objec- tius més propers i assolibles. O que no puguem establir diferents objectius en el curt, en el mitjà i en el llarg termini. No hem d’oblidar que el camí més di- recte cap al fracàs és plantejar uns ob- jectius inassolibles. Però, de la mateixa manera, tampoc no podem oblidar que les accions comunitàries troben el seu sentit en la promesa que incorporen de transformar relacions i condicions de vida, i aquesta intencionalitat hauria de quedar recollida d’alguna manera en els objectius. Necessitem, doncs, objectius clars, es- pecífics i acotats en el temps. Vinculats a necessitats i demandes específiques, i a oportunitats i amenaces concretes. No 3.3. Hem de fer explícita la nostra “teoria del canvi” n’hi ha prou amb declaracions de princi- Una teoria del canvi és un conjunt d’hipò- pis i definicions generals dels objectius, tesis de treball que posen en relació una de manera que després passi que totes activitat, o un conjunt d’activitats, i una les accions comunitàries acabin tenint manera de desenvolupar-les, amb uns els mateixos objectius. Nosaltres pro- resultats esperats en el procés de can- posem que els objectius específics as- vi: “Si fem aquestes activitats d’aquesta senyalin fites que s’han d’assolir en sis manera, esperem obtenir aquests resul- mesos, un any i tres anys vista. tats.” L’avaluació ha de sotmetre a prova la nostra teoria del canvi i és fonamental Una idea que genera força consens entre que sigui així. els tècnics de l’acció comunitària és que si un equip de treball és capaç de formu- Per exemple, una “teoria del canvi” en lar bé els seus objectius, llavors segur el món de l’educació pot plantejar que que és capaç d’avaluar-los. els infants aprenguin més i millor en en- 26 torns fortament afectius: el nen i la nena També s’ha dit que no pot ser que tots el que necessiten és veure en el mestre Qualitat de Vida, els projectes comunitaris tinguin els algú que els respecta i els estima. Al Igualtat i Esports mateixos objectius, ja que això voldrà dir contrari, altres teories del canvi en re- Guia operativa que tots es mouen en un pla molt gene- lació amb l’educació poden plantejar tot d’avaluació de l’acció comunitària ral i pensant només a molt llarg termini. el contrari: que “La lletra per les anques entra” i que allò que els infants neces- Hi ha qui parla d’una avaluació “lliure siten és un clima de disciplina i veure d’objectius” que és adequada en aquells en el mestre una figura d’autoritat. Bé, casos en que s’endega una acció per a es tracta de dues teories o hipòtesis del que passin coses positives (d’apodera- canvi que ens han de conduir a dos plan- ment democràtic o de millora de con- tejaments pedagògics força diferents, dicions de vida), però no se sap ben bé és a dir, a dues maneres de procedir i ac- quines. Llavors cal estar atents a allò tuar. L’avaluació ens hauria de servir per que va passant i conjugar perspectives veure fins a quin punt la nostra teoria és diverses (outputs externs). correcta, i quins resultats dóna. Finalment, també s’ha comentat que Si estem treballant en un programa per- hem de ser prou prudents a l’hora de què els joves del barri trobin feina, de- redactar projectes, ja que el paper ho penent de quina sigui la nostra teoria del aguanta tot, però els processos socials canvi, podem dur a terme unes o altres tenen els seus temps i els seus ritmes. activitats. Una teoria molt estesa és que l’activitat que més facilita trobar feina és la formació. Així, si estem d’acord amb aquesta “teoria del canvi” (més formació = més ocupació), el que farem serà ofe- rir formació als joves del barri. I si des- prés aquests joves no troben feina? Pot ser perquè no hem fet bé la formació, o perquè aquesta no era adient als perfils sol·licitats, o potser el que passa és que la nostra teoria del canvi és errònia i la formació no es tradueix en ocupació. És això el que hem d’esbrinar, el que hem d’aprendre amb l’avaluació. Aquesta és una qüestió clau assenyala- da a la teoria de l’avaluació. Hem de fer 3.4. L’avaluació no només analitza informació, també l’ha de generar explícita la nostra teoria del canvi i l’ava- L’avaluació exigeix recopilar informa- luació que fem ha de sotmetre a prova ció de manera ordenada o sistemàtica. la seva validesa. Això ens ajudarà a ori- Aquesta informació pot ser de tipus molt entar les nostres accions cap als canvis divers, però gairebé sempre estarem tre- que volem aconseguir. ballant amb dades (quanta gent ha as- sistit a l’activitat?, quanta gent ha fet ús Quina és la nostra teoria del canvi en del servei?, quants joves han trobat fei- l’àmbit de l’acció comunitària? Quines na?) o amb opinions (quina valoració en són les nostres hipòtesis de treball? Si fan els usuaris?, què en pensen els ciu- volem que un grup de població es faci tadans?). El que és important assenyalar càrrec de certs programes de millora de de bon començament és que difícilment la seva vida quotidiana (salut, educació), disposarem de la informació que neces- si volem que els joves participin en el sitem en el moment d’avaluar si abans pla de millora del barri, si el que volem no ens hem preocupat de definir-la i és enfortir el teixit associatiu del barri, l’hem anat recollint al llarg del procés. 27 quina és la nostra teoria del canvi? És a Moltes vegades la nostra capacitat per dir, quines són les activitats que pensem avaluar troba un dels seus límits en la Qualitat de Vida, que hem de fer, i com hem de fer-les, per Igualtat i Esportscapacitat real —limitada— que tenim assolir aquests objectius? d’anar recopilant informació (dades o Guia operativa opinions) de manera sistemàtica, orde- d’avaluació de l’acció comunitària Fer explícita la nostra teoria del can- nada. Per això és tan important pensar vi també ens obliga a no fer les coses en l’avaluació de bon començament i perquè sí, ni perquè sempre s’han fet mirar d’identificar la informació que ens d’aquesta manera. Ens ajudarà a planifi- interessarà en el moment d’avaluar per car millor les nostres activitats i a trobar anar recopilant-la. sempre el sentit a les coses que fem, per més petites o insignificants que sem- En aquest sentit, també serà molt im- blin. portant definir no només quina informa- ció ens interessarà recopilar, sinó també el procediment i els criteris que segui- rem per fer-ho, per tal que la seva utili- tat i “veracitat” no depengui de qui és la persona que la recull. Més endavant veurem com certs instru- ments amb què treballem quotidiana- ment ens poden ser de molta utilitat. Per exemple, les actes de les reunions, els protocols de treball, les fitxes de segui- ment, etcètera, poden fer perfectament aquest paper de facilitar la recollida d’informació. Pot ser molt convenient també anar re- copilant les valoracions més subjecti- ves de la gent, el que pensa sobre cada cosa en cada moment, i no només dades quantitatives. Quan fem una entrevista a una persona i li preguntem què pensava fa dos o tres anys de tal projecte, o com veia la situació al seu barri, per exemple, el que de fet ens està contestant és el 3.5. Alguns apunts sobre l’avaluació d’impactes que pensa ara que pensava abans, i no Dues raons fan que l’avaluació d’impac- el que efectivament pensava, ja que amb tes sigui una exigència avui dia per a el pas del temps les persones anem re- les accions comunitàries a la ciutat de interpretant inevitablement el nostre Barcelona. En primer lloc, el fet que ja passat. fa temps que s’estan impulsant accions comunitàries a la ciutat amb finança- ment públic, i alguns projectes fa temps que estan en marxa. Sembla que ja ha passat prou temps per avaluar l’impacte d’aquest tipus d’intervencions. La sego- na raó té a veure amb el context actual de restriccions pressupostàries a molts nivells, que obliguen els gestors públics a prioritzar uns programes per sobre 28 els altres. Els programes que es vulguin mantenir podran trobar arguments per Qualitat de Vida, Igualtat i Esports fer-ho en l’avaluació dels impactes que produeixen. Guia operativa d’avaluació de l’acció comunitària No podem negar, doncs, la necessitat d’avaluar els impactes que tenen les in- tervencions comunitàries. Tot i que, per començar, no sempre és clar per a tot- hom què vol dir impactes. En un sentit estricte, hauríem d’entendre per impacte de la nostra intervenció allò que passa en comparació amb el que hauria passat si la nostra intervenció no s’hagués produ- ït: aquest és l’impacte que hem tingut o generat amb el projecte. Avaluar impac- tes té d’aquesta manera un component de “missió impossible”, ja que mai no po- drem comparar amb exactitud aquests dos estadis: el que succeeix mentre el programa es desenvolupa amb el que hauria passat si no s’hagués fet el pro- grama. Les estratègies d’avaluació fan servir tècniques diverses per trobar la manera de fer aquesta mena de compa- ratives: disposar de grups o poblacions de contrast, analitzar i comparar sèries històriques d’un determinat fenomen social, crear simulacions i estimacions a partir de models, etcètera. Res de tot això no ens pot garantir que podrem me- surar amb exactitud l’impacte real de la nostra acció, però ens hi podrem apropar molt si disposem dels coneixements, les informacions i les sèries estadístiques, o els models i les simulacions que ens ho permetin. La literatura especialitzada ens parla En alguns casos, també podem disposar d’algunes condicions que s’han de donar de medicions d’impactes en termes per poder avaluar impactes: del que s’anomena retorn social de la inversió feta en el programa. Seria el - El programa ha de ser estable. Si ava- cas de la metodologia SROI, un anàlisi luem un programa que va variant les cost-benefici en base a la construcció de seves actuacions i estratègies, la seva simuladors que permetin associar bene- escala o les seves dimensions de mane- ficis en principi “intangibles” a “aspec- ra significativa, o que ara està operatiu i tes tangibles”. Ja s’ha comentat que les ara no, difícilment podrem avaluar amb propostes metodològiques en aquest un mínim rigor el seu impacte real. Tin- treball no poden arribar a aquest grau de dríem dificultats importants per establir sofisticació metodològica, ja que han de relacions de causalitat entre coses que ser senzilles i fàcils d’aplicar pels opera- fem i coses que passen. dors (han de permetre l’autoavaluació). 29 - Cal haver descrit una teoria del can- vi coherent. Ja hem parlat de la impor- Qualitat de Vida, tància cabdal en avaluació (també en Igualtat i Esports programació) de disposar d’una teoria Guia operativa (o conjunt d’hipòtesis) que relacionin la d’avaluació de l’acció comunitària nostra pràctica amb els resultats que volem obtenir. Si no disposem d’aques- ta teoria del canvi, difícilment podrem establir una avaluació d’impactes amb rigor, ja que necessitem aquesta teoria per identificar les conseqüències espe- rades de les nostres accions. - Hem de disposar d’informació/conei- xement adequat del programa. Això té a veure amb la necessitat que comentem en relació amb la informació: quina ne- cessitem i com l’hem d’aconseguir i re- gistrar. - Els impactes s’han d’haver pogut pro- duir. Estem parlant d’ajustar l’avaluació dels impactes al temps que fa que fun- ciona el programa. També a allò que ens diu la nostra teoria del canvi, les nostres hipòtesis de treball, sobre el temps que cal esperar per tenir resultats. L’avaluació d’impactes ens ha de perme- tre veure els canvis i les transformacions que es produeixen. Bàsicament, el grau d’assoliment dels objectius que ens ha- víem plantejat, sense oblidar els resul- tats no previstos. També ens indicarà quines són les potencialitats del projec- te i les seves limitacions. 3.6. Annex: una pluja de preguntes Existeix un ampli consens a la literatura • Disposem de diagnòstics actualit- especialitzada i entre els experts en ava- zats? luació en el fet que una de les claus de volta fonamental per tenir èxit en l’ava- • Els diagnòstics s’han construït de luació és fer-se bones preguntes. Sense manera participada? una bona pregunta, prou concreta i que • La planificació aborda els temes clau ens interpel·li per les qüestions real- identificats al diagnòstic? ment rellevants, difícilment podrem or- ganitzar un procés d’avaluació que sigui • Disposem d’una planificació anual útil. El risc rau a moure’s entre qüestions escrita? que sí que poden ser clares i concretes, • La planificació s’ha fet de manera però que no ens porten enlloc i altres de participada? ben interessants, però que són tan ge- nerals que ens resulta pràcticament im- • Hem pensat com avaluarem els ob- 30 possible trobar respostes específiques jectius? per a la nostra avaluació. • Hem fet explícita la nostra “teoria Qualitat de Vida, del canvi”? Igualtat i Esports Arran dels treballs fets als grups hem Guia operativa dut a terme una recopilació de pregun- • La “teoria del canvi” ha estat debatu- d’avaluació de tes que poden ser molt inspiradores a da pels actors promotors del procés l’acció comunitària l’hora de saber què hem d’avaluar. Mol- comunitari? tes d’aquestes preguntes les hem in- • S’han treballat temes/problemes corporat als nostres instruments. Ara nous aquest any, en relació amb els les recopilem totes pensant que, potser, anys anteriors? igual que ens han inspirat a nosaltres, poden ser una font d’inspiració per a al- tres exercicis o estratègies d’avaluació, per a la construcció de més instruments, 3.6.2. Sobre la memòria de les nostres per preparar sessions d’avaluació en activitats grup, etcètera. Fem les activitats que ens havíem pro- Recordem però, la importància de que posat desenvolupar? Potser sí que dis- quan aterrem en un projecte concret, posem d’una bona planificació, però les preguntes siguin també concretes després no li fem prou cas, o les circums- i en relació a aquest projecte. tàncies ens obliguen a “improvisar” ac- tuacions no previstes, o les activitats previstes no funcionen. En definitiva, 3.6.1. Sobre els diagnòstics, les progra- independentment d’altres considera- macions i la teoria del canvi cions, ens interessa disposar de certs elements de “memòria” del que es fa re- Ens interessa saber si es disposa d’una alment, del que passa de debò. (bona) planificació o si, al contrari, es fan activitats de manera més improvisa- • En quin grau s’han desenvolupat les da, tenint en compte tradicions, rutines activitats programades? Totalment, o altres factors. Una bona planificació té poc, gens? molts aspectes per considerar, que són els que hauríem de traduir en preguntes • Quanta gent hi ha participat? concretes: objectius clars, diagnòstics • Quins perfils socials tenen els parti- actualitzats, etcètera. cipants (edat, sexe, origen...)? • Disposem d’objectius clars i concrets • Ha vingut gent nova? Quin percentat- (avaluables)? ge sobre el total de gent participant? • Hem estat constants en les nostres els tècnics i professionals de l’Admi- reunions de treball? nistració local? • Hem fet activitats no previstes en la • Es donen amb regularitat relacions programació inicial del curs? Quines? de treball entre l’equip comunitari i Per què? els tècnics i professionals dels ser- veis públics (educació, salut, segure- tat...)? 3.6.3. Sobre la metodologia comunitària • En general, els tècnics i professionals del territori estan implicats: molt, L’acció comunitària és una manera “es- poc, gens? pecífica” de fer les coses, una metodo- • Quina importància (percentatge de logia. No ens serveix obtenir resultats dedicació) té la gestió del conflicte de qualsevol manera, ja que el procés en el treball relacional que fa l’equip comunitari, les formes relacionals, la 31comunitari? Molta, poca, gens? manera com es treballa, com es pre- nen les decisions, com es lidera, com • Es donen conflictes entre serveis, Qualitat de Vida, professionals, tècnics... que tenen Igualtat i Esportses gestiona el conflicte, etcètera, és el que defineix l’essència de l’acció comu- a veure amb àmbits competencials, Guia operativa nitària, així que ens hem de preguntar encàrrecs, rols? d’avaluació de l’acció comunitària si les nostres formes de treballar, de re- lacionar-nos, responen a les premisses de l’acció comunitària (participació de la gent, qualitat deliberativa, promoció de 3.6.4. Preguntes sobre l’avaluació d’im- l’autonomia, etcètera). pactes • Com es distribueix la jornada laboral L’acció comunitària ha de tenir una in- de l’equip comunitari? Percentatge tencionalitat transformadora. Apunta de jornada dedicat a “treball d’ofici- cap a la millora de les condicions de vida, na”? Percentatge de jornada dedicat de les capacitats de la gent per organit- a “treball de carrer”? ...? zar-se i fer-se protagonista d’aquestes millores i cap a la capacitat de generar • Quin percentatge de l’activitat pro- inclusió i cohesió social al territori. Així gramada ha estat organitzat autòno- que els canvis que es busquen poden mament per la ciutadania? ser d’ordre divers i es poden concretar • En relació amb l’any anterior, augmen- en multitud d’aspectes depenent de ta o disminueix el nombre d’activitats projectes concrets: salut, educació, ha- autoorganitzades per la ciutadania? bitatge, convivència, capital social, ges- tió del conflicte i clima de convivència, • Amb quina periodicitat es reuneix etcètera. l’equip tècnic? • Amb quina periodicitat es reuneix la • S’han assolit els objectius especí- direcció política? fics? • Hi ha espais dedicats regularment al • Quins resultats no previstos estem debat o a la deliberació sobre les líni- aconseguint? es de treball? • Millora el clima de convivència al ter- • Fem reunions específiques d’avalua- ritori? ció al llarg de l’any? Amb quina perio- • Milloren les capacitats de les entitats dicitat? Qui hi participa? i associacions del territori (projecte, • Es donen amb regularitat relacions participació, interlocució, autofinan- de treball entre l’equip comunitari i çament...)? • Millora la qualitat democràtica (in- formació, transparència, renovació de lideratges, bona representació...) del teixit social implicat en el procés? • Augmenta el nombre —i es diversi- fica el perfil— de persones partici- pants? • Milloren les relacions entre entitats al territori i d’aquestes amb els ser- veis públics? • Si aquest projecte no existís, quines conseqüències tindria per a...? 32 Qualitat de Vida, 3.6.5. Per avaluar aprenentatges Igualtat i Esports Guia operativa És evident que una de les aspiracions de d’avaluació de l’acció comunitària tot procés comunitari, com de qualsevol activitat humana, és aprendre per fer millor les coses. Aquest és el sentit últim de l’avaluació. Aprenentatge i canvi són conceptes assimilables, ja que el canvi és el que mostra si realment hem après: podem dir que estem aprenent si no canviem en res les coses que fem? Així que ens interessa molt preguntar-nos pels canvis que incorporem als nostres projectes derivats dels aprenentatges. • Disposem d’espais/moments per tre- ballar els resultats de l’avaluació? • Quines coses pensem que són més urgents de canviar en les nostres for- mes i estratègies de treball? • En el darrer any, hem introduït canvis en les nostres estratègies de treball relacional amb la població? • En el darrer any, hem introduït canvis en les nostres estratègies de treball relacional amb serveis i professio- nals? • Quins canvis hem incorporat al pro- jecte en el darrer any? • Quines són les resistències i barreres principals als canvis que volem pro- moure? PART II MARC OPERATIU DE L’AVALUACIÓ (MOA): CONCEPTES I DEFINICIONS PER AL DISSENY DELS INSTRUMENTS D’AVALUACIÓ 1. INTRODUCCIÓ Ja hem presentat, a la primera part estat l’impacte d’un programa d’acció d’aquesta guia, els principis metodo- comunitària en una població determina- lògics bàsics que han d’encaminar les da, abans d’entrar en el disseny concret nostres avaluacions, i que surten de la i específic d’aquest instrument d’ava- literatura especialitzada, d’altres ex- luació, necessitem definir prèviament periències prèvies d’avaluació en l’àm- algunes qüestions: què entendrem per bit de l’acció comunitària, i dels debats impacte i si hem d’esperar impactes mantinguts als diversos grups de treball diversos, a qui adrecem aquest instru- entre els operadors de l’acció comuni- ment?, qui el farà servir? Quan parlem tària a Barcelona. Quan hem parlat de de població, a qui ens referim concre- principis metodològics ens referíem a tament?... En definitiva, els instruments idees, consideracions i procediments específics, concrets, d’avaluació s’han per a l’avaluació de caire general, i no de dissenyar a partir d’uns marcs de pas a instruments concrets d’avaluació, significació que s’han de definir prèvia- 34 que són el nostre objectiu últim (disseny ment. És a aquest marc previ que orienta d’instruments d’avaluació de l’acció la construcció d’instruments el que hem Qualitat de Vida, Igualtat i Esports comunitària que siguin útils i senzills). anomenat MOA. El MOA ens ha de servir, Abans d’entrar en aquesta tasca, però, a l’hora de dissenyar instruments, per Guia operativa d’avaluació de ens cal un pas intermedi, que és la cons- saber què volem avaluar concretament l’acció comunitària trucció del Marc Operatiu de l’Avaluació i qui ha de fer-ho, a més d’apuntar-nos (MOA). criteris per valorar la utilitat de l’instru- ment dissenyat i les possibles interpre- Quan parlem del MOA ens referim al tacions dels resultats obtinguts. conjunt de criteris i definicions que ens ajudaran a delimitar conceptualment, Si ens dotem d’un MOA clar i coherent, amb la màxima precisió, el disseny defi- en el qual quedin ben definits i acotats nitiu de les estratègies i els instruments quins han de ser els nostres objectes d’avaluació. Per exemple, si volem cons- d’avaluació (els nostres Què), també el truir un instrument per avaluar quin ha podrem fer servir per a la construcció de Quadre síntesi MOA Planificar Qualitat de les accions Metodologies Comunitàries Plantejament i Acompliment d’Objectius Individu Inclusió Què? Impacte sobre la població Grup Per a Apoderament Comunitat Condicions de Vida Equip d’un Servei Funcionament Intern Espais de Treball Serveis Tècnics Per a Funcionament InstitucionalProfessional Equip Comunitari Rol Comunitari 1.1. Objectes i objectius de l’avaluació més/altres instruments d’avaluació. La Segurament, ja ho hem dit, la qüestió quantitat d’instruments d’avaluació pot central per a la construcció del nostre ser enorme. Potser els que proposem en MOA és identificar bé Què avaluarem, aquesta guia no són sempre vàlids, o pot atesa la gran diversitat d’aspectes pos- passar també que tinguem la necessitat sibles que cal considerar: des d’avaluar de generar-ne de nous per adaptar-los l’impacte d’un PDC en un barri, fins a a les nostres possibilitats i als nostres l’avaluació d’una activitat concreta un contextos de treball. En aquest cas, el dissabte al matí, passant per avaluar MOA ens hauria de facilitar aquesta tas- l’evolució d’un grup de dones d’un pro- ca tot recordant-nos què li hem de de- jecte, la pertinença d’un determinat en- manar, què busquem concretament amb focament professional o metodològic, o aquest nou instrument. les millores que experimenta en la seva vida quotidiana una persona que s’apun- ta a participar en una acció comunitària. Són tantes les coses que es podrien ava- 35 luar! Com operar davant d’aquesta gran varietat d’objectes possibles d’avalua- Qualitat de Vida, Igualtat i Esports ció? Es fa evident la necessitat d’establir certs criteris, de posar una mica d’ordre. Guia operativa d’avaluació de l’acció comunitària No podem pensar que existeix un únic instrument amb capacitat per avalu- ar-ho tot. Quina mena d’instrument seria aquest? Ni tampoc no podem pensar a fer una llista de tot allò susceptible de ser avaluat. Què seria tot? Com de llar- ga seria aquesta llista? Segur que no ens deixem res fora? Ens toca, doncs, construir certes classificacions, tipo- logies o categories per intentar recollir i ordenar amb cert sentit, amb criteri, l’ampli ventall de possibles objectes i objectius d’avaluació. De fet, si aconse- guim aclarir aquest aspecte (el Què de l’avaluació), les qüestions tècniques i metodològiques relatives a Com avaluar (instruments) seran molt més fàcils de resoldre. Molts materials i documents de suport a l’avaluació no s’entretenen gaire en aquests aspectes. Això passa perquè ja queda clar el que s’avaluarà, i no neces- siten gaires matisos. Per exemple, una guia d’avaluació de projectes comuni- taris, no cal que entri gaire en aquestes consideracions si és clar que per avalu- ació de projectes s’entén només “valorar l’impacte produït per aquest projecte: els seus resultats”, i res més. Tot i que, fins i tot en aquest cas, també ens cal precisar què entenem per impactes. 1.2. Qui ha d’avaluar Però aquest no és el nostre cas. Ans al El paradigma d’avaluació que més s’avé contrari, en totes les reunions i grups de amb la metodologia de l’acció comuni treball que hem convocat per construir tària és el de l’avaluació participada, en aquesta guia ha quedat clar que volíem què són els protagonistes de l’acció co que la nostra mirada valorativa sobre munitària els que participen de la seva l’acció comunitària es fixés en moltes avaluació. Però això acostuma a ser més coses i no només en els impactes, i vo- fàcil de dir que de fer. Una estratègia líem que tingués mirades específiques d’avaluació participada té, a més de les sobre aspectes particulars del projec- exigències metodològiques específi- te, i no només una mirada general sobre ques que li són pròpies, uns importants aquest. requeriments institucionals i polítics. El plantejament d’aquesta guia, tot i que no Què volem avaluar: s’inscriu plenament dins el marc meto- dològic de l’avaluació participada, tam- 36 Proposem diferenciar tres grans objec- poc no podem dir que el rebutgi. De fet, tes/objectius d’avaluació per intentar les propostes tècniques per a l’avaluació Qualitat de Vida, fer una síntesi que ordeni el conjunt de que es presentaran a la guia parteixen Igualtat i Esports demandes i visions expressades en els d’uns principis que incorporen avaluació Guia operativa grups de treball. interna amb avaluació externa, i avalua- d’avaluació de ció tècnica més convencional amb ava- l’acció comunitària a) La qualitat de les accions comuni- luació participada: tàries: planificació i organització, di- mensió metodològica i dimensió dels • Molts instruments d’avaluació estan objectius. pensats com a exercicis d’autoava- b) luació interna (sense la presència Els impactes en la població: individu- d’avaluadors externs), encara que no als, de grup, i en la comunitat. es descarta la conveniència de dispo- c) Els espais de treball: funcionament sar en determinades circumstàncies intern, la dimensió institucional i la d’avaluacions externes, i per aquests dimensió comunitària. casos, poden ser usats els mateixos instruments. A les pàgines següents veurem en detall cadascun d’aquests punts. Proposem l’exercici d’autoavaluació, sobretot per els espais de treball i equips tècnics promotors i/o partici- pants d’accions i/o processos comu- nitaris. Dur a terme exercicis d’autoavalua- ció, permet als espais i equips, com- partir expectativas i imaginaris previs a l’acció, posar en comú a qui es vol adreçar l’acció, quin impacte es de- sitja,… i també com ens organitzem per dur l’acció a la pràctica: qui fa què, cada quan ens trobem, qui vo- lem que participi en l’organització, a qui convidem, la temporalitat de la programació i execució de l’acció, com preveiem i fem seguiment dels recursos necessaris (persones, ma- terial, diners,…) I en acabar l’acció: què ens ha semblat el seu resultat, ens ho hem passat bé organitzant-la en qualitat de treballador d’un servei i duent-la a la pràctica, què ha supo- que deriva persones a accions comu- sat en les nostres relacions, què ha nitàries, ja sigui tècnics qua a títol suposat per al col·lectiu a qui l’adre- més individual volen participar, des çavem, què ha suposat a la comunitat de diferents rols, a les accions comu- (més enllà del col-lectiu a qui s’adre- nitàries que tenen lloc en el territorio çava), quins components transforma- a on treballen. dor i innovador ha tingut,… També pensem que cal incloure l’ava- El resultat d’aquesta avaluació, a luació d’aquelles persones, que si bé més a més d’aportar-nos dades ob- no participen a l’acció comunitària en jectives i subjectives de l’acció per qualitat de tècnic, hi aporten el seu tal d’ajustar i valorar la seva reedició, coneixement tècnic. Parlem d’aquells ens aporta també qüestions relati- casos en que ho fan majoritàriament ves al propi espai i equip que l’ha dut com a ciutadans (a títol individual o 37 a terme: a nivell relacional, com s’ha participants de col-lectius, entitats cuidat, com ha funcionat, com s’han o grups),. En aquest sentit, i amb Qualitat de Vida, pres les decisions, com s’han distri- l’ànim i la creença de que no només Igualtat i Esports buit les tasques,… Posar en comú el saber tècnic és necessari per al fet Guia operativa aquest tipus d’avaluació ens dóna comunitari, els instruments que pro- d’avaluació de l’oportunitat de l’acció comunitàriaposa aquesta guia també permeten - Reconèixer la feina feta per perso- incloure la mirada de totes les perso- nes, col·lectius i institucions. nes participants en l’acció, des d’un rol impulsor /promotor/organitzador - Reconèixer què ens ha suposat tre- sigui quin sigui el seu ofici, activitat ballar conjuntament, com a equip i professional i coneixements. com a individuos?. • Es pensa en instruments per propi- - Valorar la idoneïtat de donar con- ciar una avaluació participada (a càr- tinuïtat a l’espai i equip i com ho rec dels participants en l’acció, en els fem (incorporem més gent, incor- grups, en les activitats, etcètera). porem canvis en les formes de fer, com gestionem la permeabilitat de l’equip,…) - Comunicar la feina feta com a col- lectiu. - Reforçar la identitat col·lectiva i el sentiment de pertinença. • Pensem en uns mecanismes d’avalu- ació de l’acció comunitària majorità- riament liderats per equips tècnics i professionals que treballen als pro- cessos comunitaris. Proposem incorporar a l’avaluació, tant l’aportació del tècnic impulsor de l’acció comunitària, com la mirada del tècnic participant en l’acció co- munitària, ja sigui en qualitat de par- ticipant en una mesa tècnica, ja sigui 1.3. Avaluar la qualitat de les accions comunitàries Parlar de “qualitat de les accions comu- una variable binomial del tipus Sí o No, nitàries” ens obliga a definir prèviament 0 o 10, tot o res. Existiran graus en fun- a què ens estem referint amb aquestes ció de com es comporti l’acció en relació paraules, ja que no és gaire evident que amb cadascuna de les tres dimensions tothom entengui el mateix, ni que es fixi que plantegem. També pot passar i, de en els mateixos aspectes a l’hora d’ava- fet, passa, que una determinada acció luar-la. A més, també hem vist la gran ha estat ben planificada i ha aconseguit diversitat d’accions comunitàries que assolir els seus objectius, però sense ens podem trobar, i caldrà que el marc desenvolupar-se amb una metodologia operatiu ens indiqui com hem d’operar, de participació comunitària. Com passa davant d’aquesta diversitat, a l’hora de també que accions no ben planificades dissenyar els instruments d’avaluació, o obtenen resultats. Tot això és el que hem de fer-los servir. de mirar d’esbrinar. 38 Com acabem de dir, ens cal encara una feina de més detall en la definició dels Qualitat de Vida, 1.31. Les tres dimensions de la qualitat continguts de cada dimensió, que és la Igualtat i Esports de l’acció comunitària que hem abordat en el quadre següent, Guia operativa en què es diferencien les tres dimensi- d’avaluació de Per fer operatiu el concepte qualitat de ons que hem considerat a l’hora de par- l’acció comunitària l’acció comunitària diferenciarem tres lar de la qualitat de les accions, el tipus dimensions o aspectes que considerem d’avaluació que correspondria per a cada fonamentals de l’acció per tal de poder dimensió (procés o impacte) i el detall avaluar-ne la qualitat: dels continguts que atribuïm a cadas- cuna. Per exemple, per poder dir si una 1. La dimensió de planificació, que ens acció ha estat ben planificada ens fixa- interroga per com l’acció ha estat rem en aspectes com els diagnòstics, pensada, planificada i organitzada, la definició d’objectius, la programació i prèviament al seu desenvolupament. els cronogrames, la teoria del canvi, et- 2. La dimensió metodològica, que posa cètera. Per poder dir si la metodologia l’èmfasi en si s’ha treballat de manera comunitària s’aplica correctament ens comunitària i, especialment, en com fixarem en la participació comunitària: ha funcionat la participació comuni- en qui, com i quan es participa. Final- tària (també es podria dir dimensió de ment, per avaluar els objectius mirarem participació comunitària); com s’han identificat i construït, i el seu grau d’assoliment. 3. La dimensió dels objectius, que ens ha de fer mirar quins són els objec- En conclusió, construir un marc operatiu tius que es persegueixen, com s’han per a l’avaluació de l’acció comunitària construït, i en quin grau s’han assolit. exigeix definir què volem avaluar concre- De seguida veurem que caldrà filar una tament, fent servir conceptes precisos mica més prim per tal de veure amb que no donin lloc a possibles confusi- detall de què tracta concretament ca- ons i que no puguin ser interpretats de dascuna d’aquestes dimensions, però maneres diverses. Cal que sigui ben clar d’entrada podríem dir que una acció de què estem parlant i en què ens hem comunitària de qualitat és aquella que de fixar. Després, la producció d’instru- ha estat ben planificada i organitzada, ments d’avaluació s’haurà de guiar per que s’ha desenvolupat d’acord amb els aquest marc operatiu. principis metodològics de la partici- pació comunitària i que, finalment, ha assolit els objectius que s’havia plan- tejat. És clar que la qualitat no pot ser Taula 1. Marc operatiu per a l’avaluació de la qualitat de l’acció comunitària Dimensions Tipus Continguts de la dimensió de l’acció d’avaluació Planificació Processos Com ha sorgit la proposta de l’acció? A quines necessitats i organització respon? Es disposa de diagnòstics actualitzats? S’han definit objec- tius clars i avaluables? Es disposa d’una planificació temporal de l’acció (programa- ció i cronogrames)? L’organització està cohesionada al voltant del l’acció, com s’han definit i distribuït les responsabilitats i funcions dels 39 diversos membres, estan clarament definides? Tothom en comparteix la distribució?” Qualitat de Vida, Què ens plantegem amb aquesta acció? S’ha definit una teo- Igualtat i Esports ria del Canvi (hipòtesis, teories o principis causals per orientar Guia operativa la pràctica)? Com està prevista la consecució dels objectius d’avaluació de (accions, activitats,…) l’acció comunitària S’ha definit una estratègia de sostenibilitat per a l’acció? (Co- herència del disseny de les accions partint dels recursos dis- ponibles, possibilitats que l’acció perduri en el temps en funció d’aquests recursos i de l’organització) (cal justificar-ho). S’ha dimensionat els costos de l’acció per buscar-ne els recursos necessaris? Participació Processos L’organització de l’acció comunitària permet/facilita la partici- comunitària /Impactes pació dels diversos actors comunitaris? (metodologia) L’organització de l’acció comunitària permet/facilita l’activitat promotora de la ciutadania? Participen en les diverses fases de l’acció –diagnòstic, plani- ficació, avaluació, etcètera– la pluralitat d’actors comunitaris –ciutadania, entitats, serveis públics, administracions públi- ques, altres?– El perfil dels participants respon als objectius de l’acció (tar- get, diversitat)? Es donen dinàmiques d’intercanvi, col·laboració o coproduc- ció entre els diversos agents comunitaris (accions conjuntes)? La gestió dels lideratges i les responsabilitats fa perdurable en el temps l’organització comunitària (és sostenible) Compliments Impactes Es disposa d’una programació amb objectius específics ava- d’objectius luables itemporalitzats? Els objectius responen a un marc lògic per a la intervenció? (teoria del canvi, diagnòstics actualitzats, recursos adequats i suficients...) S’assoleixen els objectius fixats en la programació? (impactes esperats) Existeixen impactes no previstos? 1.3.2. La diversitat d’escales en l’acció En termes generals (també és el cas dels comunitària serveis socials a Barcelona) acostumem a diferenciar tres escales de l’acció: Pro- Fins ara, quan en aquesta guia parlem grama > Projecte > Activitat. El programa d’accions comunitàries no fem gaires seria l’escala superior i es desenvolupa distincions entre tipus d’accions, però la a través de projectes. Al seu torn, el pro- realitat ens mostra la gran diversitat que jecte es tradueix en activitats. ens podem trobar. Aquesta diversitat d’accions es pot valorar des de punts de Tenint en compte aquesta diferenciació vista molt diferents (temàtica tractada, d’escales, la nostra proposta d’instru- característiques dels promotors, models ments per avaluar la qualitat de l’acció d’intervenció i d’altres), però, a l’hora de dissenyar instruments d’avaluació, hem diferenciarà únicament entre Activitat, vist que el criteri de diferenciació més d’una banda, i Programa o Projecte de 40 determinant és el de l’escala. Per exem- l’altra. Com es veurà hem dissenyat el ple, no podem fer servir el mateix instru- instrument 1 per avaluar l’activitat, i els Qualitat de Vida, ment per avaluar la qualitat de l’acció instruments, 2, 3 i 4 per avaluar la quali- Igualtat i Esports quan es tracta d’un pla comunitari que tata de programes i projectes. Guia operativa quan es tracta d’una activitat puntual d’avaluació de l’acció comunitària (festa, jornada...). Taula 2. Instruments per avaluar la qualitat de l’acció comunitària Núm. Tipus Objecte de Tipus Tipus Qui avalua instrument d'acció l'avaluació d'avaluació d'instrument 1 Activitat General Procés / Qüestionari Organitzadors Impacte 2 Programa - Planificació i Procés Qüestionari Organitzadors Projecte organització 3 Programa - Participació Procés / Qüestionari Organitzadors Projecte comunitària Impacte 4 Programa - Compliment Impacte Qüestionari Organitzadors Projecte d'objectius 1.4. Avaluar els impactes en la població Ja hem tractat a la primera part d’aques- els grups comunitaris i, indirectament, ta guia les consideracions generals so- en les persones que els formen, i (Q7) bre l’avaluació d’impactes. Ara ens toca avaluar els impactes d’una acció comu- definir el marc operatiu que orientarà nitària en el conjunt de la comunitat de aquest tipus d’avaluació en el nostre referència a la qual s’adreça. cas. El que hem de fer és, com en el cas anterior, delimitar de manera més pre- D’altra banda, també necessitem acotar cisa possible a què ens referirem quan i delimitar mínimament els tipus d’im- parlem d’impactes, sabent d’antuvi que pactes que podem esperar d’una acció “tot” no es pot avaluar: se’ns fa impos- comunitària. És el que hem anomenat sible pensar en tots els impactes en tot les dimensions dels impactes, i que sur- i en tothom. ten directament del marc conceptual de l’acció comunitària. Així, parlar d’acció Per començar, una primera acotació surt de la intenció de limitar l’anàlisi comunitària és parlar d’apoderament, 41 dels impactes als efectes de l’acció co- entès com el procés que permet al sub- munitària en la població i en el territori, jecte (persona-grup-comunitat) guanyar Qualitat de Vida, i s’entén que aquests són els impactes autonomia, capacitats per fer-se valer Igualtat i Esports “finalistes” de l’acció que més ens in- i per protagonitzar la millora de les se- Guia operativa teressen. Quan parlem de població fem ves condicions de vida, una millora que d’avaluació de una triple distinció: persona, grup i co- busca la cohesió social i la inclusió dels l’acció comunitària munitat. Així, dissenyarem tres tipus col·lectius més febles i desafavorits. El d’instruments per tal d’avaluar-ne els marc de l’acció comunitària ens diu que impactes: (Q5) avaluar l’impacte que pot això ho hem de veure tant en el nivell tenir en una persona la seva participació més micro (individu), com en els nivells en una acció comunitària; (Q6) avaluar més generals (comunitat) i en els inter- els impactes de l’acció comunitària en medis (grups). Figura 2. Marc conceptual de l’acció comunitària Apoderament / Enfortiment Millora de les Inclusió condicions de vida És clar que el significat dels tres con- desenvolupant en el nostre entorn i, en ceptes (inclusió, apoderament i con- segon lloc, que sigui funcional a l’objec- dicions de vida) sempre està sotmès a tiu de definir instruments d’avaluació debats dins la literatura especialitza- d’aquestes pràctiques. El quadre se- da, però ara no és el moment de repro- güent sintetitza totes aquestes idees en duir-los. Més aviat, el que toca és fer un MOA per a l’avaluació dels impactes dels tres conceptes una definició que, de l’acció comunitària. en primer lloc, sigui coherent amb les pràctiques comunitàries que s’estan Taula 3. Marc operatiu per a l’avaluació dels impactes de l’acció comunitària Inclusió Apoderament Condicions de vida Individu La persona ha guanyat La persona ha gua- La persona ha millorat relacions socials: coneix nyat iniciativa, és les seves condicions de i es relaciona amb més més proactiva, i té vida en diversos àmbits gent? menys dependència (salut, educació...)? La persona ha guanyat dels altres a l’hora La persona té la percep- relacions socials amb de fer coses i pren- ció que la seva partici- gent que prové d’altres dre decisions? pació en les AC fa que la àmbits comunitaris? seva vida sigui millor? La persona ha augmen- 42 tat el coneixement dels recursos de que disposa Qualitat de Vida, a la seva comunitat? Igualtat i Esports Guia operativa Grup Els grups són oberts, Els grups tenen o El grup assoleix els seus d’avaluació de facilitant la participació guanyen autonomia objectius substantius l’acció comunitària de noves persones? i projecte propi? (salut, educació, ocupa- Els grups es relacio- El funcionament ció, altres...)? nen amb altres grups, del grup es basa en Les persones que participant en activitats el reconeixement formen part del grup col·lectives? i l’acció dels seus valoren que la seva par- membres? ticipació en el grup els Els lideratges són aporta qualitat de vida plurals i/o rotatius? relacional? Comuni- Participen en l’acció Ha millorat la capa- S’assoleixen els objec- tat / comunitària persones citat organitzativa tius substantius de l’AC? població “noves” que abans no hi de la comunitat? Han tingut lloc impac- participaven? Hi ha més capacitat tes no previstos o L’AC incorpora els dife- de fer propostes i efectes indirectes que rents col·lectius a les definir un projecte puguem identificar? seves activitats? Hi par- propi? Es pot valorar l’acció co- ticipen els col·lectius Ha millorat la quali- munitària com una acció més vulnerables? tat democràtica de preventiva davant els les entitats? problemes socials que amenacen la comunitat? Taula 4. Instruments per avaluar impactes de l’acció comunitària Núm. instrument Objecte de l'avaluació Tipus d'instrument Qui avalua 5 Impactes en la persona Qüestionari Els professionals 6 Impactes en un grup Qüestionari Els professionals El grup 7 Impactes en una Taller La comunitat comunitat-població (avaluació participada) 1.5. Avaluar els espais de treball professional A més d’avaluar el que hem anomenat Mesa, en relació a la seva entitat, i qualitat de l’acció, i d’avaluar “impac- quin seguiment se’n fa. tes”, les aportacions fetes als grups de treball han posat clarament de manifest • El traspàs d’informació de la tas- l’interès, de molta de la gent que treba- ca de la Mesa a l’entitat de qui es lla en l’acció comunitària a Barcelona, forma part. per disposar d’eines d’avaluació espe- • L’autonomia de treball de la perso- cíficament pensades i dissenyades per na participant a la Mesa, en rela- avaluar l’activitat professional. Cal dir ció a l’entitat que representa. que el focus no s’ha posat en valorar in- dividualment els diversos professionals, 3. La dimensió més pròpiament co- més aviat l’interès es centrava a analit- munitària, relativa al rol i l’activitat zar els equips i espais de treball profes- dels espais de treball professional sional per tal de veure fins a quin punt en relació amb la comunitat, com per s’estaven aplicant correctament les pre- exemple: 43 misses i els requeriments que l’acció co- munitària planteja als equips/espais de - Grau de treball conjunt amb les Qualitat de Vida, treball tècnics i professionals. entitats i els serveis del territori/ Igualtat i Esports comunitat Guia operativa En relació amb els equips i espais de tre- d’avaluació de ball tècnic i professional identifiquem - Grau d’incorporació i treball con- l’acció comunitària també tres dimensions que ens han junt de la ciutadania organitzada d’ajudar a delimitar amb certa precisió formal o informalment de què estem parlant i en què ens hem de fixar a l’hora d’avaluar-los. - Grau d’incorporació de la ciutada- nia a títol individual 1. La dimensió del funcionament in- tern dels equips, incloem aquí les - Grau d’obertura a la pluralitat del qüestions relatives a l’organització barri (gènere, edat, origen,...). de l’equip, la periodicitat de les tro- bades, com es prenen les decisions, com es distribueixen les tasques, a on es recull el treball que es vol re- alitzar i el realitzat (existeixen do- cuments d’objectius i estratègia? De diagnòstic?), quines accions de capa- citació en metodologia comunitària s’han fet o es tenen previstes, com s’atén el tema de la sostenibilitat,... 2. La que fa referència al funciona- ment de la institució a la qual per- tany aquest equip (que pot ser una administració pública o una entitat gestora), i que té a veure amb el seu funcionament pel que fa a aspectes com ara la transversalitat, els sola- paments, la integralitat o la relació entre l’esfera tècnica i l’esfera políti- ca dins l’organització, com per exem- ple: • Quina és la responsabilitat de la persona/tècnic que participa a la Taula 5. Marc operatiu per a l’avaluació dels espais de treball professional Funcionament Funcionament Rol i activitat intern (equip) institucional comunitària Equip d'un • Motivació i interès Treball conjunt dins Treball conjunt amb servei • Direcció i organit- l’organització: cohe- serveis d’altres organit- zació rència, solapaments, zacions o institucions • Treball en equip transversalitat, i distribució de intercanvi d’informa- Relació amb entitats i ció... ciutadaniatasques • Avaluació Relacions entre l’àmbit polític i el 44 tècnic Qualitat de Vida, Igualtat i Esports Mesa • Dinamització Transferència Treball conjunt entre tècnica interna d’informació cap al serveis Guia operativa d’avaluació de • Diagnòstics com- servei i la institució Relació amb entitats i l’acció comunitària partits Acords formals entre ciutadania • Objectius clars serveis • Distribució de rols i responsabilitats • Avaluació Equip • Motivació i interès Relacions entre l’es- Treball relacional per comunitari • Direcció i organit- fera política i l’esfera a la dinamització del zació tècnica procés comunitari: • Treball en equip • Amb ciutadania i distribució de • Amb entitats tasques • Amb serveis públics • Avaluació Per l’avaluació dels espais de treball, i per tal d’avaluar les dimensions presentades, us proposem tres qüestionaris en funció de qui avalua: si es fa des de l’equip d’un servei que participa a l’AC (Q8), es fa des d’una Mesa tècnica (Q9) o si l’avaluació la fa l’equip propi d’una AC (Q10). Taula 6. Instruments per avaluar espais de treball professional Núm. instrument Objecte de l'avaluació Tipus d'instrument Qui avalua 8 Equip d'un servei Qüestionari Equip del servei 9 Mesa tècnica Qüestionari Mesa tècnica 10 Equip comunitari Qüestionari Equip comunitari PART III INSTRUMENTS D’AVALUACIÓ 1. QÜESTIONARIS D’AVALUACIÓ 1.1. Per avaluar activitats INSTRUMENT 1. Qüestionari d’avaluació de resultats al conjunt de persones que d’una activitat l’han emplenat (entre les quals hi ha els organitzadors de l’activitat). Presentació Es pot seguir el guió de preguntes se- L’instrument que ara presentem està güent com a ordre del dia del debat: adreçat a l’avaluació d’una activitat, és a • Quins han estat els nostres punts dir, una acció comunitària de curta du- forts a l’hora de planificar i organitzar rada, molt acotada en el temps. Podríem l’activitat? dir que programes i projectes, des d’un • En què hem de millorar la nostra pla- punt de vista metodològic, responen nificació i la nostra organització? més a una lògica de procés, mentre que • Els objectius que ens vam plantejar, l’activitat respon més a una lògica de eren els adequats? moment. • La nostra teoria del canvi (argument 46 que explica per què pensem que fent Qüestionari d’avaluació d’una activitat l’activitat aconseguirem l’objectiu) és Qualitat de Vida, correcta? Igualtat i Esports Finalitat: avaluar la qualitat d’una acti- • Com ha funcionat la participació? vitat comunitària a partir de valorar les Guia operativa Punts forts i punts febles d’avaluació de dimensions de: (1) planificació i organit- l’acció comunitària zació; (2) objectius i impactes; (3) parti- • Quines són les amenaces principals per a la sostenibilitat futura de l’ac- cipació comunitària, i (4) sostenibilitat. tivitat? Qui contesta: individualment, totes les • Propostes de continuïtat i de millora: persones que han participat en l’orga- qui farà què? nització de l’activitat. Es recullen tots És important tenir present l’evolució en els qüestionaris i es fa una síntesi dels els resultats al llarg del temps, si és una resultats. Si el grup organitzador és re- activitat que es repeteix de manera cíclica duït (menys de quatre persones), es pot o regular, anar passant el qüestionari ens emplenar un únic qüestionari fruit d’una permet veure’n l’evolució al llarg del temps. deliberació al grup. Com s’analitza: s’adjunta un guió per a l’anàlisi dels resultats. Taula Síntesi qüestionari 1 Indicacions per a l’ús del qüestionari Què Activitat Aquest qüestionari està dissenyat per- Qui Cadascuna de les persones què el contestin les persones impli- que han participat en l’organit- cades en la planificació i organització zació de l’activitat d’una activitat ja desenvolupada. Una vegada emplenat el qüestionari, cal Com 1 ) omplir el qüestionari indivi- fer una valoració general dels resultats. dualment Farem aquesta valoració en una reunió 2) buidar els qüestionaris de treball amb aquest objectiu. 3) fer una reunió de treball per Per al desenvolupament de la reunió de a valorar el resultat dels qües- valoració: tionaris, a partir del buidat. Aquesta reunió podrà seguir el Del conjunt de qüestionaris recollits fem guió de debat que es proposa. un buidat i, alhora, analitzem les dife- rències en les respostes com a element En el cas que l’organització de per traslladar en el marc de la reunió. l’activitat hagi implicat a menys de 4 persones, es pot fer només Les persones facilitadores de la reunió el pas 3. de valoració fan un retorn de la síntesi Instrument 1 Qüestionari d’avaluació d’una activitat Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1. Planificació i organització 1 2 3 4 – - L’activitat respon als objectius d’un programa o projecte més ampli - L’activitat s’ha planificat amb prou temps - La difusió de l’activitat s’ha fet amb prou temps - Els recursos econòmics previstos inicialment han estat els adequats - El temps previst inicialment ha estat suficient - En l’organització de l’activitat, cadascú ha fet el que li tocava - L’activitat ha estat coorganitzada per professionals i voluntaris - L’organització ha permès que cadascú sabés què havia de fer - Les decisions s’han pres des del consens? 2. Objectius i impactes 2.1 Quin ha estat l’objectiu general de l’activitat? I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una activitat 2.2 Per què us heu plantejat aquest objectiu? D’on surt? 2.3 Quina és la vostra teoria del canvi, és a dir, per què penseu que fent l’activitat s’aconseguirà l’objectiu general? 2.4 Quins han estat els objectius específics per a l’activitat? Objectiu específic 1 Objectiu específic 2 ... 2.5 S’han assolit els objectius específics previstos? Grau d’assoliment Baix - Mitjà - Alt Grau d’assoliment del l’objectiu específic 1 Grau d’assoliment del l’objectiu específic 2 2.6 Pensàvem que hi participaria un mínim de ____ persones i un màxim de ____. Per a nosaltres (organitzadors) hauria estat un èxit una participació superior a ____ persones. Finalment, hi van participar ____ persones. 2.7 Valora el grau d’utilitat d’aquesta activitat des de les següents afirmacions: Grau de valoració Baix - Mitjà - Alt El col·lectiu al qui s’ha adreçat l’activitat ha experimentat canvis significatius S’ha pogut veure un impacte de l’activitat en la comunitat en general Els agents que han organitzat l’activitat han modificat la relació que tenien fins ara 3. Participació comunitària (metodologia) Identifiqueu les persones, entitats, serveis, etcètera, que han participat com a organitzadors de l’activitat 3.1 Pensant en els objectius de l’activitat, a qui (persona, col·lectius, entitat o servei...) heu trobat a faltar en l’organització? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una activitat 3.2 Pensant en una futura edició de l’activitat, que faríeu per poder incorporar a l’organització als que heu trobat a faltar? 3.3 En l’organització de l’activitat, heu pogut comptar amb usuaris/beneficiaris/participants? 3.4 L’activitat anava especialment adreçada a algun col·lectiu específic? Quin? 3.5 Quin percentatge, sobre el total de participants, pertanyia al col·lectiu específic? 3.6 L’organització d’aquesta activitat us ha permès conèixer gent nova amb la qual penseu que serà possible col·laborar en activitats futures? 3.7 Quines penseu que han estat les dues claus principals de l’èxit o fracàs de l’activitat? 4. Sostenibilitat 4.1 És important donar continuïtat en el temps a l’activitat? Per què? 4.2 L’activitat té unes fonts de finançament diversificades o depèn d’un únic patrocinador? 4.3 Els usuaris o beneficiaris de l’activitat, contribueixen d’alguna manera al seu finançament? 4.4 Les persones, entitats o serveis implicats en l’organització de l’activitat, disposen d’espais regulars de trobada/treball. Per a què? Quins? III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una activitat 1.2. Per avaluar la qualitat de programes i projectes INSTRUMENT 2. Qüestionari d’avaluació Taula de puntuació de la planificació i organització 45-50 punts Excel·lent Indicacions per a l’ús del qüestionari 38-44 punts Notable 30-37 punts Acceptable / Aquest qüestionari està dissenyat per- Suficient què el contestin les persones implicades Menys de 30 Insuficient en la planificació del programa o projec- punts (necessàriament te, o un avaluador extern, un cop recolli- millorable) da la informació necessària. Quant a la seva aplicació, es pot passar prèviament a l’execució del programa- Taula Síntesi qüestionari 2 projecte (preguntes 1 a la 10 i pregunta 50 14), o bé un cop executat o en execució Què Planificació i organització d’un (el qüestionari emplenat). projecte o programa Qualitat de Vida, Igualtat i Esports Les preguntes identificades amb una (R) Qui Cadascuna de les persones Guia operativa resten puntuació. que han participat en l'organit- d’avaluació de l’acció comunitària zació de l'activitat o una perso- Fem una mitjana del conjunt de qüesti- na externa a qui se li demana onaris recollits i, alhora, analitzem les una tasca avaluadora diferències en les respostes com a ele- ment per traslladar als participants per Com 1) omplir el qüestionari indivi- tal de poder-hi aprofundir. dualment 2) buidat i càlcul de la puntua- Escala de valoració segons la puntuació ció obtinguda de les respostes (cal tenir present l’evo- lució en els resultats al llarg del temps, 3) valoració dels resultats: després d’haver passat el qüestionari en • escala de puntuació un període concret, i no pas la puntuació • compartir resultats amb les en relació amb l’escala de manera aïlla- persones particpants en la da). planificació i organització del projecte. Instrument 2 Qüestionari d’avaluació de la planificació i organització Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – Valora el grau d’acord i respon 1 2 3 4 – 1. Existeix un document previ al desenvolupament de l’acció que reculli el pla de treball detallat (objectius, activitats i temporització) Per què? 1 2 3 4 – 2. Existeix un diagnòstic actualitzat on han participat entitats, serveis públics i veïns / Es coneix adequadament la situació en el moment inicial del projecte (moment zero) Per què? I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius 1 2 3 4 – 3. El pla de treball respon als aspectes identificats al diagnòstic Per què? 1 2 3 4 – 4. Existeix una planificació temporal dels objectius i les actuacions a sis mesos, un any, tres anys. Per què? 1 2 3 4 – 5. Els objectius responen a una teoria del canvi explicitada i recollida formalment Per què? 1 2 3 4 – 6. Existeixen definits, de manera prèvia, canals, mecanismes o persones per donar resposta als possibles imprevistos que puguin aparèixer (prenent decisions, assumint tasques, etcètera). Per què? 1 2 3 4 – 7. Existeix una definició clara de responsabilitats i tasques de les entitats o dels serveis participants. Per què? 1 2 3 4 – 8. Existeix una definició clara de les funcions dels espais de treball i dels espais de presa de decisions. Per què? 1 2 3 4 – 9. Pensant en com us organitzeu, valora els següents objectius: - La dedicació de temps prevista, ha estat suficient - Cadascú ha fet el que tocava - En els espais d’organització hi han participat persones professionals i voluntàries - Les decisions s’han pres per consens 1 2 3 4 – 10. La planificació té un sistema per a l’avaluació del programa o projecte Per què? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius 1 2 3 4 – 11. Els objectius del programa o projecte responen unilateralment a les demandes o les propostes dels tècnics dels serveis públics (R) Per què? 1 2 3 4 – 12. Les accions que s’han desenvolupat són únicament iniciativa de l’entitat o organització gestora o promotora (R) Per què? 1 2 3 4 – 13. Els recursos materials assignats inicialment ens han permès desenvolupar el programa o projecte tal com estava previst Per què? 1 2 3 4 – 14. Els recursos humans assignats inicialment (temps de dedicació dels professionals i dels voluntaris o participants) ens han permès desenvolupar el programa o projecte tal com estava previst Per què? Contesta Sí / No (puntuació, Sí= 1, No= 0) Sí No 15. Per tal d’assegurar la sostenibilitat econòmica futura del projecte a) Existeix un document de planificació que tingui en compte la viabilitat econòmica futura del programa o projecte b) S’han presentat sol·licituds de finançament a institucions públiques actualment no finançadores c) S’han presentat sol·licituds de finançament a institucions privades d) S’ha promogut l’autonomia econòmica del programa o projecte mitjançant l’autogestió dels participants o beneficiaris Sí No 16. En els darrers 12 mesos a) S’han dut a terme activitats de formació en acció comunitària adreçades als promotors i organitzadors del programa o projecte b) S’han dut a terme trobades informals (sentit lúdic) entre els promotors i organitzadors (sopars, tertúlies, trobades espontànies,...) c) Quan hi ha hagut conflictes, les persones, entitats, i/o serveis implicats, hem dedicat temps i espai per a la seva gestió d) S’ha fet alguna reunió d’avaluació amb presència de promotors, dinamitzadors i participants III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius INSTRUMENT 3. Qüestionari d’avaluació Taula de puntuació dels objectius 29-32 punts Excel·lent Indicacions per a l’ús del qüestionari 24-28 punts Notable 19-23 punts Acceptable / Aquest qüestionari està dissenyat per- Suficient què el contestin les persones implicades Menys de 19 Insuficient en la planificació del programa o projec- punts (necessàriament te, o un avaluador extern, un cop recolli- millorable) da la informació necessària. Té dues parts, una primera no puntua- ble, que està dissenyada perquè ens pu- gui ajudar a planificar, i una segona part 54 dissenyada per avaluar, en la qual sí que Taula Síntesi qüestionari 3 puntuem. Qualitat de Vida, Què Objectius d’un projecte en fase Igualtat i Esports Quant a la seva aplicació, es pot passar de planificació o en procés prèviament a l’execució del programa- d’execució o tancatGuia operativa d’avaluació de l’acció comunitària projecte (vuit primeres preguntes sense puntuació) o un cop executat o en execu- Qui Cadascuna de les persones ció (el qüestionari emplenat). que han participat en l’organit- zació de l’activitat o una perso- Fem una mitjana del conjunt de qües- na externa a qui se li demana tionaris recollits i, alhora, analitzem una tasca avaluadora les diferències en les respostes com a element per traslladar als participants, Com 1 ) omplir el qüestionari indivi- i per tal de poder aprofundir-hi ens po- dualment dem formular la pregunta: què podem 2) buidat i càlcul de la puntua- fer per millorar l’assoliment d’objectius? ció obtinguda 3) valoració dels resultats Escala de valoració segons la puntuació • escala de puntuació de les respostes* (cal tenir present l’evo- • compartir resultats amb lució en els resultats al llarg del temps, les persones particpants en després d’haver passat el qüestionari en la planificació i organització un període concret, i no pas la puntuació del projecte. en relació amb l’escala de manera aïlla- da). • Recull de propostes entorn a la pregunta “què podem fer per millorar l’assoliment d’objectius” (opcional, per aprofundir en l’avaluació) Instrument 3 Qüestionari d’avaluació dels objectius Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Primera part Escriu a continuació: 1. L’objectiu que vols avaluar: Exemple. Incorporar els joves en el teixit associatiu del barri 2. L’aspiració o indicador que determinaria la seva satisfacció: Exemple. Incorporar un mínim de tres joves amb els quals estem treballant a la plaça amb els educadors de carrer en al- guna de les entitats del barri 3. Tema, problema, potencialitat, preocupació que ha fet que ens plantegem aquest objectiu: Exemple. Existència d’una alta conflictivitat dels joves a l’espai públic (plaça, carrer, etcètera) 4. Teoria del canvi a què respon aquest objectiu: Exemple. Com més participació dels joves a les entitats del barri, menys conflictivitat al carrer i a la plaça I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius 5. El temps previst per a l’assoliment de l’objectiu en fases (sis mesos, un any, tres anys) (sempre que sigui possible): Exemple: (a sis mesos) —establiment de vincles amb els joves de la plaça; (a un any) —fer que els joves assisteixin a algu- na activitat organitzada per les entitats; (a tres anys) —que un mínim de tres joves siguin membres actius de les entitats 6. Els recursos previstos per a l’assoliment de l’objectiu: Exemple: Deu hores setmanals d’un educador APC dedicades al treball de carrer a la plaça i a l’enfortiment de les associa- cions del barri. Com més participació dels joves a les entitats del barri, menys conflictivitat al carrer i a la plaça 7.1. Possibles obstacles o resistències que ens poden dificultar l’assoliment de l’objectiu: 7.2. Possibles elements facilitadors que poden contribuir a l’assoliment de l’objectiu: 8. Impacte* que esperem que tingui l’assoliment d’aquest objectiu: Exemple. Reducció de la conflictivitat dels joves al carrer i a la plaça * Cal que definim de manera clara el concepte o la dimensió en què volem incidir (en aquest cas, la conflictivitat), i que al mateix temps concretem quin seria el possible indicador que visualitzaria el canvi. A títol d’exem- ple: reducció del nombre d’intervencions policials o de denúncies...). Segona part Una vegada emplenada la graella anterior, puntua segons l’escala que presentem a continuació el teu grau d’acord amb les afirmacions que es presenten: Si tens interès a aprofundir en una reflexió conjunta posterior, respon també a les preguntes en obert que acompanyen les preguntes puntuables: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – Valora el grau d’acord i respon 1 2 3 4 – 1. Hem arribat a les persones que havíem definit a l’objectiu Per què? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius 1 2 3 4 – 2. L’aspiració prevista o indicador s’ha complert Quins elements han estat determinants? 1 2 3 4 – 3. L’objectiu plantejat s’ha assolit Identifica condicionants externs (en positiu o en negatiu) que hagin pogut incidir en l’assoliment de l’objectiu 1 2 3 4 – 4. S’han utilitzat els recursos previstos per al desenvolupament de l’acció Per què? 1 2 3 4 – 5. El temps per a l’assoliment de l’objectiu ha estat el previst Per què? 1 2 3 4 – 6. L’assoliment de l’objectiu ha tingut l’impacte esperat Identifica condicionants externs (en positiu o en negatiu) que hagin pogut incidir en l’assoliment de l’impacte Han tingut lloc impactes no previstos (en positiu o en negatiu)? Quins? Exemple. Sí. La feina feta pels educadors ha permès iniciar un treball conjunt entre les diferents entitats, que ni tan sols es coneixien, organitzant-se en un projecte conjunt per desenvolupar a les places del barri 1 2 3 4 – 7. Per l’impacte assolit podem dir que la nostra teoria del canvi era correcta Per què? III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels objectius INSTRUMENT 4. Qüestionari Taula de puntuació d’avaluació de la participació comunitària (metodologia) 45-50 punts Excel·lent 38-44 punts Notable Indicacions per a l’ús del qüestionari 30-37 punts Acceptable / Suficient Aquest qüestionari està dissenyat per- Menys de 30 Insuficient què el contestin els organitzadors i pro- punts (necessàriament motors del programa o projecte. Té una millorable) primera i una tercera part no puntuable, amb l’objectiu d’identificar actors o fer (per fer el càlcul de punts seguiu les indicacions un debat més qualitatiu, i una segona que apareixen a les mateixes preguntes) part puntuable, en què s’indica com cal- cular la puntuació de cada resposta. 58 Quant a la seva aplicació, es pot passar Qualitat de Vida, un cop executat el projecte o bé quan Igualtat i Esports està en execució. Taula Síntesi qüestionari 4 Guia operativa d’avaluació de Les preguntes identificades amb una (R) Què La participació de la comunitat l’acció comunitària resten puntuació. a un projecte o programa Fem una mitjana del conjunt de qüesti- Qui Les persones que han organit- onaris recollits i, alhora, analitzem les zat i promogut el projete o pro- diferències en les respostes com a ele- grama ment per traslladar als participants per tal de poder aprofundir-hi. Com 1 ) omplir el qüestionari indivi- dualment Escala de valoració segons la puntuació 2) buidat i càlcul de la puntua- de les respostes* (cal tenir present l’evo- ció obtinguda lució en els resultats al llarg del temps, 3) valoració dels resultats després d’haver passat el qüestionari en un període concret, i no pas la puntuació • escala de puntuació en relació amb l’escala de manera aïlla- • compartir resultats amb da). les persones particpants en la planificació i organització del projecte. • Temps i espai per fer un debat qualitatiu al voltant de l’AC Instrument 4 Qüestionari d’avaluació de la participació comunitària Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Primera part Completa la informació següent: Promotors i organitzadors (qui participa activament en els diferents espais de planificació, se- guiment i treball del programa o projecte). Serveis públics Entitats prestadores Associacions / Persones que participen de serveis Grups del barri a títol individual Nre. total: Nre. total: Nre. total: Nre. total: I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de la participació comunitària Segona part Puntua segons l’escala que presentem a continuació el teu grau d’acord amb les afirmacions següents: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1. Valora el grau d’acord 1 2 3 4 – 1. Disposem d’un sociograma actualitzat (mapa d’actors) entorn de l’acció comunitària 2. Tenim definits uns objectius concrets i una estratègia clara per treballar les relacions amb aquests actors 3. El perfil dels participants o beneficiaris respon als objectius del programa o projecte (estem arribant a les persones a qui volíem arribar) 4. Les entitats identificades al quadre inicial d’aquest qüestionari participen activament en: a) l’elaboració del diagnòstic comunitari i en el seguiment del programa o projecte b) en el disseny i execució del programa o projecte c) en l’avaluació del programa o projecte d) en la gestió econòmica del programa/projecte 5. Les persones usuàries o beneficiàries del programa o projecte tenen un paper rellevant en: a) en la planificació i el seguiment del programa o projecte b) en l’execució, assumint responsabilitat i tasques, del programa o projecte c) en l’avaluació del programa o projecte d) en la gestió econòmica del programa/projecte 6. En les nostres formes de treballar en el dia a dia...: a) fem formació adreçada als promotors i organitzadors del programa o projecte b) fem rotació de responsabilitats o tasques entre els participants II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de la participació comunitària 2. Valora els aspectes de la participació comunitària següents dins el programa o projecte 1 2 3 4 – 1. El traspàs d’informació d’uns serveis als altres 2. El traspàs d’informació entre entitats i serveis 3. La tasca d’anar registrant i documentant el desenvolupament del programa o projecte (elaboració d’actes, reculls d’acords, etcètera) 4. La informació als participants sobre el programa d’activitats 5. La informació als participants sobre com podrien implicar-se més en el projecte o programa comunitari 6. La transparència i l’accés a la informació dels no participants o participants puntuals al programa o projecte 7. L’elaboració de diagnòstics compartits 8. La capacitat de fer una difusió diferenciada de l’activitat pensant en la diversitat dels possibles participants (targets) 9. La incorporació dels usuaris o beneficiaris a l’avaluació del programa o projecte 10. Que la ciutadania no organitzada pugui fer propostes 11. El diàleg entre promotors i organitzadors (serveis públics, associacions de barri...) 12. La incorporació dels usuaris o beneficiaris en tasques organitzatives 13. La presa de decisions de manera conjunta entre els organitzadors i promotors 14. La incorporació dels sabers ciutadans en el disseny dels programes, projectes o activitats 3. El programa ha permès... 1 2 3 4 – 1. que ens expliquem els uns als altres què estem fent 2. que col·laborem amb els projectes dels altres 3. que pensem i fem coses noves conjuntament III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de la participació comunitària Tercera part Valora el grau de participació dels col·lectius següents en el programa o projecte, segons els diversos àmbits de participa- ció assenyalats: (no puntuable) R = Res o gairebé res; P = Poc; M = Molt Elaboració de Elaboració Organització Assistència diagnòstics de propostes d’activitats a activitats (beneficiari/usuari) R P M R P M R P M R P M Infants Adolescents Gent jove Dones Adults Gent gran Immigrants Comerciants Gent que pertany a entitats i associacions Altres... Interpretació de la graella: Depenent dels objectius del projecte i dels diferents nivells de participació aconseguits, haureu de debatre si són necessaris canvis quant a la participació dels diferents col·lectius i com fer-ho. IV Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de la participació comunitària 1.3. Per avaluar impactes en la població INSTRUMENT 5. Qüestionari d’impactes Per tal d’interpretar els resultats en re- en l’individu lació amb l’impacte en l’individu, des de la perspectiva de la inclusió i l’apodera- Indicacions per a l’ús del qüestionari ment, us haureu de fixar en els resultats obtinguts en la pregunta 3, el número Aquest qüestionari d’impactes intenta amb què s’ha valorat cada pregunta és mesurar els canvis en l’individu (en el el que haureu de sumar per obtenir una seu grau d’inclusió, apoderament i con- puntuació final: dicions de vida) derivats de la participa- ció en l’acció comunitària. Taula de puntuació S’ha dissenyat perquè l’emplenin els 60-65 punts Impacte positiu participants de l’acció comunitària, pen- bmolt elevat. sant en accions comunitàries que tenen Excel·lent una implantació vinculada a un territori 47-59 punts Impacte positiu (barri) molt concret. La manera ideal per elevat. Notable 63 emplenar-lo és a partir d’una entrevista 40-46 punts Impacte positiu baix. feta per una persona externa o no direc- Acceptable / Qualitat de Vida, Igualtat i Esports tament implicada en l’acció al partici- Suficient pant de l’acció comunitària. 30-39 punts Cap impacte Guia operativa d’avaluació de A causa de la gran diversitat d’accions o existència l’acció comunitàriad’impactes negatius comunitàries és possible que algunes preguntes requereixin certa adaptació. Menys de 30 Impacte molt Amb aquesta finalitat hem incorporat a punts negatiu (ens ha títol d’exemple algunes preguntes alter- de fer qüestionar la participació de natives, o aclariments, pensant en les la persona en el accions comunitàries que originàriament projecte) partien de grups d’usuaris de serveis so- cials. Aquests aclariments o preguntes Per mesurar l’impacte en la qualitat de alternatives s’han recollit entre parènte- vida heu de mirar directament la respos- si i amb un * al llarg del formulari. ta aportada en obert a la pregunta 4. En el moment que passem aquest qües- tionari, haurem de demanar les valoraci- ons i les respostes en dos moments: • Un primer moment en què es farà Taula Síntesi qüestionari 5 referència al moment actual i on l’entrevistat respondrà totes les pre- Què Impacte individual en els parti- guntes del qüestionari. cipants d’una AC • Un segon moment, en què torna- rem a preguntar per les dimensions Qui Cada participant de forma indi- consultades inicialment i en què de- vidual manarem a l’entrevistat si aquestes dimensions han augmentat o dismi- Com 1 ) omplir el qüestionari mitjan- nuït després d’haver participat en çant una entrevista feta per l’acció comunitària. una persona externa a l’AC Els canvis, augment o disminució, ens 2) buidat del qüestionari/entre- permetran aprofundir de manera oberta vista per conèixer si es deriven de l’acció co- 3) valoració dels resultats, tant munitària o d’altres elements, sempre a nivell individual com a nivell depenent de la percepció de l’entrevistat. de grup Instrument 5 Qüestionari d’avaluació dels impactes en l’individu Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1. Pensant en el meu barri 1 2 3 4 – a. Conec tots els serveis i recursos existents (*per fer front a la situació que vull solucionar) b. Tinc motivació per conèixer, apropar-me i participar del que fan les entitats o associacions del barri (*o de la ciutat, les que treballen aquest tema que em preocupa) c. Conec gent del barri, faig per veure’m amb ells i fer coses junts d. Em relaciono amb persones de procedència i origen diferents (*En el cas d’una AC de serveis socials sorgides de grups: pensant en el meu entorn i context en relació amb el tema o problema que aborda l’acció comunitària). Si és possible, justifiqueu les respostes (ho ha de preguntar l’entrevistador): I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes em l’individu 2. Pensant en mi mateix 1 2 3 4 0 – a. Tinc una percepció positiva de mi mateix b. Tinc capacitat per prendre decisions per mi mateix c. Tinc opinió o criteri propi d. Sé com buscar informació o on dirigir-me quan he de solucionar alguna cosa e. Tinc motivació per fer coses amb els altres, organitzar-me per millorar la meva realitat social o entorn f. Em sento capaç de fer front a les situacions de conflicte en què em veig involucrat g. Em sento capaç de fer front a les dificultats que em sorgeixen h. Em sento capaç de relacionar-me amb persones que no són del meu cercle familiar o amistats properes i. Em sento capaç de fer coses amb èxit conjuntament amb persones que no són del meu cercle familiar proper Escala de valoració d’1 a 5 en què: S’ha reduït bastant S’ha reduït una mica S’ha quedat igual Ha augmentat Ha augmentat molt 1 2 3 4 5 3. Després d’haver participat en l’acció comunitària, indica si s’han donat canvis en les frases valorades anteriorment: 1 2 3 4 5 1a. Conec tots els serveis i recursos existents 1b. Tinc motivació per conèixer, apropar-me i participar... 1c. Conec gent del barri, faig per veure’m amb ells i fer coses... 1d. Em relaciono amb persones de procedència i origen diferents... 2a. ...percepció positiva de mi mateix 2b. ...capacitat per prendre decisions per mi mateix 2c. ...criteri propi 2d. ...saber com buscar informació i on dirigir-me 2e. ...motivació per fer coses amb altres 2f. ...fer front a situacions de conflicte 2g. ...fer front a les dificultats que em sorgeixen 2h. ...relacionar-me amb persones que no són del meu cercle 2i. ...fer coses amb èxit conjuntament amb persones que no són del meu cercle En cas de canvi, a què atribueixes aquest canvi? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes em l’individu Finalment, respon a la pregunta següent: 4. Després de participar en l’acció comunitària, la meva qualitat de vida ha canviat? la qualitat de vida té moltes dimensions: salut, emocional, condicions econòmiques, accés a recursos i serveis, etcètera (dir que t’ha millorat seria l’equivalent a dir que han canviat coses que et faciliten el dia a dia, i dir que t’ha empitjorat seria dir que han canviat coses que et dificulten el dia a dia). Sí, ha millorat molt Sí, ha millorat No, tot està igual Sí, ha empitjorat En cas de canvi, justifica la resposta identificant en quines dimensions s’han donat (salut, emo- cional, condicions econòmiques, accés a recursos i serveis...) i, si és possible, determina per què participar en l’acció comunitària ha estat determinant III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes em l’individu INSTRUMENT 6. Qüestionari d’avaluació sició del grup? Què hauríem de fer per dels impactes en el grup millorar-la? Indicacions per a l’ús del qüestionari • Quins són els nostres punts forts i els nostres punts febles quant a la Aquest qüestionari d’impactes en el grup dinàmica de funcionament del grup? intenta mesurar els canvis en la configu- Estem generant autonomia i apode- ració i dinàmica del grup des del punt de rament en les persones que el for- vista de la inclusió, l’apoderament i la men? Estem generant autonomia com millora de les condicions de vida. a grup? Què podríem fer per millorar? • Quin és el grau de reconeixement del S’ha dissenyat perquè l’emplenin les grup cap a fora? Per a qui i a quin ni- persones que tenen un paper en la pla- vell? És satisfactori? Què podríem fer nificació, dinamització o organització per millorar? de l’activitat quotidiana del grup; no és 67 recomanable per a participants esporà- • Estem assolint els objectius que ens dics, poc regulars o participants exclusi- plantejàvem com a grup? Quins són Qualitat de Vida, vament com a assistents de les activitats els nostres punts forts i els nostres Igualtat i Esports del grup, ja que una visió excessivament punts febles per tal d’assolir-los? Guia operativa parcial podria distorsionar els resultats. Com podríem millorar? d’avaluació de l’acció comunitària En cas de voler passar aquest qüestio- nari a aquest perfil de participants (“as- sistent a les activitats”), cal tenir-ho Cal tenir present l’evolució en els resul- present en l’anàlisi de resultats i recollir tats al llarg del temps si és una activitat que es tracta d’aquest perfil de partici- que es repeteix de manera cíclica o regu- pant, tal com apareix al qüestionari. lar, i anar passant el qüestionari ens per- met veure’n l’evolució al llarg del temps. Una vegada emplenat el qüestionari, cal fer una valoració general dels resultats. Farem aquesta valoració en una reunió Taula Síntesi qüestionari 6 de treball amb aquest objectiu. Què Impactes en el grup Per al desenvolupament de la sessió de Qui Les persones que han par- valoració: ticipat en la planificacio, di- • Fem un buidat del conjunt de qües- namització o organització de tionaris recollits i, alhora, analitzem l’activitat del grup les diferències en les respostes com a element per traslladar a les perso- Com 1 ) omplir el qüestionari indivi- nes que l’han emplenat. dualment • 2) buidar del qüestionariLes persones facilitadores de la re- unió de valoració fan un retorn de 3) reunió de treball per com- la síntesi de resultats al conjunt de partir la valoració del buidat, persones que l’han emplenat (entre es pot dinamitzar a partir els quals hi ha els organitzadors de del guió que es proposa amb l’activitat). aquesta finalitat Es pot seguir el guió de preguntes se- güent com a ordre del dia del debat: • Quins són els nostres punts forts i els nostres punts febles quant a compo- Instrument 6 Qüestionari d’avaluació dels impactes en el grup Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Composició del grup (inclusió i diversitat) 1. Quant temps fa que participes en el grup? (indica mes i any) 2. Participo en el grup de la manera següent: (Marca amb una X, possibilitat de resposta múltiple) Com a membre del grup impulsor, motor o secretariat (és a dir, del grup més reduït on es pla- nifiquen les sessions de treball, es preparen les reunions per al grup gran, etcètera) Com a participant a les reunions generals del grup (en què s’organitzen les activitats, etcètera) Assistint i assumint tasques per organitzar activitats Assistint a les activitats que organitza el grup 3. En relació amb el meu perfil com a participant: (Selecciona una única opció) Participo com a veí a títol individual o com a persona interessada o afectada Participo com a representant d’una entitat o associació Participo com a professional d’un servei Altres (indica-ho): I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes en grup 4. Participo en aquest grup perquè... (Prioritza de l’1 al 4, prenent l’1 com el més important) m’ajuda a resoldre problemes concrets em trobo còmode i m’agrada estar-hi tinc amics al grup l’activitat que el grup fa és important per a la societat 5. Quins són els objectius d’aquest grup? (Prioritza de l’1 al 4, prenent l’1 com el més important) Donar-nos suport entre les persones que hi participem Organitzar activitats o projectes adreçats a persones que no participen en el grup Aportar idees a professionals i serveis per contribuir a solucionar determinats problemes o situacions Autorganitzar les nostres pròpies activitats No tinc clars els objectius d’aquest grup 6. Penses que hi ha col·lectius que no són prou presents al grup i que aniria bé que hi fossin? (Selecciona una opció). En cas afirmatiu, digues quins (per exemple, joves, alguns perfils professionals...) Sí. Quins: No No ho sé 7. En el darrer any s’han incorporat noves persones al grup? (Si no fa un any de la teva participació en el grup, contesta partint del moment en què vas començar a participar-hi) Sí No No ho sé Podries enumerar-les, i en cas que pertanyin a alguna entitat o servei, indicar-ho? Podries dir quan es va incorporar la darrera persona al grup? 8. En relació amb els participants en el grup, consideres que sou un grup: On tothom és bastant igual On hi ha molta diferència i diversitat No ho sé Quines diferències identificaries com les més importants entre els membres del grup? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes en grup Dinàmica quotidiana del grup 9. Quines coses fa el grup? (Selecciona una opció i detalla la resposta si cal) Reunions entre nosaltres Reunions amb altres grups Activitats (enumera’n algunes): Xerrades Altres (indica-ho): 10. De qui depèn que el grup es trobi i perduri en el temps? (Prioritza de l’1 al 3, prenent l’1 com el més important) Del treball d’un professional d’un servei (serveis socials, salut...) Del treball d’un professional que es finança a partir d’una subvenció o recursos que destinem per a la seva contractació De la capacitat d’autoorganització, d’autoconvocar-nos, etcètera, de les persones que hi par- ticipem 11. De què depèn, principalment, el desenvolupament de les activitats que organitzem des del grup? Del finançament públic assumit per un projecte o servei de l’Administració Del finançament d’una subvenció o donació que rebem com a grup o projecte De nosaltres mateixos, dels recursos propis que puguem generar els participants (quotes, activitats, etcètera) o del fet que les coses que fem no ens costin diners 12. El grup té definits rols o papers per exemple, secretari, moderador, encarregat o responsable, delegat o semblants Sí No Sense resposta En cas afirmatiu, podries dir quins? Dinamització del grup 13. Qui dirigeix o modera normalment les reunions del grup? Un professional Un participant del grup (sempre el mateix) Diversos participants del grup de manera conjunta (sempre els mateixos) Diferents persones del grup de manera rotativa 14. El grup fa reunions sense que hi hagi sempre un professional que la dirigeixi? No, sempre hi ha un professional que dirigeix la reunió Sí, però en molts pocs casos Sí, més de la meitat de les reunions són sense professional Mai hi ha un professional III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes en grup 15. Pensant en la teva participació en el grup. De cada tres reunions a les que participes, en quantes dones la teva opinió? A cap A una A dues A les tres (a totes) A banda de parlar, consideres que contribueixes al grup d’una altra manera? Quina? 16. Pensant ara en les activitats i relacions que té el grup. En els darrers sis mesos... Has participat en reunions o activitats conjuntes del teu grup amb altres grups comunitaris? No Sí. Quins?: S’ha informat a les reunions del vostre grup de les activitats que desenvolupen altres grups co- munitaris? No Sí. Quins grups?: Ha participat a les vostres reunions de grup alguna persona en representació d’un altre grup o col·lectiu? No Sí. Quin grup?: Ha participat a les vostres reunions de grup alguna persona en representació d’algun servei o administració? No Sí. Qui?: 17. En les reunions del grup dels darrers sis mesos, s’ha tractat algun dels temes següents? (Marca amb una X les opcions que corresponguin) No puc contestar, la meva participació en aquest període ha estat molt irregular El pressupost o la situació econòmica del grup Què caldria fer per aconseguir que s’hi apunti més gent Què caldria fer per coordinar-se amb altres grups que també fan activitats comunitàries No s’ha parlat de cap d’aquests temes 18. En termes generals, valora de l’1 al 4 el tarannà i el funcionament del grup. Per fer-ho, ex- pressa el grau d’acord amb les afirmacions que trobaràs més avall: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1 2 3 4 – 18.1. És un grup a on tots els membres podem tenir un paper i ens sentim inclosos o integrats, encara que siguem diferents 18.2. És un grup reivindicatiu (té com a objectiu principal reclamar a les institucions o administracions determinades millores, drets, etcètera) IV Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes en grup 18.3. És un grup amb capacitat d’incidir sobre altres grups o administracions 18.4. És un grup reconegut per altres grups, institucions o administracions (ens conviden a reunions, ens proposen i consulten coses, etcètera) 18.5. Les coses que es fan, en aquest grup, es parlen i es decideixen entre tots 18.6. Tothom té més o menys la mateixa informació sobre els temes que afecten el grup 18.7. La manera de funcionar d’aquest grup ens fa tenir més capacitat de fer coses, més capacitat crítica pròpia, criteri propi, etcètera 19. Un cop l’any (o curs) fem una reunió per valorar com ha anat tot i fer propostes de millora en relació amb el funcionament del grup Sí No 20. Fent una valoració general del grup, en el darrer any, hem avançat en: Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1 2 3 4 – 20.1. L’assoliment dels nostres objectius com a grup 20.2. La incorporació i sortida 20.3. Funcionament democràtic del grup: presa de decisions, distribució tasques... 20.4. Consolidar-nos com a grup 20.5. Ser reconeguts com a interlocutors vàlids per a altres grups 20.6. Ser reconeguts com a interlocutors vàlids per a la ciutadania 20.7. Ser reconeguts com a interlocutors per a l’Administració 20.8. Ser reconeguts com a bona pràctica Justifica les respostes: Nota: combinar aquest qüestionari amb el d’impactes en l’individu ens pot ajudar a concloure si es tracta d’un grup apoderat (amb capacitat d’incidència cap a fora) o d’un grup apoderador (amb capacitat de fer créixer els seus membres, etcètera). Identificar les diferències en les respostes entre els diferents membres ens pot ajudar a alimentar la reflexió entorn de les dues dimensions). V Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació dels impactes en grup INSTRUMENT 7. Taller d’avaluació d’im- ventall prou plural i significatiu de mira- pactes en la comunitat-població des en l’acció que es vol avaluar. La di- nàmica de treball proposada per al taller Presentació busca combinar la perspectiva sectorial amb la multisectorial, i les mirades indi- Els instruments que es fan servir per viduals amb les col·lectives, tot plegat avaluar impactes en una població són fent una combinació de metodologies costosos en temps i recursos, ja que prou contrastades i experimentades. Ara acostumen a combinar anàlisis quan- bé, la proposta concreta que fem sí que titatives provinents d’enquestes, anàli- és nova. Els ingredients que la formen sis de costos, anàlisis dels registres de no ho són, però el resultat de la combi- serveis, juntament amb entrevistes en nació d’aquests ingredients sí que ho és. profunditat i altres anàlisis qualitatives. La voluntat, ja ho hem dit, és trobar un Normalment, les experiències d’acció instrument que, sent funcional a l’ob- comunitària disposen de pocs recur- jectiu que ha de complir, no exigeixi una 73 sos per abordar les tasques d’avaluació gran despesa de recursos ni uns conei- d’impactes: ni els professionals que hi xements estranys als professionals que Qualitat de Vida, treballen quotidianament acostumen a l’hauran de posar en pràctica. Igualtat i Esports ser especialistes en aquesta matèria, ni Guia operativa és freqüent disposar de recursos econò- Amb tot, cal dir que estem parlant d’un d’avaluació de l’acció comunitària mics per contractar avaluadors externs taller que exigeix a les persones que hi que se n’encarreguin. participin una dedicació de gairebé cinc hores al llarg d’una jornada. Es pot con- Ja hem fet explícita en pàgines anteri- siderar un temps excessiu per a determi- ors la voluntat clara de fer una guia per nats perfils funcionals (càrrecs electes i a l’avaluació d’accions comunitàries alts directius de l’Administració, veïnat- que sigui útil i senzilla, fàcil d’utilitzar ge poc acostumat a participar-hi o al- per uns operadors (normalment tèc- tres), però no podem oblidar que estem nics i professionals dels serveis soci- parlant d’un instrument d’avaluació par- als, animadors socioculturals, tècnics ticipada d’impactes, és a dir, d’un instru- comunitaris, etcètera) que tenen altres ment que segurament farem servir cada encàrrecs i no acostumen a disposar de dos o tres anys. gaire temps per dedicar a la tasca ava- luadora. Aquesta voluntat de dissenyar instruments d’avaluació fàcils de fer servir, però sense perdre funcionalitat Objectiu (eficàcia i eficiència de la tasca avalu- adora) ens planteja sempre el repte de Avaluar els impactes d’un programa o trobar un bon equilibri entre aquestes projecte comunitari en un barri o en la dues exigències acabades d’esmentar població de referència a la qual s’adreça. (senzillesa i funcionalitat). Un repte que agafa una dimensió important quan es tracta de l’avaluació dels impactes en una població, un barri o una comunitat. Principis metodològics La proposta que presentem, que busca Es proposa una metodologia participa- aquest equilibri que comentem, consis- tiva (taller d’avaluació) amb combinació teix en la realització d’un taller d’ava- d’elements i dinàmiques inspirades en luació amb la participació de persones dos instruments àmpliament contras- de perfils diversos: ciutadania, tècnics tats i coneguts a escala internacional: i professionals, representants instituci- els tallers de prospectiva EASW i les en- onals, etcètera, que puguin aportar un questes deliberatives. Condicionants Resultats esperats • Perquè sigui possible avaluar impac- La proposta metodològica renuncia tes en aquesta escala cal que l’acció d’entrada a obtenir com a resultat da- comunitària hagi tingut temps de des o indicadors quantitatius que mesu- produir-los. Orientativament, si pen- rin l’impacte de l’acció. Amb tot, sí que sem en un PDC en un barri, estimem s’espera que amb aquesta proposta es un període de tres anys des de l’inici puguin identificar impactes i resultats, per poder avaluar-ne els impactes. visions d’aquests impactes en funció de • El desenvolupament del taller re- rols i posicions en el procés, grau d’acord quereix que algunes persones s’en- o consens en la valoració dels impactes, carreguin de facilitar o moderar les i una anàlisi que permeti identificar as- sessions de treball i el plenari, i d’ela- pectes que cal millorar de la intervenció. borar les conclusions i fer els infor- 74 mes respectius. És important que les persones que estan fent la feina Qualitat de Vida, Dinàmica de treball per al taller d’ava- Igualtat i Esports de facilitació es dediquin a això i no compaginin aquesta activitat amb la luació Guia operativa d’avaluació de participació en el taller. (15’) Presentació dels objectius i de la l’acció comunitària metodologia de treball al taller (20’) Enquesta inicial a tots els partici- Convocatòria/Participants pants La convocatòria es fa per “grups funci- (75’) Grups funcionals onals” (grups de persones que ocupen (30’) Descans rols o posicions similars en relació amb l’acció comunitària que s’estigui ava- (30’) Plenari de grups funcionals luant). Cada programa o projecte pot (50’) Grups mixtos. Per què (factors ex- establir els grups que vol convocar en terns i factors interns) funció de les seves especificitats, però la proposta metodològica parteix de (30’) Plenari de grups mixtos l’ideari de l’acció comunitària a Barce- (20’) Enquesta final a tots els partici- lona, que proposa un tipus d’interven- pants ció en què conflueix la participació de persones beneficiàries o usuàries (en (15’) Tancament (síntesi, devolució...) les seves diverses condicions), amb la de tècnics i professionals de diversos serveis públics i la de càrrecs electes i representants d’institucions. Idealment, Procés cada grup ha d’estar format per unes 6-9 persones. Exemples de grups funcionals Enquesta inicial a tots els participants són: promotors de l’acció comunitària; ciutadania-veïnatge; professionals dels Es distribueix el qüestionari individual serveis públics al territori; professionals d’avaluació de l’acció comunitària a tots de serveis públics de fora del territori; els assistents al taller. Els qüestionaris comerciants; representants de les insti- són anònims, però porten un codi que els tucions; altres, segons les especificitats identifica per tal de poder-los associar de l’acció a avaluar. al qüestionari que respondran els ma-teixos assistents al final del taller. Ens interessa poder comparar les valoraci- ons inicials, abans de començar el taller, amb el que es pensa al final del taller, un produït en els darrers tres anys, quins cop produïdes les sessions de treball i penseu que han estat fonamentalment deliberació, però no és important saber producte de factors externs al programa qui ha estat la persona concreta que ha o projecte comunitari, i quins podem atri- contestat. buir directament com a èxit (o fracàs) del programa o projecte (factors interns). Grups funcionals Plenari de grups mixtos Són grups formats per persones que ocupen posicions o desenvolupen rols Els portaveus dels diferents grups mix- similars en relació amb el procés co- tos fan una presentació en el plenari de munitari [per exemple: els tècnics dels les conclusions a les quals han arribat serveis públics del barri, els veïns i les sobre factors interns i factors externs a veïnes (es podria diferenciar, si convé, l’hora d’explicar èxits i fracassos del pro- entre associats i no associats, o entre grama o projecte comunitari que estem 75 promotors i usuaris o beneficiaris), els avaluant. comerciants, etcètera]. Els grups funci- Qualitat de Vida, onals hauran de contestar, en el temps Enquesta final a tots els participants Igualtat i Esports establert i sota el guiatge d’alguna per- Guia operativa sona encarregada de facilitar la reunió o Un cop fet el treball de taller (grups i d’avaluació de l’acció comunitària el taller, les preguntes del Marc operatiu plenaris), toca passar a la segona ronda (vegeu el quadre núm. 1: Agenda dels de l’enquesta. El qüestionari és el ma- grups funcionals) tractant de consensu- teix, les preguntes no varien, però volem ar les posicions i, si això no és possible, veure si les opinions han canviat com a d’identificar els dissensos principals. resultat del diàleg mantingut amb per- Com que es tracta de preguntes obertes, sones que tenen una experiència dife- cal que la persona que faciliti o condu- rent de l’acció. Tots els participants del eixi el debat vetlli per “controlar” el grau taller hauran d’emplenar el qüestionari de dispersió en les intervencions. de manera individual. El qüestionari pot ser anònim, però portarà algun codi que Plenari de grups funcionals permeti associar-lo al qüestionari inicial fet per la mateixa persona. Durant el plenari, els diversos grups fun- cionals exposen les conclusions a les Tancament (agraïments, avaluació, devo- quals han arribat. En aquest moment no lució...) es comença cap discussió, però sí que es poden fer preguntes aclaridores als por- Dediquem els últims minuts del taller a taveus dels grups. fer els agraïments respectius, i també a fer una avaluació impressionista de com Grups mixtos ha anat el taller (Diana, per exemple). També ens hem de comprometre a fer En els grups mixtos barrejarem les per- un informe amb els resultats obtinguts, sones provinents dels diversos grups que es distribuirà a tots els assistents funcionals, de manera que en cada grup en una data propera. la composició funcional o de perfils sigui al més similar possible. El facilitador co- mença fent un recordatori de les conclu- sions principals del plenari dels grups Enquestes inicial i final: funcionals al qual acabem d’assistir. Un cop fet aquest recordatori, els debats al grup s’han de concentrar en una qües- tió: Dels canvis que hem vist que s’han Instrument 7 Taller avaluació d’impactes en la comunitat-població Nom del programa o projecte per avaluar: 1. Creus que en els darrers tres anys ha augmentat o ha disminuït la participació dels veïns i veï- nes en les activitats comunitàries del barri? Ha augmentat, hi participa més gent Ha disminuït, hi participa menys gent Més o menys es manté igual No ho sap / No contesta 2. Si penses en els grups socials següents, quina diries que ha estat la seva dinàmica de parti- cipació en activitats comunitàries al barri en els últims tres anys?: (+) La participació de persones d’aquest col·lectiu ha anat en augment en els últims tres anys (–) La participació de persones d’aquest col·lectiu ha disminuït en els últims tres anys (=) La participació de persones d’aquest col·lectiu s’ha mantingut igual en els últims tres anys (+) (–) (=) - Gent jove - Dones - Infants - Gent gran - Immigrants - Comerciants - Gent que pertany a entitats i associacions - ...? I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Taller d’avaluació d’impactes en la comunitat-població 3. Quin és el teu grau d’acord amb les afirmacions següents? : 1 (en desacord) - 2 (parcialment d’acord) - 3 (molt d’acord) - 4 (totalment d’acord) 1 2 3 4 Ens els darrers dos anys... ... es nota que hi ha més vida social i associativa al barri ... han sortit noves entitats i associacions ... hi ha més veïns i veïnes participant en les associacions i entitats ... les entitats i associacions del barri fan més coses juntes ... han augmentat els conflictes entre entitats i associacions del barri ... les entitats i associacions del barri organitzen activitats que abans no es feien ... s’han aconseguit millores per al barri gràcies al paper actiu de les entitats 4. Si penses en el barri i en els canvis que s’han produït en els últims tres anys. Quines coses diries que han millorat i que fan que al barri es visqui millor?: 5. Segons el teu parer, quines són les causes de les millores que s’han produït al barri: 6. Si penses en el barri i en els canvis que s’han produït en el últims tres anys. Quines coses di- ries que han empitjorat i que fan que al barri es visqui pitjor? 7. Segons el teu parer, quines són les causes de l’empitjorament que s’ha produït al barri: 8. Quines creus que han estat les aportacions principals d’aquesta acció comunitària? 9. Completa la frase següent: Si aquesta acció comunitària no s’hagués produït... II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Taller d’avaluació d’impactes en la comunitat-població Identificació: Sexe: Home Dona Edat: a. Participes en alguna activitat comunitària al barri? Sí No Quina o quines? b. Quant temps fa que hi participes (indica mes i any) c. A quin dels grups o col·lectius següents pertanys? Promotors de l’acció comunitària Ciutadania-veïnatge Professionals dels serveis públics al territori Professionals dels serveis públics de fora del territori Representants de les institucions Altres. Quin? III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Taller d’avaluació d’impactes en la comunitat-població Consideracions i criteris per a la redac- Amb electes i directius de les adminis- ció de l’informe final tracions ens pot interessar saber... • Recollir una anàlisi dels resultats de • Quina valoració fan dels “processos les dues enquestes separadament i d’apoderament comunitari”: des del comparativament. seu punt de vista han millorat les • Fer un relat de les conclusions dels relacions entre Administració i enti- grups de treball (funcionals i mixtos). tats?, han canviat les formes o estra-tègies de gestió del conflicte? • Si és possible, contrastar les opini- ons i percepcions dels participants • Si veuen els processos i els espais del taller amb dades existents. de treball comunitari com un recurs “aprofitable” per al conjunt de les po- • Redactar unes conclusions finals. lítiques públiques. • ... 79 Agenda general dels grups funcionals: Amb serveis públics (serveis socials, edu- Mantenim l’estructura “inclusió - apo- cació, salut...) ens pot interessar saber... Qualitat de Vida, Igualtat i Esports derament - condicions de vida” del Marc • Si s’han modificat les formes de tre- operatiu (MOA) per confeccionar l’agen- ball entre serveis (transversalitat, in- Guia operativa da (els temes a tractar) del taller d’ava- d’avaluació de tegralitat, cooperació, coproducció). l’acció comunitària luació. • Quins canvis s’han produït en les re- Qüestions específiques susceptibles de lacions serveis-població? ser tractades als grups funcionals • ... Més enllà de l’agenda que surt directa- Amb entitats i associacions ens pot inte- ment del MOA, és possible que amb de- ressar saber... terminats grups funcionals ens interessi • S’han modificat les formes de treball contrastar o avaluar certs aspectes es- entre entitats? pecífics sense perdre de vista el fet que estem davant un instrument d’avaluació • Quins canvis s’han produït en les re- que farem servir per avaluar els impac- lacions amb els serveis i els equipa- tes d’un programa o projecte en una co- ments? munitat. En posem alguns exemples: • ... Impactes del MOA Inclusió Apoderament Condicions de vida Comunitat Participen en Ha millorat S’assoleixen els objectius l’acció comunitària la capacitat substantius de l’AC? persones “noves” organitzativa de la que abans no hi comunitat? Han tingut lloc impactes participaven? no previstos o efectes Hi ha més capacitat indirectes que puguem L’AC incorpora de fer propostes i identificar? activitats definir un projecte propi? Es pot valorar l’acció adreçades comunitària com una a col·lectius Ha millorat la acció preventiva davant vulnerables? qualitat democràtica els problemes socials que de les entitats? amenacen la comunitat? 1.4. Per avaluar els espais professionals de treball INSTRUMENT 8. Qüestionari d’avaluació dins l’equip (distribuïm i assignem de l’equip d’un servei tasques)? Indicacions per passar el qüestionari Cal tenir una certa periodicitat en l’ava- luació de l’equip d’un servei, es recoma- Aquest qüestionari d’avaluació es plan- na una periodicitat anual, tot i que pot teja com una eina d’autoavaluació per a variar en funció del ritme i el desplega- l’equip d’un servei que participa en una ment de l’acció comunitària, dels canvis acció comunitària. L’anàlisi plantejada en la composició de l’equip, entre altres. se centra en tres dimensions, un nivell intern com a equip (referent als mem- bres que el constitueixen), un nivell ins- titucional (referent a aquest equip dins 80 la seva organització o institució) i un ni- vell comunitari (referent a l’equip en re- Taula Síntesi qüestionari 8 Qualitat de Vida, lació amb la resta d’actors, és a dir, en Igualtat i Esports relació amb els actors que no pertanyen Què L’equip d’un servei Guia operativa a la seva organització o institució). d’avaluació de Qui Els tèccnics del servei que par- l’acció comunitària Una vegada emplenat el qüestionari, cal ticipen a l’AC fer una valoració general dels resultats. Farem aquesta valoració en una reunió Com 1) omplir el qüestionari indivi- de treball amb aquest objectiu. dualment 2) buidar del qüestionari 3) reunió de treball per com- partir la valoració del buidat, Per al desenvolupament de la reunió de es pot dinamitzar a partir valoració: del guió que es proposa amb aquesta finalitat Les persones facilitadores de la reunió, que podem formar part de l’equip, fan un retorn de la síntesi de resultats i l’es- tructuren en els tres nivells d’anàlisi es- mentats. A partir d’aquí s’obre un debat en l’equip. Per fer-ho, us suggerim una proposta de guió per al debat, que podem repetir en cadascun dels tres nivells d’anàlisi: el nivell de treball intern, el nivell de treball institucional i el nivell de treball comu- nitari. • Quins són els nostres punts forts i els nostres punts febles? Quines coses hauríem de millorar per desenvolupar millor la nostra tasca? Quines coses concretes estan al nostre abast can- viar a curt termini? I a llarg termini? Què fem per canviar-les? Per assolir aquest objectiu de canvi, qui fa què Instrument 8 Qüestionari d’avaluació de l’equip d’un servei Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Nivell Intern 1. L’equip disposa d’un document específic que fixa els objectius i l’estratègia, i desenvolupa els projectes quant a l’acció comunitària? No hi ha cap document* Sí, hi ha alguns documents, però són dispersos, parcials o poc desenvolupats Sí, disposem d’un document específic en què es recullen els objectius, l’estratègia i les acti- vitats del servei en relació amb l’acció comunitària *Un equip de SS que només disposi del pla de centre haurà de contestar “No hi ha cap document” 2. En les últimes cinc setmanes laborals, quantes hores de les reunions internes de l’equip s’han dedicat a l’agenda comunitària? Menys d’una hora Entre una i cinc hores Més de cinc hores 3. Durant l’últim any, quants professionals de l’equip han participat en espais de formació o re- cerca sobre acció comunitària? Cap professional Alguns professionals, però menys del 50% Més del 50% dels professionals de l’equip I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de l’equip d’un servei 4. En el darrer any o curs, s’ha qüestionat dins l’equip la dedicació del servei a l’acció comunitària? Sí, gran part de l’equip ha qüestionat la dedicació a l’acció comunitària Sí, però han estat poques persones o qüestionaments molt puntuals No, cap o gairebé cap professional de l’equip ho ha qüestionat 5. L’equip fa una avaluació de la seva estratègia comunitària? Mai o gairebé mai Sí, però de manera poc sistemàtica (bastant informal) Sí, sistemàticament Nivell institucional 1. L’equip comparteix informació amb altres tècnics, àrees o serveis de l’organització per al des- envolupament de les accions comunitàries? Normalment no De tant en tant, esporàdicament Sí, regularment Indica quin tipus d’informacions: 2. L’equip desenvolupa activitats comunitàries conjuntament amb altres tècnics, àrees o serveis de l’organització? Normalment no De tant en tant, esporàdicament Sí, regularment Indica quin tipus d’activitats: 3. L’equip reporta amb regularitat a la direcció tècnica del servei (nivell superior) l’estratègia comunitària que desenvolupa? Normalment no De tant en tant, esporàdicament Sí, regularment Només quan se’ns demana 4. En el darrer any o curs, i pensant en els professionals de la vostra institució d’altres àrees o serveis amb els quals us relacioneu per motiu de l’acció comunitària, diríeu que la quantitat d’aquests professionals...? Ha disminuït Es manté igual Ha augmentat II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de l’equip d’un servei 5. Es produeixen solapaments o confusió de rols entre els encàrrecs dels diversos equips o pro- fessionals de la mateixa organització pel que fa a les accions comunitàries que desenvolupa l’equip? Sí, amb freqüència Sí, però de manera puntual o esporàdica Normalment no Nivell comunitari 1. En el desenvolupament d’activitats o projectes comunitaris, l’equip participa d’espais de tre- ball amb presència de professionals d’altres organitzacions, administracions o institucions? Normalment no Sí, hi assistim, però no hi tenim un paper promotor Sí, en un paper promotor o de lideratge 2. L’equip intercanvia informació amb altres serveis d’altres organitzacions o institucions? Normalment no Sí, en determinats moments puntuals Sí, regularment, participant en espais tècnics de treball (meses tècniques o similars) 3. L’equip desenvolupa projectes conjuntament amb altres serveis d’altres organitzacions? Normalment no Sí, però sense liderar-los ni ser-ne promotors Sí, en un paper promotor o de lideratge 4. L’equip participa d’espais de treball amb presència d’entitats ciutadanes en el desenvolupa- ment d’activitats o projectes comunitaris? Normalment no Sí, en moments puntuals Sí, regularment i compartint espais de treball conjunt Indica’n algun: 5. Les activitats de l’equip en l’àmbit comunitari, ajuden l’equip en el desenvolupament del seu encàrrec específic i en l’assoliment dels objectius que té plantejats com a servei (d’educació, de salut, etcètera)? Poc o gens Pensem que sí, però de manera poc tangible Sí, les activitats comunitàries en què participem ens ajuden clarament a assolir els nostres objectius específics com a servei III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació de l’equip d’un servei INSTRUMENT 9. Qüestionari d’avaluació Què fem per canviar-les? Per assolir d’una mesa tècnica aquest objectiu de canvi, qui fa què dins la mesa (distribuïm i assignem tasques)? Indicacions per passar el qüestionari Aquest qüestionari d’avaluació es plan- teja com una eina d’autoavaluació per Cal tenir una certa periodicitat en l’ava- a una mesa tècnica que participa o im- luació de l’equip d’un servei, es recoma- pulsa una acció comunitària. L’anàlisi na una periodicitat anual, tot i que pot plantejada se centra en tres dimensions, variar en funció del ritme i el desplega- un nivell intern com a mesa tècnica (re- ment de l’acció comunitària, dels canvis ferent a la relació i el treball entre els en la composició de l’equip, entre altres. membres que la constitueixen), un nivell 84 institucional (referent als membres de l’equip en relació amb les organitzacions Qualitat de Vida, o institucions a les quals pertanyen) i un Igualtat i Esports nivell comunitari (referent als equips en Taula Síntesi qüestionari 9 Guia operativa relació amb la resta d’actors, és a dir, en d’avaluació de relació amb els actors que no pertanyen Què Una mesa tècnica l’acció comunitària a la seva organització o institució). Qui Les persones que participen a Una vegada emplenat el qüestionari, cal la mesa tècnica fer una valoració general dels resultats. Farem aquesta valoració en una reunió Com 1 ) omplir el qüestionari indivi- de treball amb aquest objectiu. dualment 2) buidar del qüestionari 3) reunió de treball per com- partir la valoració del buidat, Per al desenvolupament de la reunió de es pot dinamitzar a partir valoració: del guió que es proposa amb aquesta finalitat. Les persones facilitadores de la reunió, que poden formar part de la mesa, fan un retorn de la síntesi de resultats i l’es- tructuren en els tres nivells d’anàlisi es- mentats. A partir d’aquí s’obre un debat en l’equip. Per fer-ho, us suggerim una proposta de guió per al debat, que podem repetir en cadascun dels tres nivells d’anàlisi: el nivell de treball intern, el nivell de treball institucional i el nivell de treball comu- nitari. • Quins són els nostres punts forts i els nostres punts febles? Quines coses hauríem de millorar per desenvolupar millor la nostra tasca? Quines coses concretes estan al nostre abast can- viar a curt termini? I a llarg termini? Instrument 9 Qüestionari d’avaluació d’una mesa tècnica Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Nivell Intern 1. Quantes reunions ha fet la mesa tècnica en els darrers mesos? 1 2 3 o més Nota: posarem 3, 9 o 12 mesos en funció de si es tracta d’un comitè tècnic (12), d’una mesa de programa (9) o d’una mesa de projecte (3). 2. Es distribueix, amb més de quatre dies d’antelació al desenvolupament de les reunions, un ordre del dia dels temes que s’han de tractar i la documentació addicional pertinent (actes de la reunió anterior, documentació de suport, etcètera)? Normalment no L’ordre del dia sí, però normalment no es reparteix amb antelació cap altra documentació Sí, s’acostuma a distribuir amb antelació l’ordre del dia i la documentació 3. La mesa disposa d’un document que fixa els objectius i l’estratègia quant a l’acció comunitària? No hi ha cap document Hi ha alguns documents, però són parcials Sí, tenim un document d’objectius i estratègia pel que fa a l’acció comunitària I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una mesa tècnica 4. La mesa, ha fet al llarg d’un curs o any passat alguna avaluació de la seva estratègia comuni- tària? No Sí, però de manera poc sistemàtica (bastant informal) Sí, formalment i sistemàticament 5. En el darrer any, s’han incorporat canvis en les formes de treballar de la mesa? Tot i que algunes dinàmiques de treball no ens acaben de funcionar, no hem estat capaços d’introduir-hi canvis Sí, hi hem introduït alguns canvis, però com a resposta a situacions imprevistes (altes o bai- xes de serveis, etcètera) Les formes de treballar de la mesa tècnica s’han mantingut o modificat en funció dels resul- tats de l’avaluació feta La dinamització de la mesa ha estat sempre a càrrec del mateix servei o entitat Nivell institucional 1. Els tècnics que hi participen, comparteixen la informació generada a la mesa amb altres tèc- nics, àrees o serveis de la seva organització? Normalment no De tant en tant, esporàdicament Sí, regularment 2. Els serveis que participen a la mesa, reporten amb regularitat a la direcció tècnica del seu servei l’estratègia comunitària que desenvolupen a la mesa? Normalment no De tant en tant, esporàdicament Sí, regularment 3. Quina de les afirmacions següents defineix millor les relacions que es donen entre els dife- rents serveis presents a la mesa i els seus respectius departaments, àrees o organitzacions en relació amb la participació en accions comunitàries? No ens relacionem amb altres departaments o àrees de la nostra organització amb motiu de la participació en aquesta mesa tècnica Tenim relacions molt puntuals o ocasionals amb altres departaments o àrees de la nostra organització amb motiu de la participació en aquesta mesa tècnica Treballem regularment amb equips o professionals d’altres departaments o àrees de l’orga- nització amb motiu de la participació en aquesta mesa tècnica 4. Hi ha protocols o acords formals de derivació o col·laboració entre els serveis o les institucions que participen en la mesa? No Sí, en el cas d’uns pocs serveis Sí, per a la majoria de serveis que formen part de la mesa II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una mesa tècnica 5. Quin és el teu grau d’acord amb l’afirmació següent: “La mesa tècnica funciona més com a re- sultat del compromís personal dels professionals que hi participen, que no pas pel compromís dels serveis als quals pertanyen aquests professionals”? Totalment d’acord Parcialment d’acord Gens d’acord Nivell comunitari 1. Quin és el resultat principal de la mesa? Amb motiu de participar en la mesa, ens hem conegut i això sempre obre portes a futures col·laboracions Participar en la mesa ha facilitat la comunicació, ha fet més fluides les coordinacions i petites col·laboracions, tot i que no ha suposat cap acció nova La participació en la mesa ha permès compartir alguna acció conjunta entre serveis 2. S’han construït de manera compartida o participada els diagnòstics i els objectius de treball de la mesa? No, els va proposar un dels serveis o equips Sí, però fa més de tres anys Sí, i fa menys de tres anys 3. La mesa ha organitzat en el darrer any o curs alguna activitat de formació adreçada a tots els professionals que en formen part? No S’han fet algunes activitats de formació, però només per a alguns serveis (comissions de tre- ball de la mesa) Sí, la mesa ha organitzat formació adreçada a tots els seus participants 4. La mesa ha organitzat en el darrer any alguna activitat comunitària conjuntament amb entitats o grups de ciutadans? No Sí, però amb una baixa implicació d’entitats o grups de ciutadans Sí, amb una alta implicació d’entitats o grups de ciutadans 5. Amb quina de les afirmacions següents estaríeu més d’acord? Anem a les reunions de la mesa per mandat o encàrrec institucional, però la veritat és que no ens serveix gaire La mesa ens és útil en alguns moments o per alguns aspectes puntuals, però res més Les activitats i funcions de la mesa són útils i ens ajuden clarament a assolir els nostres ob- jectius com a servei III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’una mesa tècnica INSTRUMENT 10. Qüestionari d’avalua- aquest objectiu de canvi, qui fa què ció d’un equip comunitari dins l’equip (distribuïm i assignem tasques)? Indicacions per passar el qüestionari Aquest qüestionari d’avaluació es plan- Cal tenir una certa periodicitat en l’ava- teja com una eina d’autoavaluació per a luació de l’equip d’un servei, es recoma- un equip comunitari, el qual organitza i na una periodicitat anual, tot i que pot dinamitza el procés de treball i l’estratè- variar en funció del ritme i el desplega- gia relacional en una acció comunitària. ment de l’acció comunitària, dels canvis L’anàlisi plantejada se centra en tres di- en la composició de l’equip, entre altres. mensions, un nivell intern com a equip comunitari (referent a la relació i el tre- 88 ball entre els membres que el constitu- eixen), un nivell institucional (referent a Qualitat de Vida, la relació de l’equip amb l’entitat o servei Igualtat i Esports que els contracta o els fa l’encàrrec de Taula Síntesi qüestionari 10 Guia operativa treball) i un nivell comunitari (l’equip en d’avaluació de relació amb els actors del territori). Què Un equip comunitari l’acció comunitària Una vegada emplenat el qüestionari, cal Qui Els membres que constituei- fer una valoració general dels resultats. xen l’equip comunitari Farem aquesta valoració en una reunió de treball amb aquest objectiu. Com 1) omplir el qüestionari indivi- dualment 2) buidar del qüestionari 3) reunió de treball per com- Per al desenvolupament de la reunió de partir la valoració del buidat, valoració: es pot dinamitzar a partir del guió que es proposa amb Les persones facilitadores de la reunió, aquesta finalitat. que poden formar part de l’equip, fan un retorn de la síntesi de resultats i l’es- tructuren en els tres nivells d’anàlisi es- mentats. A partir d’aquí s’obre un debat en l’equip. Per fer-ho, us suggerim una proposta de guió per al debat, que podem repetir en cadascun dels tres nivells d’anàlisi: el nivell de treball intern, el nivell de treball institucional i el nivell de treball comu- nitari. • Quins són els nostres punts forts i els nostres punts febles? Quines coses hauríem de millorar per desenvolupar millor la nostra tasca? Quines coses concretes estan al nostre abast can- viar a curt termini? I a llarg termini? Què fem per canviar-les? Per assolir Instrument 10 Qüestionari d’avaluació d’un equip comunitari Dades d’identificació Nom del projecte: CSS de referència: Persona que emplena la fitxa: Adreça electrònica: Nivell Intern 1. L’equip disposa d’un pla de treball que fixa els objectius i l’estratègia de l’acció comunitària més enllà de la programació d’activitats? No Disposem del projecte anual (programació d’activitats) Sí, tenim un pla de treball plenament vigent d’objectius i estratègia pel que fa al pla comuni- tari 2. En el darrer any o curs, professionals de l’equip han participat en espais de formació o recerca aplicable a l’activitat professional? Sí, quantes hores? No 3. Dins l’equip, com estan repartides les tasques i les responsabilitats pel que fa a l’acció comu- nitària? No hi ha un repartiment de tasques i responsabilitats, entre tots ho anem fent tot Només per a algunes tasques o funcions molt puntuals hi ha una persona de l’equip que sem- pre se n’encarrega Disposem d’un repartiment força clar de tasques i funcions en la feina diària I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’un equip comunitari 4. Quina de les afirmacions següents penseu que reflecteix millor la feina del dia a dia de l’equip? Si fa o no fa, sempre fem més o menys el mateix Anem canviant la feina i hi incorporem noves activitats o relacions comunitàries cada any, però de manera força improvisada Anem canviant la feina i incorporem noves activitats o relacions comunitàries cada any, però de manera organitzada o planificada 5. L’equip fa anualment una avaluació de la seva estratègia comunitària? Normalment no Sí, però de manera poc sistemàtica (bastant informal) Sí, sistemàticament. Amb quina periodicitat? Nivell institucional 1. En el darrer mes, s’ha fet alguna reunió entre l’equip comunitari i l’entitat gestora (o equivalent) per compartir informació sobre el desenvolupament del pla comunitari? No Una reunió Més d’una reunió 2. Hi ha una direcció política dins l’entitat gestora (o equivalent) que marqui o defineixi activa- ment l’estratègia del pla comunitari? No hi ha directrius polítiques, és qüestió dels tècnics Hi ha directrius polítiques, però de manera puntual o dispersa Sí, hi ha una direcció política que marca de manera clara les línies que s’han de seguir en el pla comunitari 3. El pla de treball del pla comunitari s’ha fet amb la participació de l’entitat gestora (o equiva- lent)? No, l’entitat gestora no ha participat en l’elaboració del pla de treball L’entitat gestora ha participat puntualment en alguns debats Sí, l’entitat gestora ha participat activament en tot el procés 4. Existeixen espais regulars de comunicació entre l’equip comunitari i l’entitat gestora (o similar): No Si, esporàdics i/o per qüestions extraordinàries Sí, ens trobem regularment 5. Els rols de l’equip comunitari i de l’entitat gestora estan clarament definits o es produeixen solapaments o confusions? El rols no estan gaire clars i es produeixen confusions o solapaments amb freqüència Sí que es produeixen confusions o solapaments, però de manera puntual o esporàdica És clar el que toca fer als uns i als altres, i no hi ha confusions II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’un equip comunitari Nivell comunitari 1. L’equip participa d’espais de treball amb presència de professionals del serveis al barri? No Sí, hi assistim, però no tenim un paper promotor Sí, tenim un paper promotor o de lideratge Sí, coliderem l’espai 2. L’equip desenvolupa projectes conjuntament amb professionals del serveis públics del barri? No Sí, però sense liderar ni ser promotors Sí, en un paper promotor o de lideratge Sí, en compartim el lideratge 3. Atribueix un percentatge del temps que dediques a les següents tasques (entenen que el 100% es la teva jornada): Administració i gestió Realització/execució d’activitats Planificació/organització d’activitats Relacions amb nous agents Altres: 4. Durant l’últim any o curs, s’ha incorporat nova gent (ciutadania) al pla comunitari? No, som els mateixos que fa un any Sí. Indica quants del total de participants són nous d’aquest darrer any o curs 5. Quina de les afirmacions següents defineix millor les relacions entre l’equip i les entitats ciu- tadanes que no participen en el pla comunitari? Gairebé no ens relacionem Tenim relacions molt puntuals o ocasionals i de caire formal Mirem de relacionar-nos-hi amb relativa freqüència III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’avaluació d’un equip comunitari 2. INSTRUMENTS I DINÀMIQUES D’AUTOAVALUACIÓ QUALITATIVA O PARTICIPATIVA INSTRUMENT 11. Reunió d’avaluació posició en cercle o similar). amb un grup o espai comunitari c) Sense introduir dinàmiques especí- fiques de treball (subgrups, suports) Indicacions per utilitzar l’instrument es fa difícil pensar en una reunió amb un grup molt nombrós de persones. Aquest instrument d’avaluació es plan- teja com una dinàmica-metodologia per d) La persona que faciliti la reunió ha de a l’avaluació d’un espai comunitari (per deixar ben clar, al començament, quin exemple, en el cas dels PDC, “el grup co- és l’objectiu de la trobada, i durant el munitari”) i planteja l’espai de treball per seu desenvolupament haurà de mirar a la realització de l’avaluació entre els de reconduir les intervencions cap a membres que l’integren. aquest objectiu quan vegi que es des- vien massa cap a temes que no són Es recomana una periodicitat anual per objecte d’avaluació. 92 a la realització d’aquesta avaluació, en- e) Depenent del que vulguem avaluar, cara que sempre dependrà de la regu- pot ser necessari fer una introducció Qualitat de Vida, laritat de convocatòria de l’espai, de la Igualtat i Esports presentant algun tipus d’informació. dinàmica de treball, etcètera. Cal que aquesta presentació sigui Guia operativa d’avaluació de àgil i no ocupi gaire temps: no més del l’acció comunitària 25% del temps total del qual dispo- Explicació de l’instrument sem (es pot haver enviat prèviament la informació amb la convocatòria i Sovint, les persones que faciliten les di- l’ordre del dia). nàmiques de grup no disposen de gaire f) Hem de procurar que tothom parli i temps per dedicar a l’avaluació, no ve- pugui dir-hi la seva, i haurem d’estar uen factible incorporar al grup dinàmi- atents al fet que no hi hagi persones ques que es viuen com a excessivament que “segrestin el micròfon” amb inter- “sofisticades” o, simplement, es consi- vencions constants o excessivament dera que el més adient, atès el moment i llargues. Per facilitar-ho, comença- les característiques del grup, és fer una rem presentant-nos i explicant molt trobada o reunió per parlar i fer l’avalua- clarament les “regles del joc”. ció d’una manera oberta i poc pautada. g) Convé que les idees principals i els No obstant això, optar per fer una tro- acords que es produeixin al llarg de la bada o reunió per avaluar no vol dir que reunió quedin reflectits de manera vi- les coses es puguin fer de qualsevol sible en un mural, una pissarra o una manera. Caldrà tenir ben presents certs pantalla. aspectes que és important no perdre de h) Una avaluació no consisteix única- vista encara que es tracti d’una reunió ment a assenyalar les coses nega- d’avaluació a la qual no s’introdueixen tives o que no funcionen. És molt dinàmiques específiques de treball. important reconèixer el que fem bé, allò que funciona i pot o ha de ser a) Ens hem d’assegurar d’haver fet una motiu de celebració o reconeixement. bona convocatòria, convidant totes les persones que volem que siguin i) L’avaluació serà més útil i “construc- presents a la reunió, i escollint un dia tiva” si som capaços de diferenciar la i una hora que ho faciliti. crítica al “funcionament” de la crítica a la “persona”, i també si som capa- b) La sala on es faci la reunió ha de per- ços de precisar el focus de la crítica: metre que tothom pugui estar míni- que una cosa no funcioni no vol dir mament còmode i que ens puguem que “res” no funcioni. Així, per exem- veure les cares els uns als altres (dis- ple, no és el mateix dir “Els serveis públics tenen uns horaris que no els Participants: Qui participa en el grup permeten incorporar-se a les dinàmi- i qui hi hauria de participar? Presen- ques comunitàries” o “Els serveis pú- tats els objectius: Hi ha col·lectius blics dediquen poc temps a treballar que no són prou presents al grup i de manera comunitària”, que dir “Els que aniria bé que hi fossin? Quins? serveis públics no fan res o no servei- xen per a res”. La persona que facilita Dinàmica de funcionament intern: o modera la reunió pot anar introdu- Com valorem les reunions, la infor- int aquesta idea si veu que l’avaluació mació que ens arriba, la puntualitat i pren aquesta deriva, però haurà de tots els aspectes que tinguin a veure procurar que, en fer-ho, cap assistent amb el funcionament intern i quotidià del grup? no es vegi directament “recriminat”. j) Una possible agenda de temes per Relacions comunitàries del grup: És tractar en una reunió d’avaluació del un grup obert, que es relaciona amb 93 funcionament d’un grup o espai de altres grups, professionals, serveis o treball comunitari podria ser la se- equipaments per fer coses? Per què? Qualitat de Vida, Igualtat i Esports güent: k) Des del començament, haurem d’ha- Guia operativa Objectius: Recordem els objectius: d’avaluació de ver previst que caldrà fer un tanca- l’acció comunitària Quins són els objectius d’aquest ment de la sessió en què s’expliqui grup? Continuen sent vàlids? Treba- com es recollirà tot el que s’ha deba- llem per aquests objectius o ens hem tut i com ho farem arribar a tots els desviat cap a un altre focus? participants. INSTRUMENT 12. DAFO Esquema d’organització de la informa- ció en un DAFO Indicacions per utilitzar l’instrument Punts febles Punts forts Present Debilitats Fortaleses o Aquest instrument d’avaluació es plan- que cal elements per teja com una dinàmica-metodologia per corregir potenciar/ a l’avaluació d’una acció comunitària a mantenir partir de la participació dels diferents Futur Amenaces Oportunitats actors que hi estan implicats o dels ac- que cal que cal tors que la volen impulsar. La seva apli- afrontar explorar cació quant a periodicitat i temporalitat pot ser molt diversa, des dels moments inicials per fer una bona planificació, Desenvolupament de la metodologia fins als moments més avançats per re- 94 orientar les pràctiques després de dos o D’entrada, és molt important tenir en tres anys de treball. La seva idoneïtat en compte el nombre de persones i perfils Qualitat de Vida, l’aplicació sempre dependrà del moment que ens interessarà que participin en la Igualtat i Esports en què es troba l’experiència concreta. construcció del DAFO i quin serà el pro- Guia operativa jecte concret que volem avaluar, el pro- d’avaluació de El DAFO (debilitats, amenaces, forta- grama d’acció comunitària en general o l’acció comunitària leses i oportunitats) és un instrument bé un projecte específic. d’avaluació ideal per fer diagnòstics, tant d’un territori com d’una realitat en A continuació, emplenem per ordre els concret o d’alguna dimensió de l’acció diferents quadrants del DAFO; la nos- comunitària. Si utilitzem aquest instru- tra recomanació és que ho feu per ordre ment en diferents moments i en compa- temporal, és a dir, pensar en clau present rem els resultats, podrem tenir una visió i després en clau futur, encara que sem- dels avenços que ens permetran cons- pre podreu anar endavant i enrere. És a truir una projecció futura. dir, en primer lloc identificar els elements presents: debilitats actuals i fortaleses Trobareu molta bibliografia sobre el actuals. I en segon lloc, els elements fu- DAFO, i en aquesta guia us el presentem turs, les amenaces com a elements que com una eina de sistematització de la poden aparèixer o tenir una incidència reflexió de manera participativa, en clau negativa en el futur, i les oportunitats positiva-negativa, present-futur, interna com a elements externs a nosaltres que i externa. ens podrien ser favorables en el futur. Exemple Punts febles (–) Punts forts (+) Present DEBILITATS: FORTALESES: Poca implicació dels veïns del barri Implicació i coneixement d’altres en l’organització d’activitats experiències de l’equip comunitari Compromís irregular dels serveis Existència d’un espai de referència públics … amb vista a la participació veïnal (grup comunitari) … Futur AMENACES: OPORTUNITATS: Tendència a la reducció del … finançament … 3. INSTRUMENTS PER A UNA AVALUACIÓ IMPRESSIONISTA Parlem d’avaluació impressionista per els assistents i, per tant, la incorporació fer referència a tot un seguit d’instru- dels resultats als processos de millora ments i dinàmiques d’avaluació que vo- de l’activitat o del procés de treball. Es- len recollir les impressions (opinions, tem parlant, per entendre’ns, d’aquelles valoracions, propostes) de les persones avaluacions que no costen gaire de fer i que han participat en una determinada són fàcils de compartir i interpretar. activitat, tot just acabada aquesta ac- tivitat: al final d’un taller, d’una reunió, El conjunt d’instruments que presen- d’una jornada, etcètera. La proposta tem a continuació pretenen, a partir de d’instruments que presentem està molt l’espontaneïtat dels participants, de les arrelada en les metodologies del treball seves percepcions i impressions, fer una amb grups, el treball comunitari i l’edu- avaluació ràpida i visual que ens pugui cació popular, quan busquen facilitar permetre aprofundir-hi posteriorment. l’expressió, la subjectivitat i la vivència El component visual és clau, ja que faci- del moment. Es tracta d’instruments lita molt l’ús de l’instrument i la lectura, 95 que faciliten una avaluació senzilla i la comprensió i el debat posterior dels també útil, ja que les impressions re- resultats obtinguts. Qualitat de Vida, collides, a més de donar normalment Igualtat i Esports bones “pistes” sobre com ha funcionat En resum, la participació (avaluació Guia operativa l’activitat, o quina ha estat la vivència participada), l’espontaneïtat i l’element d’avaluació de l’acció comunitària dels participants, també permeten una visual són els pilars centrals d’aquest ti- fàcil socialització dels resultats de tots pus d’instruments d’avaluació. INSTRUMENT 13. Gràfic d’evolució d’una El missatge que s’ha d’adreçar a les per- activitat sones que fan l’avaluació és del tipus: “Dibuixa en el gràfic com creus que ha El gràfic d’evolució d’una activitat (reu- evolucionat la sessió i si han tingut lloc nió de treball, sessió de formació, taller, ‘moments especials’ o ‘punts d’inflexió’ jornada...) ens permet veure de manera que destacaries.” àgil la visió que tenen els participants de com s’ha desenvolupat, sobre la base Cal insistir que no és important saber di- d’identificar “tendències” (ascendents buixar ni ser especialment precisos. No- o descendents) i “moments crítics” que, més es tracta de fer un dibuix ràpid on es per una raó o altra, es volen destacar. puguin veure els “punts d’inflexió”, si és Un cop fet el dibuix, cal posar-li “lletra” que n’hi ha hagut. i explicar les raons per les quals s’han destacat aquests moments i per què les Els participants dibuixaran l’evolució 96 tendències són ascendents o descen- de la sessió en forma ascendent quan dents. De fet, es tracta de poder plan- l’activitat ha funcionat bé, i descendent Qualitat de Vida, tejar preguntes del tipus: “Què passava quan l’evolució anava de més a menys, i Igualtat i Esports en aquest moment que el gràfic es com- assenyalaran amb un punt els moments Guia operativa porta d’aquesta manera?” L’imaginari crítics o especials que volen destacar d’avaluació de (punts d’inflexió). l’acció comunitària podria ser el d’un gràfic que reflecteix en el temps, des del moment en què l’activi- tat concreta comença, i fins que aquesta Finalment, un cop dibuixat el gràfic i acaba, com ha “funcionat” o “evoluci- assenyalats el punts d’inflexió, caldrà onat”, com si es tractés d’un indicador explicar les raons per les quals el gràfic econòmic que puja o baixa de manera indica una evolució positiva o negativa, i més suau o abrupta en funció de com es què ha passat en els moments que han comporta l’economia. destacat. Com que es tracta d’un exerci- ci individual, no tenen per què coincidir, Desenvolupament de la dinàmica i la divergència o consens ens pot per- metre identificar quins són els aspectes Entreguem un full en blanc als partici- més rellevants identificats per cadascú i pants i els demanem que dibuixin com quina ha estat la seva valoració. ha estat l’evolució de la sessió segons el seu punt de vista. Hauran de fer aquest dibuix en un sistema de coordenades Un cop fet aquest exercici individual- cartesianes (vegeu el gràfic), en què l’eix ment, es comparteix. Cadascú explica el de les X (abscisses) reflecteix el temps seu gràfic o es col·loquen en un lloc visi- i l’eix de la Y (ordenades), la “intensitat”. ble per a tothom. Exemple + Tancament del treball en petits grups Inici de les dinàmiques participatives – Temps de la sessió Intensitat INSTRUMENT 14. La línia del temps aquesta acció comunitària, com recor- den que era tot abans de començar o en La línia del temps ens permet de mane- els moments inicials, quines etapes han ra molt visual poder conèixer l’evolució tingut lloc, quines coses els van impac- d’un projecte o programa, els moments tar, quines coses els van motivar, i que més significatius, els de crisi o èxit, els tot això ho intentin expressar en imatges seus impactes, etcètera, segons la per- o dibuixos en la línia del temps. cepció i vivència dels participants. Per poder facilitar aquesta feina, podem Es planteja com una dinàmica grupal donar als participants revistes i diaris que desenvoluparan les diferents perso- perquè puguin retallar les imatges que nes que han participat en l’acció comu- els ajudin a visualitzar com ha estat nitària. aquest procés. El més important és la creativitat i la capacitat d’explicació i in- Desenvolupament de la sessió terpretació de les imatges. 97 Dibuixem en un paper gran (com més Posteriorment, de manera col·lectiva, Qualitat de Vida, gran sigui, més clar i visual podrà ser es construirà la línia del temps a partir Igualtat i Esports l’exercici d’avaluació) una línia horitzon- de les imatges o dibuixos que han situat Guia operativa tal, la qual tindrà com a punt d’inici el sobre la línia els diferents participants. d’avaluació de l’acció comunitària començament del projecte, o moments Aquest dibuix ens haurà de facilitar immediatament anteriors, i com a punt construir un relat de l’experiència, in- de finalització el moment actual. tentant identificar els moments de més èxits, fracassos o impactes, i assenya- Els participants, amb aquest exercici, lant quines coses eren determinants en han de pensar en la seva vivència en aquell moment perquè això fos així. Exemple Abans Juny Gener Juny Desembre Any 2013 del 2010 2010 2011 2011 2011 2012 (actualitat) b Exemple de relat construït Vam dedicar el primer semestre del 2011 a pensar de manera col·lectiva: cap on volíem anar, i per això hem triat la imatge d’un far. “Fins al 2010 tot era com un desert, estàvem aïllats El desembre del 2011 va ser quan vam aconseguir i ningú no feia res amb ningú. organitzar la primera activitat conjuntament: va ser un moment de molta il·lusió col·lectiva, tot va sortir El juny del 2010 va ser quan es va plantejar l’inici de segons el que s’havia previst, un èxit. l’acció comunitària, però no va ser fàcil, ja que era una disputa constant, no sabíem dialogar, no sabí- Des d’aquell moment hem treballat tots junts. em treballar conjuntament. Ara, el 2013, estem millor organitzats, per temes més específics, i sembla que tot comença a rutllar, Recordo que va ser el gener del 2011 quan es va in- que cadascú assumeix compromisos, i que som ca- corporar el Pere, de l’AMPA, al grup impulsor: amb paços de trobar-nos regularment per explicar-nos el seu humor i la seva capacitat de consens va ser els avenços del pla de treball que hem definit con- com si sortís el sol. juntament.” : ) : ) : ) : ) : ) INSTRUMENT 15. Termòmetre manera, la línia simula un termòmetre que mesura el grau d’acord o desacord El termòmetre és una dinàmica de re- amb les afirmacions que va fent la per- flexió col·lectiva que pretén estimular sona que dinamitza la sessió. la participació de totes les persones presents en la sessió. Potser no tothom A continuació, el dinamitzador pregunta- parlarà, però tothom podrà expressar el rà als participats per què s’han col·locat que pensa a partir del moviment. Aquest en aquella posició, donarà paraules i ani- mateix moviment facilita que la sessió rà d’un extrem a l’altre del termòmetre sigui àgil i divertida i que la gent s’animi per tal d’animar el debat. Un cop fetes a participar-hi mentre passa una bona diverses intervencions, el dinamitzador estona. podrà reformular l’afirmació partint de les aportacions que fan els participants, El podrem utilitzar per avaluar accions, i convidar-los perquè es tornin a posicio- 98 actors o impactes, dependrà únicament nar amb noves afirmacions, etcètera. dels postulats o afirmacions que formu- Qualitat de Vida, lem. És una eina molt recomanada per Igualtat i Esports Exemple: I si dic...: ”Els lideratges són fer parlar tothom o, com a mínim, fer-los necessaris, però s’han d’exercir faci- Guia operativa prendre posició. d’avaluació de litant la participació de tothom en la l’acció comunitària presa de decisions.” Desenvolupament de la dinàmica Cal que, a més de la figura del dinamit- Ens ubiquem en una sala que tingui un zador, hi hagi alguna persona que tingui espai ampli, per tal que els participants la funció de prendre nota dels debats es puguin moure amb facilitat. que tenen lloc per poder fer un retorn als participants com a tancament de la El dinamitzador de la sessió traçarà a sessió de treball, i posteriorment fer-ne terra una línia recta imaginària i es col- un resum. locarà en un extrem d’aquesta línia. A continuació farà afirmacions, frases, Presentem a continuació alguns exem- que puguin generar controvèrsia entre ples de postulats, afirmacions, “con- els participants. Les frases o afirmaci- tundents”, que es podrien formular en ons han de ser clares, contundents, i fins el marc d’una sessió de termòmetre per i tot una mica ambigües quant a possi- avaluar. Com us dèiem, l’objectiu és ge- bles interpretacions per facilitar que la nerar inicialment una certa controvèrsia, gent prengui posicions que caldrà mati- fer que la gent es posicioni, i obrir el de- sar o explicar en el debat posterior. No bat. És ideal que penseu en la realitat de serviria de gaire presentar uns postulats la vostra acció comunitària per fer emer- amb els quals tothom estigui clarament gir els temes que costaria posar sobre la d’acord o en desacord. taula en un espai més formal de treball. Exemple: “És impossible la participa- ció horitzontal, necessitem que algú lideri i la resta el seguim.” Els participants s’hauran de posicio- nar sobre la línia imaginària dibuixada a terra en funció del grau d’acord o de- sacord amb l’afirmació. Els que estiguin més d’acord se situaran més a prop del dinamitzador, i els que estiguin més en desacord ho faran més lluny. D’aquesta Exemple. Per avaluar les dimensions, la qualitat de les accions. Planificació • No cal fer estudis ni diagnòstics: tothom sap quins són els problemes del barri! • No cal fer estudis ni diagnòstics: tothom sap el que el barri necessita! • ... Organització • Fem moltes reunions i poca feina: les reunions no serveixen per a res. • Treballar per àmbits multiplica els esforços, moltes reunions i pocs resultats. 99 • ... Qualitat de Vida, Participació • Els veïns són els que han de liderar i definir el que s’ha Igualtat i Esports de fer. Guia operativa d’avaluació de • ... l’acció comunitària Sostenibilitat • Tots ho fem tot. A aquest ritme, tothom es cremarà i marxarà. • La cosa no funciona perquè la gent no paga. • ... INSTRUMENT 16. CAP (critico - aplau- • Entre un i tres aspectes que valorin deixo - proposo) positivament i que, per tant, aplau- deixen. La tècnica d’avaluació CAP (critico - • Alguna proposta de millora de l’activi- aplaudeixo - proposo) permet fer una tat (màxim tres). avaluació ràpida i visual a través de la identificació espontània d’elements Un cop fet aquest exercici, es demana positius i negatius i, al mateix temps, als participants que l’enganxin a la pa- de propostes de millora o canvi. És una ret, a tres espais diferenciats, un per a bona eina per avaluar el desenvolupa- les aportacions “aplaudeixo”, un altre ment d’una activitat, jornada, trobada o per a les aportacions “critico”, i l’altre per sessió de treball o de formació. a les aportacions “proposo”. Sempre recomanem començar els diag- 100 nòstics i les valoracions pels aspectes Desenvolupament de la dinàmica positius per tal que no quedin “enter- Qualitat de Vida, rats” sota la capa de les crítiques, que Igualtat i Esports Un cop finalitzada l’activitat o sessió de acostumem a fer amb més facilitat i pro- Guia operativa treball per avaluar, donem als partici- fusió. d’avaluació de pants cartolines, paperets o similars, i l’acció comunitària els demanen que escriguin, de manera La idea és que tothom pugui veure clara i en majúscules, perquè tothom ho després el que ha sortit. El fet que les pugui llegir després: aportacions siguin anònimes i s’hagi de concretar en una única frase facilita el • Entre una i tres crítiques o aspectes desenvolupament de l’exercici i permet que considerin que s’haurien de mi- que l’avaluació sigui compartida per tot- llorar. hom. Evaluació CAP Critico Aplaudeixo Proposo 1. 1. 1. 2. 2. 2. 3. 3. 3. INSTRUMENT 17. Diana d’avaluació responent. És aconsellable no atapeir massa el dibuix de la diana amb molts La diana d’avaluació és una eina senzilla formatgets (es recomana que no siguin que ens permet avaluar les dimensions més de quatre). Així serà més visual i de l’acció comunitària que considerem comprensible. més rellevants d’una manera ràpida i àgil a partir de les impressions dels par- Els cercles concèntrics de la diana ens ticipants. determinaran la màxima puntuació en apropar-nos al centre i la mínima en Desenvolupament de la dinàmica allunyar-nos. Dibuixem una diana en un paper o en Per fer l’avaluació haurem repartit entre una cartolina gran per tal que sigui vi- els assistents les “paperetes de vot”, que sible i accessible als participants. En en aquest cas han de ser punts adhesius dibuixar-la, la dividim en el nombre de (gomets) que es puguin enganxar a la di- 101 dimensions que volem avaluar (fem for- ana fàcilment: un vot o gomet per perso- matgets) i escrivim el nom de cadascuna na i dimensió o formatget, que després Qualitat de Vida, Igualtat i Esports d’aquestes dimensions a la part cor- s’hauran d’adherir a la diana. Guia operativa d’avaluació de l’acció comunitària Exemple de diana per a l’avaluació d’una sessió formativa Quatre dimensions: • Capacitat didàctica del docent Capacitat didàctica • Aplicabilitat del docent dels continguts treballats • Documentació Aplicabilitat complementària dels Documentació continguts complementària• Metodologia de treballats treball Metodologia de treball 4. INSTRUMENTS PER A LA RECOLLIDA I LA SISTEMATITZACIÓ D’INFORMACIÓ INSTRUMENT 18. Model d’acta Presentem a continuació una proposta de model d’acta per a la sistematització Un bon registre del funcionament dels de la informació. Per emplenar-la, cal espais de treball, la seva composició i que la persona tingui present fer un re- dinàmica ens pot ajudar a tenir elements gistre de: per fer una avaluació posterior. • el temps en què es desenvolupa cada En aquest sentit, cal plantejar eines punt de l’ordre del dia. de recollida d’informació clares i fàcils • els temes abordats i els acords asso- d’emplenar que no donin peu a la sub- lits. jectivitat de qui recull la informació, per • qui participa en el debat. tal que qualsevol persona, hagi partici- pat en aquell espai de treball o no, pugui • la forma de convocatòria utilitzada i extreure les seves pròpies conclusions, les persones a qui s’ha adreçat.102 independentment de quina persona o • i la sistematització dels noms dels Qualitat de Vida, quines persones hagin recollit la infor- convocats i dels assistents i de la di- Igualtat i Esports mació. nàmica en general. Guia operativa d’avaluació de l’acció comunitària Exemple. Model d’acta Data Hora convocatòria Hora de començament Qui convoca? ............................................ A qui es convoca? ....................................... Qui hi assisteix? .............................................................. %/total dels convocats ........ Qui s’excusa? ................................................................... %/total dels convocats ........ Qui modera la reunió? .................................................................................................... Punts de l’ordre del dia (i temps dedicat a la reunió) 1. ....................................................................................... Temps dedicat .................... 2. ....................................................................................... Temps dedicat .................... Temes sobrevinguts (tractats a la reunió, però que no formaven part de l’ordre del dia inicial) 1. ....................................................................................... Temps dedicat .................... 2. ....................................................................................... Temps dedicat .................... Acords i compromisos a. Què s’ha de fer? ................................... Qui ho ha de fer? ............................................ b. Què s’ha de fer? ................................... Qui ho ha de fer? ............................................ Observacions: Els assistents coneixen amb anterioritat l’ordre del dia i disposen d’informació suficient i significativa per tractar els temes de l’agenda? 103 Costa molt o poc seguir l’ordre del dia marcat? Qualitat de Vida, Igualtat i Esports Guia operativa d’avaluació de l’acció comunitària És significatiu el nombre de persones que no hi intervenen? Qui no diu res? Hi ha persones que acaparen els torns de paraula? Qui? Hi ha interrupcions? Per quins motius? La reunió acaba amb les mateixes persones que l’han començat? 5. ANÀLISI DE XARXES INSTRUMENT 19. Sociograma Quan tinguem la llista, els assignem una representació gràfica. El sociograma o mapa social és una re- presentació gràfica de les relacions dels actors del territori en relació amb l’acció Administracions comunitària que estem desenvolupant o Serveis públics volem desenvolupar. Entitats prestadores de serveis Les accions comunitàries són proces- sos que tenen una important dimensió Associacions relacional, d’aquí l’interès a definir una estratègia i uns objectius a l’hora de Col·lectius o grups informals treballar les relacions per aconseguir la col·laboració i el treball conjunt, per 104 establir aliances, per superar els con- flictes, etcètera. El sociograma ens pot Pas 2. Ubicació dels actors al mapa i di- Qualitat de Vida, ajudar a fer-ho de manera molt gràfica buix de les relacions existents Igualtat i Esports i senzilla, i que ens permeti avaluar els Guia operativa nostres impactes o avenços en l’estratè- Pensant en la nostra acció comunità- d’avaluació de gia relacional. l’acció comunitària ria, situarem els diferents actors en un paperògraf. De manera molt visual, amb més o menys proximitat, farem visibles els conjunts d’afinitat que es donen, et- Recomanacions i passos per a la seva cètera. elaboració i interpretació Seguidament, a partir del debat, repre- El sociograma es pot elaborar a partir sentarem les relacions que es donen d’entrevistes, de la recopilació de per- entre els diferents actors i entre els di- cepcions, etcètera, per després contras- ferents grups d’afinitat. Per representar tar-lo amb els actors implicats en l’acció les relacions farem servir la simbologia comunitària, o bé directament de mane- següent: ra participada entre els diferents actors involucrats. Relació de dependència Nosaltres detallem una possible dinà- mica per fer-ho participativament en el Relació forta marc d’una sessió amb tots els actors Relació feble implicats. Relació de conflicte X Grup d’afinitat Pas 1: Identificació d’actors en el marc de l’acció comunitària: Demanem als participants que enume- rin col·lectivament els actors amb els quals té relació l’acció comunitària, o amb qui creuen que hauria de tenir re- lació. (aquesta relació pot ser diversa, a favor, en contra, etcètera). s Exemple de sociograma Nivell polític Nivell tècnic Nivell ciutadà s s sX 105 X Qualitat de Vida, Igualtat i Esports Font: Adaptat d’un text original de Joel Martí. Guia operativa d’avaluació de l’acció comunitària Pas 3. Interpretació del gràfic en clau A vegades comencen una acció comu- d’avaluació nitària sense dibuixar un sociograma, i aquest fet no invalida la utilització En clau d’avaluació, ens pot interessar d’aquesta eina en el futur, ja que, igual- dibuixar un sociograma a l’inici de la ment, ens pot ajudar a representar nostra acció comunitària i intentar pro- l’impacte de l’acció comunitària en les jectar en clau de futur com ens agradaria relacions del conjunt d’actors del ter- que quedés el dibuix en el futur, i quina ritori. En aquest cas, hauríem d’inten- podria ser l’estratègia relacional que tar dibuixar quin és el mapa actual i, caldria desenvolupar per aconseguir-ho. seguidament, fer el dibuix de com eren aquestes relacions a l’inici de l’acció En el moment de l’avaluació haurem de comunitària. Els canvis entre els dos veure si hem estat capaços d’aconseguir dibuixos, si són atribuïbles al procés, el que ens plantejàvem a escala relaci- determinaran l’impacte en les relacions onal. entre actors: s s s s s s s s s s s s s s s s s s INSTRUMENT 20. Anàlisi de xarxes l’estructura de la xarxa i els seus grups, sinó també la posició que hi ocupen els Trobem l’essència de l’acció comunità- individus i les organitzacions, el grau o el ria en treballar les relacions socials. Les tipus d’interrelacions que estableixen i relacions que es donen entre persones, els recursos que deriven d’aquestes in- grups, entitats, serveis públics, equi- terrelacions. paments, etcètera. L’acció comunitària persegueix que aquestes relacions es En aquest punt és essencial fixar amb donin, augmentin i s’enforteixin amb claredat el tipus de relació que es vol es- l’objectiu de millorar les condicions de tudiar. Aquesta dependrà de la població vida de la població. La hipòtesi de canvi que s’ha d’estudiar i del focus d’interès que rau a la base de l’acció comunitària del projecte, de manera que una matei- com a proposta de treball per a la mi- xa població es podrà analitzar partint llora de les condicions de vida estableix de diferents tipus de vincles: existència 106 una relació directa entre la capacitat de de relació o no, freqüència del contac- la gent per tenir unes relacions socials te, unidireccionalitat o bidireccionalitat Qualitat de Vida, sòlides amb el seu entorn i les oportuni- del vincle, contextos de relació, conse- Igualtat i Esports tats que deriven directament d’aquestes qüències del contacte, etcètera. Així, Guia operativa relacions: conec més gent amb la qual doncs, l’anàlisi de “què passa” amb les d’avaluació de puc establir relacions de cooperació i relacions socials, amb les xarxes, pot ser l’acció comunitària d’ajuda mútua; conec i em relaciono amb molt àmplia i incloure objectius variats. més gent amb què puc organitzar-me Així mateix, depenent de quins siguin els per defensar els meus drets o per pro- objectius que perseguim amb aquesta veir-me de recursos; conec més i millor anàlisi, la sofisticació dels instruments les oportunitats que s’ofereixen des dels metodològics i tecnològics que farem serveis i els equipaments públics; tinc servir (qüestionaris, programari, etcète- un ventall de relacions que em fa sentir ra) pot ser important. una persona integrada socialment en el meu entorn, etcètera. No és estrany que Per això, en aquesta guia ens limitarem a les relacions socials esdevinguin un dels proposar una anàlisi bàsica de les xarxes objectes principals d’estudi quan par- socials que es generen com a fruit d’una lem d’avaluar l’acció comunitària, ja que determinada acció comunitària. D’acord ens interessarà molt saber com funcio- amb una acció comunitària que es per- nen aquestes relacions i quines modifi- llonga en el temps (un pla comunitari, cacions es produeixen com a resultat de un programa o projecte amb recorregut), l’acció comunitària que desenvolupem. mirarem si ha augmentat el volum de les relacions socials que mantenen les Doncs bé, la metodologia que permet persones que participen en el programa fer millor aquesta mena d’indagacions com a resultat de la seva participació. és l’anàlisi de xarxes. L’anàlisi de xarxes Dit d’una altra manera, l’anàlisi reflecti- s’encarrega de mirar “què passa” amb rà si ha augmentat el “capital social” de les relacions que s’estableixen entre les persones. subjectes, que poden ser persones o col- lectius, individus o institucions. L’objecte L’anàlisi de xarxes necessitarà, per tant, d’estudi de l’anàlisi és sempre el conjunt el disseny d’un sistema de recollida d’in- de vincles bilaterals o multilaterals que formació (com, per exemple, un qüesti- s’estableixen entre els individus o ac- onari), la utilització d’un sistema per a tors que interaccionen, ja que les xarxes l’explotació de la informació recopilada són i es defineixen com a conjunts de (en el nostre cas, un programa informà- relacions que vinculen individus o orga- tic, UCINET) i, finalment, la interpretació nitzacions en “grups”. L’anàlisi d’aques- dels resultats obtinguts (també en el tes xarxes permetrà conèixer no només nostre cas a partir dels gràfics i les da- des que ens facilitarà l’explotació feta lisi de xarxes, de manera molt genèrica, pel programa informàtic esmentat). en podríem identificar tres tipus: Tenint en compte que cada acció comu- • Les accions comunitàries que es nitària per avaluar tindrà unes caracte- desenvolupen amb un grup tancat i rístiques diferenciades, quant al temps estable de persones que es troba de de participació, formes de relació dels manera regular i que desenvolupa una participants, perfil dels participants, activitat conjunta. S’espera d’aques- etcètera, haurem de dissenyar eines ta activitat que sigui l’element mo- específiques de recopilació d’informa- tivador el que els permeti seguir de ció. S’haurà de prestar especial atenció manera autònoma l’activitat, al ma- als qüestionaris que fonamentaran la teix temps que genera una nova xarxa recollida d’informació, ja que en funció social de suport per als seus partici- d’aquests formularis podrem dur a ter- pants. Aquest podria ser el cas, per me una anàlisi més o menys aprofundi- exemple, del projecte “Caminant fem 107 da. salut. Rutes de salut pel barri de Sa- grada Família”, del Pla comunitari de Qualitat de Vida, Igualtat i Esports Si fem una classificació genèrica del ti- la Sagrada Família. Guia operativa pus d’accions comunitàries que podrien • Les accions comunitàries que es de- d’avaluació de ser susceptibles de l’aplicació de l’anà- senvolupen amb grups més oberts, on l’acció comunitària Exemple de representació gràfica d’una xarxa social hi poden aparèixer persones de ma- en una sèrie de rutes a peu pel barri de nera més esporàdica o irregular. En Sagrada Família, amb la pretensió que aquest cas, l’objectiu és generar una més endavant, un cop s’acabi el progra- activitat cohesionant per al barri, és ma (amb una durada de sis setmanes i a dir, que a partir d’aquesta activitat 12 rutes d’una hora), els participants els participants s’apropin al projecte puguin autoorganitzar-se per desenvo- comunitari, fent-los passar de con- lupar aquesta activitat física de manera sumidors d’activitats a organitzadors autònoma. Alhora, s’espera que aquest actius de la vida comunitària. Aquest contacte inicial permeti l’ampliació de seria el cas, per exemple, del Taller la seva xarxa social dels integrants del per a l’elaboració de les disfresses de grup. carnaval al barri de Roquetes, en què participen i es relacionen persones Tot seguit, mostrarem quin ha estat el de diversa procedència, i aquest pot procés d’elaboració dels instruments 108 ser un element molt interessant per de recollida d’informació per a aquesta analitzar les interaccions entre grups acció comunitària. Cal advertir que els Qualitat de Vida, de diferent origen. resultats continguts aquí són producte Igualtat i Esports • Les accions comunitàries estructura- d’una simulació i, per tant, no responen Guia operativa des a partir d’un espai de treball re- a la realitat. d’avaluació de l’acció comunitària gular, en molts casos configurat per professionals de serveis, entitats o institucions, a partir del qual es de- fineixen línies de treball, accions, En primer lloc, cal elaborar un calendari etcètera. En aquesta tipologia d’acci- de recollida d’informació. En funció del ons pot ser molt interessant identifi- tipus d’activitat (durada, freqüència...) car quines són les relacions creades s’hauran de detallar els moments idonis entre aquests actors i observar si la per recollir la informació. S’ha d’establir cooperació i la col·laboració entre un moment de recollida inicial que coin- ells ha derivat en la generació de no- cideixi amb la inscripció o l’inici de l’ac- ves xarxes per a l’impuls de nous pro- tivitat. Si tots els integrants comencen jectes. En altres paraules, es tracta en un mateix moment, tots aportaran la d’analitzar si l’acció comunitària ha seva informació en aquest moment. Si tingut un efecte multiplicador pel que es preveu la incorporació en moments fa a les col·laboracions. diferents, s’ha de tenir molt present que s’ha d’aconseguir la informació d’aquell Hem escollit una acció comunitària del actor en el moment que s’incorpora. En tipus A per il·lustrar el procés d’ela- tots els casos, s’establirà una segona boració dels instruments de recollida recollida d’informació per tal d’establir d’informació i una lectura dels primers la comparativa amb la recollida inicial i resultats. A partir del projecte “Cami- avaluar l’existència de canvis. En aquest nant fem salut. Rutes de salut pel barri cas, cal trobar un moment adient que de Sagrada Família” mostrarem la uti- pot ser l’última jornada de l’activitat o litat de l’anàlisi de xarxes com a instru- fins i tot un temps després (sempre que ment en l’avaluació de la formació de hi hagi l’opció de contactar amb tots els capital social. participants). Finalment, és possible fer una tercera, quarta o successives reco- Aquest projecte té com a objectiu pro- llides d’informació a mesura que avan- mocionar l’activitat física de la gent gran ça el temps per comprovar l’existència i de persones amb determinades pro- d’efectes a llarg termini (en aquest cas, blemàtiques cardiovasculars. Aquestes també, només si és possible obtenir in- persones inicialment són acompanya- formació de tots els participants). Per a des i dinamitzades per un professional aquesta recollida d’informació és essen- cial la coordinació amb els responsables estat positiu coincidir amb persones de l’activitat per tal d’aprofitar espais o amb el mateix problema de salut, si moments de comunicació existents des fa altres activitats, si creu que l’assis- de l’organització. tència l’ha animat a fer amics... En el nostre exemple hem plantejat c) I, finalment, la informació referent a tres moments de recollida d’infor- les relacions: aquest és segurament mació. Durant el primer dia de l’acti- el punt més complex. Cal detallar vitat (recollida inicial), l’últim dia del quin tipus de relació busquem (con- programa (recollida final) i passats vivència, coneixença, amistat, grau sis mesos (recollida a llarg termini). d’amistat...) i cal formular les pregun- Es tracta, en aquest cas, d’observar tes de manera que aquest punt sigui si s’han creat vincles relacionals al entès clarament per tots els actors llarg del programa i avaluar, amb un (per evitar disfuncions en l’anàlisi). cert marge de temps, si aquests vin- En el cas que ens ocupa, es demana 109 cles s’han mantingut en el temps o si per les relacions establertes abans se n’han produït de nous. Cal advertir de l’activitat i es distingeix entre “les Qualitat de Vida, que tant la recollida inicial com la fi- persones amb què s’han inscrit a l’ac- Igualtat i Esports nal s’ha fet integrant el qüestionari de tivitat” i “les persones que han tro- l’anàlisi de xarxes a un qüestionari ja bat en començar i que ja coneixien”. Guia operativa d’avaluació de elaborat per l’organització (inscripció A més, es recull informació sobre les l’acció comunitària i qüestionari de satisfacció).3 xarxes en espais informals, és a dir, es demana si es comparteix temps d’oci no formal amb altres participants. També es vol saber si els participants En segon terme, cal definir quina infor- coincideixen en una altra activitat or- mació ens és rellevant i la manera d’ela- ganitzada. borar un instrument de recollida que sigui senzill però complet. Aquí cal dis- tingir tres línies d’atenció: En tercer lloc, cal plantejar l’anàlisi que a) D’una banda, les variables que iden- volem fer d’aquestes dades. Aquesta tifiquen els actors: cal assegurar el anàlisi pot ser més o menys aprofundida màxim de dades que posteriorment en funció de les necessitats avaluadores ens permetin analitzar els punts en que ens fixem. Una primera aproximació, comú dels vincles relacionals (edat, senzilla, però interessant, és la compa- sexe, procedència, barri de residèn- ració entre les xarxes relacionals resul- cia, religió...). Tot dependrà del tipus tants del primer i el segon qüestionari. d’activitat. En el cas de “Rutes de En aquest punt, cal advertir que podem salut” es demana pel sexe, el lloc i la obtenir diferents dibuixos en funció de la data de naixement, i l’existència de variable abordada (amistat, coneixença, problemes de salut. compartir temps d’oci...) i, a més, po-dem introduir les variables explicatives b) En segon lloc, informació contex- de què disposem (sexe, edat, procedèn- tual: és a dir, cal recollir informació cia...) per tal d’observar l’existència de qualitativa sobre motivacions per fer vincles més o menys propers justificats l’activitat, xarxes relacionals prèvi- per alguna d’aquestes variables. es a l’experiència i altres dades que considerem que ens poden ajudar a analitzar els vincles i les relacions establertes abans i després de l’ex- periència comunitària. En el cas del nostre exemple, es pregunta si ha 3 Model de qüestionari al final de l’instrument 20. A tall d’exemple, a partir dels resultats Gràfic 2. Qüestionari inicial de relacions del qüestionari inicial (fictici) del progra- segons el sexe ma “Rutes de salut” hem elaborat quatre gràfics. En el primer s’observa la distri- bució de les relacions, destaquen quatre P2 P11 P6 P10 participants que hi assisteixen sense P9 cap vincle amb els altres (P2, P6, P9 i P12 P12), una parella (P10, P11) i un conjunt de persones amb més relació (P1, P3, P4, P5, P7, P8). A més, es constata que el participant P5 és la persona que té P5 P3 més vincles (coneix tres persones més: P7 P7, P3, P8) i indirectament, a través dels seus amics, té accés a dos participants 110 P8 P1més (P1 i P4). P4 Qualitat de Vida, Igualtat i Esports Gràfic 1. Qüestionari inicial de relacions Guia operativa d’avaluació de P2 P11 l’acció comunitària P6 P10 P9 El tercer gràfic es fonamenta en les rela- P12 cions segons l’edat. S’han establert dos grups d’edat, 40-59 (color blau claret) i de més de 60 (color blau fosc). En aquest cas, observem que la major part d’in- P11 tegrants del grup de participants que P3 P7 es coneixen comparteixen el fet de ser d’edat avançada (més de 60) i, al contra- ri, la resta de participants se situa entre P8 P1 P4 els 40 i els 60 anys. Gràfic 3. Qüestionari inicial de relacions segons l’edat El segon gràfic permet observar les re- lacions de gènere (color verd els homes P2 P11 i lila les dones). En aquest cas, s’observa P6 P10 que són majoritàriament homes els que P9 P12 assisteixen a l’activitat sense conèixer ningú més i que són dones les integrants del grup d’amistats detallat abans. D’altra banda, el nucli integrat per dos components pot apuntar a una parella P5 P3 P7 (home-dona). P8 P1 P4 Finalment, s’ha introduït la variable procedència en l’anàlisi. En aquest cas, s’han distingit tres categories: nascuts a Gràfic 5. Qüestionari inicial (superior) Catalunya, nascuts a la resta d’Espanya i i final (inferior) de la comparativa de nascuts a l’estranger. L’anàlisi d’aquesta relacions variable aporta poca informació, ja que s’observa diversitat de procedències en- P2 P11 tre els que no tenen vincles relacionals P6 P10 i els que estan integrats en el grup més P9 gran. P12 Gràfic 4. Qüestionari inicial de relacions segons la procedència P11 P3 P7 P11 P10 111 P8 P1 P4 P2 P6 Qualitat de Vida, Igualtat i Esports P9 P12 P6 Guia operativa d’avaluació de P5 l’acció comunitària P3 P7 P12 P9 P11 P10 P8 P1 P4 P8 P5 P2 P3 Es poden fer diversos gràfics en funció P7 de les característiques que es volen es- P4 tudiar o introduir diverses variables en P1 un mateix gràfic (combinant colors i for- mes, per exemple). La incorporació de les variables o carac- Aquesta primera aproximació és només terístiques dels individus ens pot orien- descriptiva, però ens permet fixar la base tar sobre els factors que poden haver de la comparació que farem a continua- motivat la creació de les xarxes relacio- ció amb els resultats del segon qüestio- nals. nari, que es distribuirà un cop acabada l’activitat. El gràfic 5 revela com s’han modificat les relacions entre l’inici i el final de l’activitat. El més destacable és que al final de l’activitat només un actor expressa no haver establert vincles amb altres participants (P12), mentre que la resta s’ha integrat en xarxes relacionals. Destaca també el fet que es mantinguin dos grups separats sense relació entre ells. D’una banda, el grup integrat pels P6, P9, P10 i P11, i de l’altra, un de més ampli amb la resta de participants. Gràfic 6. Qüestionari inicial (superior) Una primera aproximació a les xar- i final segons els atributs de la xes resultants sembla apuntar al sexe comparativa de relacions i a l’edat dels participants com el punt d’unió de la incorporació de P6 i P9 al nucli prèviament integrat per P11 i P10. P2 P11 P6 P10 De fet, la variable sexe sembla tenir un P9 pes rellevant, ja que la relació d’aquells P12 dos participants s’ha limitat al contacte amb P11 (home) i no amb P10 (dona). En el cas de P2, l’edat sembla no haver es- tat un factor de pes; en canvi, el sexe i la P11 P3 procedència (estrangera) poden explicar P7 la seva major vinculació amb P3 i no amb la resta de participants. P8 P1 112 P4 A banda d’aquesta mirada a les xarxes i Qualitat de Vida, P6 als atributs, l’anàlisi de xarxes ens per- Igualtat i Esports met fer ús de mesures matemàtiques Guia operativa P12 P9 P11 P10 que permeten establir comparacions en- d’avaluació de tre les xarxes inicials i les xarxes finals. l’acció comunitària Sense pretendre fer una anàlisi estadís- tica aprofundida, mostrem a continuació alguns d’aquests indicadors: P8 P5 P2 P3 a) Densitat: és la proporció de relaci- P7 ons que existeixen en relació amb P4 les possibles. En el cas del qüestio- P1 nari inicial és de 0,12 (12%), mentre P6 que en el qüestionari final és de 0,18 (18%). Això implica un creixement de P12 P9 P11 les relacions. P10 b) Grau: indica el nombre de relacions de cada actor (fàcils de veure en el gràfic quan són pocs casos, però més difícil en mostres grans). A més, és P8 P5 possible comparar les mitjanes de P2 P3 grau. En el nostre cas, la mitjana de P7 relacions del qüestionari inicial és P4 P1 d’1,3 i del qüestionari final, de 2. Per tant, s’han incrementat les relacions. P6 c) Centralització de grau: ens ajuda a P12 P9 P11 saber com n’estan, de centralitzades, P10 les relacions. En el qüestionari inici- al aquesta centralització de grau era del 18,18%, mentre que en el qüestio- nari final és del 10,91%, xifra que ens indica que s’ha obert la xarxa a més P8 P5 P2 participants. P3 P7 d) Llunyania i proximitat: mesura la dis- P4 P1 tància i la proximitat d’un actor res- pecte del total de la xarxa i permet saber si les xarxes permeten ubica- xa, però no en la nostra, ja que hi ha cions més properes o més allunyades grups totalment aïllats. d’aquests actors. És possible obser- No cal calcular sempre tots aquets indi- var les dades per actors o la mitjana cadors, sinó que podem seleccionar els de la xarxa, cosa que ens permetrà que ens aporten més informació per al establir una comparació. En el cas nostre cas. Es tracta simplement d’un del qüestionari inicial, la proximitat suport estadístic a la feina d’observa- era de 12.629 i en el cas del qüesti- ció de les xarxes, suport especialment onari final, s’incrementa a 13.924. necessari en cas de xarxes grans on En alguns casos es pot obtenir una l’observació a primera vista és més com- mesura de centralització de la xar- plexa. 113 Qualitat de Vida, Igualtat i Esports Guia operativa d’avaluació de l’acció comunitària Annex: exemple de qüestionari d’anàlisi de xarxes Dades d’identificació Informació sobre la xarxa: Participants: Temps: Moments d’interès: Qüestionari 1: Nom o codi Edat: Sexe: Home Dona Ciutat / Província / País de naixement Professió (actual o anterior): Què el va animar a inscriure’s en aquesta activitat? Es va apuntar a l’activitat amb algun amic o amiga? No Sí. Indiqui el nom o codi: En arribar a l’activitat, ha trobat amics seus entre els altres participants? No Sí. Indiqui el nom o codi: I que siguin coneguts, veïns...? No Sí. Indiqui el nom o codi: En el seu temps lliure, fa altres activitats amb algun participant d’aquesta activitat? No Sí. Indiqui el nom o codi: I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’análisi de xarxes Qüestionari 2: Nom o codi Edat: Sexe: Home Dona Ciutat / Província / País de naixement Professió (actual o anterior): Es va apuntar a l’activitat amb algun amic o amiga? No Sí. Indiqui el nom o codi: En arribar a l’activitat, ha trobat amics seus entre els altres participants? No Sí. Indiqui el nom o codi: I que siguin coneguts, veïns...? No Sí. Indiqui el nom o codi: Diria que ha fet amics entre els participants de l’activitat? No Sí En el seu temps lliure, fa altres activitats amb algun participant d’aquesta activitat? No Sí. Indiqui el nom o codi: A partir de la participació en aquesta activitat, ha participat en altres activitats? No Sí. Quines? En cas afirmatiu, ha coincidit amb gent de l’activitat en la nova activitat? No Sí. Indiqui el nom o codi: II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’análisi de xarxes Qüestionari 3: Nom o codi Edat: Sexe: Home Dona Ciutat / Província / País de naixement Professió (actual o anterior): Fa un temps va participar en l’activitat “Caminant fem salut”, i ens agradaria fer-li algunes pre- guntes respecte d’aquella experiència. A continuació té la llista de persones que van participar amb vostè en aquesta activitat i ens agradaria que contestés Sí o No en cada casella: Ha parti- Manté el Han quedat cipat amb contacte per compar- aquesta Recorda La coneixia La va amb aques- tir temps persona en aquesta abans de conèixer a ta persona d’oci fora de altres activi- persona? l’activitat? l’activitat? actualment? l’activitat? tats? **** Nom 1 Sí Sí Sí Sí Sí Sí No No No No No No Nom 2 Sí Sí Sí Sí Sí Sí No No No No No No Nom 3 Sí Sí Sí Sí Sí Sí No No No No No No ... Diria que ha fet amics entre els participants de l’activitat? No Sí A partir de la participació en aquesta activitat, ha participat en altres activitats? No Sí. Quines? En cas afirmatiu, ha coincidit amb gent de l’activitat en la nova activitat? No Sí. Indiqui el nom o codi: III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Qüestionari d’análisi de xarxes 6. FITXA DE PROGRAMACIÓ DE LES ACCIONS COMUNITÀRIES Presentació capacitats de la gent i/o capital social, o d’altres. Al llarg del procés d’elaboració d’aques- ta Guia operativa d’avaluació de l’acció La comunitat i els actors comunitaris comunitària, va sorgir en diverses ocasi- ons la necessitat de poder comptar amb Existeixen diverses aproximacions i/o un model de fitxa que permetés iniciar definicions de què és comunitat. Sense una acció comunitària, incidint en els di- entrar en aquest debat, i des d’un punt versos aspectes que després serien ob- de vista estrictament instrumental i ope- jecte d’avaluació i facilitant el procés de ratiu, podem definir o identificar “la co- tramitació administrativa. Aquesta és la munitat” a partir dels actors o subjectes finalitat d’aquesta Fitxa de programació que la componguin (persones, organit- de les accions comunitàries. zacions, serveis, empreses, etc.) i de les relacions que aquests mantenen entre si (cooperació, conflicte, indiferència, ...). 117 Consideracions prèvies Cal fer notar dos corol·laris d’aquesta Qualitat de Vida, aproximació instrumental o operati- Igualtat i Esports Abans de començar a emplenar aquesta va a la idea de comunitat: a) el conjunt fitxa, creiem que hi ha tot un seguit de Guia operativa d’actors que identifiquem no tenen per d’avaluació de consideracions prèvies que ens poden què correspondre’s amb cap realitat ad- l’acció comunitària ajudar. Fem un breu esment de les que ministrativa o de convivència preexis- considerem més significatives. tent; b) quan parlem de comunitat des d’aquest punt de vista instrumental, Què és una acció o projecte comunitari no estem pressuposant unes relacions sempre harmòniques entre els diversos Un projecte comunitari es defineix a membres, ni cap mena de vincle prees- partir tant dels seus objectius, com dels tablert. Ja hem dit que les relacions po- mètodes i formes de treball que empra. den ser d’indiferència i/o de conflicte. Els objectius se situen, imaginàriament, dins el triangle: Apoderament (que la Alguns principis fonamentals de la me- gent guanyi autonomia i protagonisme todologia comunitària en la construcció de la seva pròpia vida) – Inclusió (voluntat d’incloure, de no dei- Construir i dinamitzar un projecte col- xar gent fora) – Millora de les condicions lectiu que respongui a objectius col- de vida (salut, educació, habitatge, tre- lectius exigeix uns mètodes i unes ball, ...). formes de treball específiques (les coses no es poden fer de qualsevol manera): Des del punt de vista metodològic, ha de ser un projecte col·lectiu que respongui Diagnòstics compartits a objectius col·lectius (veure principis fonamentals de la metodologia comuni- Perquè el projecte sigui col·lectiu, també tària). ha de ser col·lectiva la identificació dels “problemes” i dels “objectius”. El desenvolupament comunitari és un desenvolupament endogen, raó per la Treballar junts qual voldrà mobilitzar els recursos de què disposa la mateixa comunitat, en Normalment, actors diversos (professi- especial agents socials i econòmics, onals, tècnics, veïns, usuaris, afectats, i equipaments i serveis públics, però etc.) no estem acostumats a treballar també podríem pensar en béns comuns, junts, i per tant, no sabem fer-ho, i n’hem d’aprendre. No ens coneixem, no ens d’aquests espais, on poden participar tenim confiança, no parlem els matei- associacions i/o ciutadania, és promou- xos llenguatges, ni disposem de la ma- re el treball conjunt (des de l’intercanvi teixa informació. Així que ens hauríem d’informació a l’organització conjunta de de dotar d’instruments, espais i estra- projectes i/o activitats, passant per la tègies per aprendre a treballar junts, a col·laboració entre serveis i entitats). col·laborar, a prendre decisions de for- ma compartida, etc. Per treballar junts no cal pensar el mateix o tenir sempre Altres espais de treball comunitari les mateixes idees, però si que caldrà acceptar mínimament les diferències i A més a més de grups promotors i meses reconèixer als altres amb els que volem tècniques, cada acció comunitària pot “treballar junts”. decidir dotar-se d’altres espais de tre- ball i participació en funció de les seves 118 necessitats i/o particularitats (per exem- La participació comunitària ple, espais o comissions de seguiment Qualitat de Vida, tècnic i/o polític, espais de coordinació Igualtat i Esports La participació comunitària és la parti- institucional, o altres...). L’arquitectura Guia operativa cipació de tota la munió d’actors diver- (quantitat i tipus d’espais) de cada acció d’avaluació de comunitària ha de respondre a les seves l’acció comunitària sos (veïnals, associatius, professionals, econòmics, ...) implicats en el projecte. necessitats més que no pas a un dibuix No és únicament la participació veïnal o preestablert i estandarditzat. ciutadana. Ara bé, cap acció comunitària tindria sentit sense la participació acti- Planificar l’acció comunitària va de la ciutadania. La participació de la ciutadania és una condició necessària Planificar vol dir preveure, anticipar (s’ha d’anar a buscar i s’ha de facilitar), accions que després es duran a terme tot i que, potser, no sempre és suficient. atenent a alguna mena de lògica o raó d’ésser. En termes col·loquials vindria a ser el contrari de fer les coses de qual- Lideratges i grups promotors sevol manera, improvisadament, de for- ma aleatòria. L’aspiració de tota acció comunitària és que els diversos actors comunitaris si- Tota planificació consisteix a donar res- guin promotors del projecte col·lectiu. posta a, com a mínim, quatre pregun- Perquè això passi calen lideratges faci- tes: Què? - Per què? - Qui? - Com?; de les litadors (que facilitin l’acció dels altres quals se’n poden derivar moltes més. La a través del reconeixement de les seves planificació comunitària implica que les capacitats), i una mínima organització, respostes a aquestes preguntes no les a la que anomenem grups promotors: fa una persona o institució sense tenir grups d’actors comunitaris, amb pre- en compte ningú més, sinó que es fa de sència de ciutadania, que s’encarrega forma conjunta entre tots i totes els que de tirar endavant un projecte, activitat, volem ser promotors i/o participar acti- espai, etc. vament. La variable “temps” és fonamental a l’ho- Meses tècniques i comunitàries ra de planificar (cronograma), ja que ens indica què hem de preveure a curt, mig També poden ser necessaris espais de o llarg termini; evitant així la frustració treball on conflueixin professionals i que pot suposar esperar certs resultats serveis públics diversos (escola, serveis abans que sigui raonable que aquests es socials, centre de salut,...). La finalitat puguin donar. Per últim, és important identificar d’an- _ Quina hauria de ser la composició tuvi a què li direm èxit (indicadors d’as- d’aquest grup (ja hi som totes i soliment dels objectius); si pot ser, de tots?) forma quantitativa. Per exemple, “que _ Quin ha de ser el rol específic (tas- dues entitats se sumin a l’organització”; ca, encàrrec) de cadascuna de les “que 6 joves s’impliquin a les activitats persones que hi participem? en els 12 mesos vinents”; “que baixin un 20% les denúncies per conflictes entre _ Com ens organitzem per fer la fei- veïns”; ... na (periodicitat de reunions, inter- canvi d’informació, ...) • A part de nosaltres, quins altres Què entenem per teoria del canvi espais de treball i participació co- munitària es necessiten? (espai? – La teoria del canvi (o les hipòtesis del composició? –funcions?) canvi) és el principi o conjunt de princi- 119 pis que relacionen una acció concreta amb un resultat esperat. Per exemple, Qualitat de Vida, Igualtat i Esports “la formació ajuda a trobar feina”; o tam- bé, “si la gent es coneix, és més difícil Guia operativa que hi hagi conflictes”. Es important fer d’avaluació de l’acció comunitària explícita la nostra teoria del canvi. Preguntes clau per començar a planifi- car una acció comunitària Independentment de l’exercici que su- posa omplir la fitxa de programació que tot seguit us proposem, si us voleu constituir com a servei o grup promotor d’una acció comunitària, potser és millor (depenent de contextos i situacions de treball) tenir primer un diàleg respecte què es vol fer. En aquest cas, us apun- tem algunes preguntes clau per orientar la discussió (podeu completar aquestes qüestions amb altres que trobareu a la fitxa). • Quin és el sentit, la intencionalitat, que li voleu donar a l’AC? (encara no estem parlant d’objectius concrets) • Sobre quins eixos de treball (temes, problemes, sectors de població, zo- nes,...) ha de pivotar l’AC? • Pensant en nosaltres (aquest grup promotor de l’AC, aquest servei,..), hem de construir una resposta per a la preguntes següents: _ Quin és el nostre paper, rol o fun- ció en el procés comunitari Fitxa de programació de les accions comunitàries 1. Identificació del projecte 1.1. Identificació i ubicació Nom: Districte: Barri: Adreça: Web: Adreça electrònica: Telèfon: Persona de contacte: Data d’inici del projecte: 1.2. Qui promou l’acció comunitària? Un servei municipal Una entitat o associació Un conjunt d’entitats Entitats i serveis públics conjuntament Altres. Quins?: 1.3. Equip tècnic (només professionals) Dedicació al projecte d’acció comunitària Nom (inicials) Perfil professional Càrrec Servei/Entitat (hores/setmana) 1.4. Tipus d’acció comunitària Assenyaleu la que correspongui Projecte d’accions comunitàries dels serveis socials: a) De quin tipus de projecte de serveis socials es tracta? Acció informativa o de sensibilització Acció de suport a grups socials i col·lectius Acció de suport a iniciatives veïnals i col·lectives d’un territori Acció comunitària de cohesió i transformació social Projecte Radars. Acció comunitària gent gran Altres. Quin? b) El projecte forma part d’un Pla Comunitari? Sí No Pla de desenvolupament comunitari (PDC) I Altres accions comunitàries. Quines?: Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de programació de les accions comunitàries Relació de projectes que formen part del PDC Respondre només si el tipus d’acció comunitària és un PDC Nom del projecte Àmbits d’actuació Sectors de població Hi participen els Any d’inici del projecte als quals s’adreça el projecte Serveis Socials? del projecte Triar-ne màxim 3, Triar-ne màxim 3, per ordre de prioritat per ordre de prioritat 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1.5. Àmbits d’actuació: Assenyaleu amb un número del 0 al 3 els àmbits d’actuació en què treballeu actualment per ordre de prioritat. (0 no es treballa , 1 poc prioritari, 2 bastant prioritari, 3 molt prioritari) 0 1 2 3 0 1 2 3 - Associacionisme - TIC - Veïnatge i mediació comunitària - Interculturalitat - Cultura - Promoció econòmica - Lleure - Esport - Educació / formació - Acció solidària - Habitatge - Religió - Espai públic - Salut - Laboral - Discapacitat - Altre. Quin? II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de programació de les accions comunitàries 1.6. Sectors de població: Assenyaleu amb un número del 0 al 3 els sectors de població amb què treballeu actualment per ordre de prioritat. (0 no es treballa , 1 poc prioritari, 2 bastant prioritari, 3 molt prioritari) 0 1 2 3 0 1 2 3 - Infantesa / adolescència - Immigració - Joves - Dones - Adults - Famílies - Gent gran - Població en general - Altres. Quins? 2. Planificació del projecte 2.1. Diagnòstic En aquest apartat haureu de definir el punt de partida de l’acció comunitària 2.2. Els objectius de l’acció comunitària En aquest apartat cal descriure els objectius de les nostres accions: què volem aconseguir i com ens ho farem per aconseguir-ho (teoria del canvi). Proposem fer-ho distingint cinc subapartats 2.2.1. “Problemes socials” que es volen abordar, i que justifiquen la necessitat de l’acció comunitària: 2.2.2. Objectiu general del projecte d’acció comunitària 2.2.3. Objectius segons els sectors de població que configuren la població diana (exemple: infància, joves, gent gran, etc.) 2.2.4. Objectius específics en funció de la seva temporalitat (objectius substantiu i de procés) Temps Objectiu d’assoliment III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de programació de les accions comunitàries 2.2.5. Indicadors d’assoliment dels objectius Temps Objectiu d’assoliment 2.3. Principals accions i/o activitats En aquest apartat cal reflectir les principals accions i/o activitats que tenim previstes per assolir els objectius 2.4. Espais de treball (composició i tasques) Els espais de treball comunitari no tenen per què ser de professionals (tot i que poden ser-hi). Ens referim a grups promotors, taules tècniques, comissions de seguiment, assemblees o plenari, etc. Qualsevol mena d’espai/grup que fa coses de forma mínimament organitzada. Nom de l’espai Composició Funcions 2.5. Participació comunitària En aquest apartat hem de reflectir a tothom que participa de l’acció comunitària. Serveis Entitats prestadores Associacions Agents econòmics Persones públics de serveis i grups formals (empreses, comerç,...) individualment 2.6. Recursos humans En aquest apartat hem de reflectir els recursos humans amb els quals podem comptar. Tant a nivell professional com voluntari 2.6.1. Professionals de serveis públics (hores setmanals de dedicació al projecte) Perfil professional Servei Hores setmanals IV Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de programació de les accions comunitàries 2.6.2. Número de persones voluntàries que s’impliquen en el desenvolupament del projecte Associades: No associades: Annex. Recursos econòmics Nom del projecte: CSS de referència: Despeses És necessari justificar les despeses amb la documentació original. Concepte Import Forma de pagament Número de factura Nom proveïdor Factura Bestreta Factura Bestreta Factura Bestreta Factura Bestreta Factura Bestreta Factura Bestreta Factura Bestreta Total Ingressos Concepte Import Observacions Total V Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de programació de les accions comunitàries 7. FITXA DE SEGUIMENT DE LES ACCIONS COMUNITÀRIES Presentació Instruccions Aquest qüestionari està pensat per fer 1. S’ha d’emplenar un qüestionari per un estudi de l’acció comunitària impul- projecte d’acció comunitària. Les sada o participada per l’Ajuntament de respostes s’han de donar fent una Barcelona. La idea és centrar l’anàlisi valoració global del projecte, consi- en les quatre dimensions de l’acció co- derant el conjunt d’activitats que es munitària identificades al MOA d’aques- desenvolupen. ta guia operativa d’avaluació d’accions comunitàries: (1) planificació i organit- 2. Tot i que una persona acabi emple- zació; (2) objectius i impactes; (3) parti- nant el qüestionari, les respostes no cipació comunitària i (4) sostenibilitat de han de ser el reflex d’una única opi- les accions comunitàries. nió personal. Per això proposem que totes les persones que han partici- L’objectiu de l’estudi és doble: identificar pat en l’organització o són promoto- 125 les accions comunitàries i avaluar mí- res dels projectes puguin contestar nimament la situació en què es troben el qüestionari; es recullen tots els Qualitat de Vida, aquestes accions en funció de les di- qüestionaris i es fa una síntesi dels Igualtat i Esports mensions identificades en el MOA. resultats, que és la que hauria d’anar a les respostes definitives. Si el grup Guia operativa d’avaluació de promotor és reduït (menys de quatre l’acció comunitària persones), o es correspon amb l’equip d’un servei, es pot emplenar un únic qüestionari directament fruit d’una deliberació al grup. Fitxa de seguiment de les accions comunitàries Qui contesta aquest qüestionari? 1. Número de persones que han participat donant resposta al qüestionari: 2. Servei, equip, grup o similar al que pertanyen aquesta/aquestes persones: 3. Cas que el qüestionari el contesti una única persona... - Temps que fa que està vinculada al projecte - Càrrec o responsabilitat en relació al projecte - Càrrec o responsabilitat en la seva organització 4. Contacte e-mail: Per a resoldre dubtes en relació a la fitxa Identificació del projecte 1. Identificació i ubicació Nom: Districte: Barri: Adreça: Web: Adreça electrònica: Telèfon: Persona de contacte: Data d’inici del projecte: 1.1. Breu descripció del projecte (destinataris, objectius, metodologia) 2. Qui promou l’acció comunitària? Un servei municipal Una entitat o associació Un conjunt d’entitats Entitats i serveis públics conjuntament Altres. Quins?: 3. Equip tècnic (només professionals) Dedicació al projecte d’acció comunitària Nom (inicials) Perfil professional Càrrec Servei/Entitat (hores/setmana) I Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 4. Tipus d’acció comunitària Assenyaleu la que correspongui Projecte d’accions comunitàries dels serveis socials: a) De quin tipus de projecte de serveis socials es tracta? Acció informativa o de sensibilització Acció de suport a grups socials i col·lectius Acció de suport a iniciatives veïnals i col·lectives d’un territori Acció comunitària de cohesió i transformació social Altra. Quin? b) El projecte forma part d’un Pla Comunitari? Sí No Pla de desenvolupament comunitari (PDC) Altres accions comunitàries. Quines?: Relació de projectes que formen part del PDC Respondre només si el tipus d’acció comunitària és un PDC Nom del projecte Àmbits d’actuació Sectors de població Participen els Any d’inici del projecte als quals s’adreça el projecte Serveis Socials? del projecte Triar màxim 3, Triar màxim 3, per ordre de prioritat per ordre de prioritat 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No II Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 1. 1. 2. 2. 3. 3. Sí No 1. 1. 2. 2. 3. 3. Sí No 5. Àmbits d’actuació: Assenyaleu amb un número del 0 al 3 els àmbits d’actuació en què treballeu actualment per ordre de prioritat. (0 no es treballa , 1 poc prioritari, 2 bastant prioritari, 3 molt prioritari) 0 1 2 3 0 1 2 3 - Associacionisme - TIC - Veïnatge i mediació comunitària - Interculturalitat - Cultura - Promoció econòmica - Lleure - Esport - Educació / formació - Acció solidària - Habitatge - Religió - Espai públic - Salut - Laboral - Discapacitat - Altre. Quin? 6. Sectors de població: Assenyaleu amb un número del 0 al 3 els sectors de població amb què treballeu actualment per ordre de prioritat. (0 no es treballa , 1 poc prioritari, 2 bastant prioritari, 3 molt prioritari) 0 1 2 3 0 1 2 3 - Infantesa / adolescència - Immigració - Joves - Dones - Adults - Famílies - Gent gran - Població en general - Altres. Quins? III Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries Avaluació Escala de valoració d’1 a 4 en què: En desacord Parcialment d’acord Molt d’acord Totalment d’acord No ho sé / No tinc / No es compleix / Es compleix, però / Es compleix de / Es compleix prou informació per insatisfactòriament manera acceptable plenament contestar 1 2 3 4 – 1. Planificació i organització Valoreu el vostre grau d’acord amb les afirmacions següents. Grau d’acord 1 2 3 4 – - Existeix un document previ al desenvolupament del projecte que recull el pla de treball detallat (objectius, activitats i temporització) - Existeix un diagnòstic compartit i actualitzat en què han participat entitats, serveis públics i veïns i veïnes - Existeix una definició clara de responsabilitats i tasques de les entitats i/o serveis participants (“cadascú sap el que ha de fer i fa el que li toca”) - La planificació contempla un sistema per a l’avaluació del projecte - Les accions que s’han desenvolupat responen sempre a la iniciativa de serveis públics que s’han posat d’acord per tirar-les endavant - Les accions que s’han desenvolupat responen sempre a la iniciativa d’asso- ciacions, entitats o veïns i veïnes que s’han posat d’acord per tirar-les endavant - Les accions que s’han desenvolupat responen sempre a la iniciativa conjunta d’associacions i serveis públics, que s’han posat d’acord per tirar-les endavant 2. Objectius i impactes 2.1. Quins objectius específics s’han treballat i quin ha estat el grau d’assoliment? Un objectiu específic ha de tenir una fita o indicador concret assolir. Exemple. Insertar laboralment al 10% dels participants en la formació Grau d’assoliment 1 2 3 4 – - Objectiu específic 1: - Objectiu específic 2: - Objectiu específic 3: - Objectiu específic 4: - Objectiu específic 5: - Objectiu específic 6: IV Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 2.2. Si només ens fixem en els objectius amb un grau baix o molt baix d’assoliment, i fent una lectura general i conjunta dels mateixos, quina han estat la principal raó del seu baix grau d’assoliment (tria la més important) Grau d’acord 1 2 3 4 – - Els objectius no estaven prou clars - Els objectius no estaven prou consensuats entre totes les parts implicades - Els objectius eren massa ambiciosos - Ens hem quedat sense recursos - Altres raons. Quines? 2.3. Indiqueu impactes positius no previstos inicialment en els objectius, i que s’han produït com a resultat de les accions comunitàries desenvolupades (màxim 3) 3. Participació comunitària 3.1 Qui participa activament com a promotor i/o organitzador (més enllà de moments puntuals) en els diferents espais de planificació, seguiment i treball del projecte? Serveis Entitats prestadores Associacions Veïns/nes, usuaris o públics de serveis de barri afectats Nr. Total: Nr. Total: Nr. Total: Nr. Total: V Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 3.2 Pensant globalment en el conjunt de les activitats i els programes del projectes, valora les afirmacions següents. Grau d’acord 1 2 3 4 – - Tenim definits uns objectius concrets i una estratègia clara per treballar les relacions amb aquests actors - El perfil dels participants o beneficiaris respon als objectius del programa o projecte (estem arribant a les persones a qui volíem arribar) - Hem fet formació adreçada als promotors i organitzadors del programa o projecte - El traspàs d’informació d’uns serveis als altres funciona de manera òptima - El traspàs d’informació entre entitats ciutadanes i serveis públics funciona de manera òptima - La transparència i l’accés a la informació per als no participants o participants puntuals al programa o projecte funciona de manera òptima - Hi ha espais i moments formals (no trobades informals) que faciliten la trobada i el debat entre ciutadania i representants polítics - S’acostuma a aixecar actes de les reunions que recullen els temes tractats i els acords presos - Els usuaris o beneficiaris del projecte s’impliquen en tasques organitzatives - Les entitats identificades al quadre anterior participen activament en l’elaboració dels diagnòstics comunitaris o compartits - Les entitats identificades al quadre anterior participen activament en el disseny i l’execució del programa o projecte - Les entitats identificades al quadre anterior participen activament en l’avaluació del programa o projecte - Les entitats identificades al quadre anterior participen activament en la gestió econòmica del programa o projecte - Les persones usuàries o beneficiàries del programa o projecte tenen un paper rellevant en la seva execució, i assumeixen tasques i responsabilitat - Les persones usuàries o beneficiàries del programa o projecte tenen un paper rellevant en l’avaluació del programa o projecte 4. Sostenibilitat 4.1 De quines fonts de finançament disposa el projecte? Assenyaleu el percentatge de finançament que aporta cadascú En el cas de projectes de serveis socials no cal contemplar els recursos propis aportats en perso- nal. Finançador (fonts de finançament) % sobre el total del pressupost del projecte Districte Àrea central de l’Ajuntament de Barcelona Generalitat de Catalunya Pressupost ordinari del servei Entitats o finançadors privats Aportacions dels usuaris o beneficiaris Altres: % Total: VI Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 4.2 Els recursos materials assignats inicialment ens han permès desenvolupar el programa o projecte tal com estava previst? Grau d’acord 1 2 3 4 – - Els recursos materials assignats inicialment ens han permès desenvolupar el programa/projecte tal i com estava previst - El temps de dedicació dels professionals assignat inicialment, ens ha permès desenvolupar el programa/projecte tal i con estava previst - La feina que suposa tirar endavant el projecte recau només en professionals - El projecte disposa d’una estratègia activa de captació de fons de finançament NO públics (finançament privat, quotes, fires i mercats, crowfunding, ...) - El projecte no podria tirar endavant sense les aportacions econòmiques dels usuaris - El projecte no podria tirar endavant sense la feina dels voluntaris 5. Valoració global Escriviu un petit text que reculli una valoració global del projecte (fortaleses, oportunitats, debilitats, amenaces...) Fortaleses: Oportunitats: Debilitats: Altres valoracions que es puguin considerar oportunes: VII Ajuntament de Barcelona — Avaluació de l’acció comunitària — Fitxa de seguiment de les accions comunitàries 133 Qualitat de Vida, Igualtat i Esports Guia operativa d’avaluació de l’acció comunitària 8. ANNEXOS Llistes de participants en el procés de treball Grup impulsor • Rubio, Rosa. Directora territorial de Serveis Socials de Gràcia • Alcaraz, Sara. Direcció General d’Ac- • Sabater, Núria. Consorci d’Educació ció Cívica i Comunitària, Generalitat Badalona Sud de Catalunya • Serra, Núria. Cap del Departament • Ballesteros, Xabier. Director del CSS d’Acció Comunitària, AQVIE de l’Antiga Esquerra de l’Eixample, • Serrat, Sergi. Direcció General d’Acció Ajuntament de Barcelona Cívica i Comunitària, Generalitat de • Bàrbara, Bet. Directora del CSS Ro- Catalunya quetes, Ajuntament de Barcelona • Vilà, Toni. Expert en polítiques socials, • Canet, Enric. Director del Casal dels impulsor del Laboratori de Serveis So- Infants cials de l’IGOP • Carmona, Moisés. Professor de psico- • Vizcaíno, Jordi. Departament de Ser- 134 logia comunitària, Universitat de Bar- veis Socials Bàsics, IMSSB celona Qualitat de Vida, Igualtat i Esports • Castilleja, Loli. Experta en acció co- munitària i avaluació, Cooperativa Guia operativa d’avaluació de ETCS Grup de contrast de serveis socials l’acció comunitària • Encabo, Guillem. Tècnic de barri de Ciutat Meridiana, Ajuntament de Bar- • Andrés, Susanna. Referent del projec- celona te “Radars” a Sant Gervasi - Galvany • Fernández, Francesc. Departament • Cerezo, Amparo. Directora del CSS d’Acció Comunitària, AQVIE Guinardó • Fité, Marta. Directora territorial de • Comas, Georgina. Directora del CSS Serveis Socials de Sarrià - Sant Ger- Sagrada Família vasi, Ajuntament de Barcelona • Fabres, Montserrat. Educadora social • García, Esther. Tècnica comunitària del CSS Roquetes del PDC de Poble-sec • Gallamini, Liliane. Tècnica del projecte • Hernández, Xavier. Departament d’Ac- “Radars” ció Comunitària, AQVIE • Garmón, Adoración. Treballadora soci- • Jové, Marta. Direcció General d’Acció al del CSS Vila de Gràcia Cívica i Comunitària, Generalitat de • González, Astrid. Educadora social del Catalunya CSS Numància • Llobet, Marta. Professora de treball • Hernández, Núria. Directora del CSS social, Universitat de Barcelona Sant Antoni • Martínez, Lucas. Districte de Nou Bar- • Hernández, Robert. Educador social ris del CSS Les Corts • Pérez, Núria. Departament d’Acció Co- • Insúa, Anna. Directora del CSS Baix munitària, AQVIE Guinardó • Oltra, Begoña. Experta en avaluació, • López, Esther. Directora del CSS de la Iniciatives i Dinàmiques Comunitàries Marina (INDIC) • Manyà, Clàudia. Educadora social del • Pallàs, Emília. Cap del Departament CSS Poble-sec de Participació Social, AQVIE • Pérez, Isabel. Directora del CSS Garci- • Rubió, Dolors. Directora de Serveis al laso Territori del Districte de Sant Martí, • Roca, Elena. Educadora social del CSS Ajuntament de Barcelona Roquetes • Rovira, Montserrat. Directora del CSS RELACIÓ DE PROFESSIONALS I D’EXPE- Clot RIÈNCIES COL·LABORADORES • Sallas, Lidia. Psicòloga del CSS Garci- laso • Santiago, Rafael. Psicòleg del CSS Gò- Relació de professionals: tic • Soriano, Juani. Directora del CSS Gui- • Aguilar, María de los Ángeles. Investi- neueta-Verdum-Prosperitat gadora, Màster en polítiques socials i • Suárez, Vanessa. Treballadora social mediació comunitària - UAB/UB/UDL del CSS Roquetes • Berasategui, Magdalena. Investigado- • Tejeda, Montse. Directora del CSS Be- ra, Màster en polítiques socials i me- sòs diació comunitària - UAB/UB/UDL • Torres, Belén. Directora del CSS Camp • Capdevila, Laura. Experta en avalua- 135 d’en Grassot ció de projectes de cooperació Qualitat de Vida, • Vegué, Elisenda. Membre de la Coope- Igualtat i Esports Grup de contrast dels plans de desenvo- rativa ETCS Guia operativa lupament comunitari • Motos, Sheila. Experta en anàlisi de d’avaluació de l’acció comunitària xarxes i investigadora a l’IGOP • Bastidas, Olga. Tècnica de barri del • Muñoz, Johana. Investigadora, Màster PDC Sagrada Família en polítiques socials i mediació co- • Céspedes, Tere. Tècnica comunitària munitària - UAB/UB/UDL del PDC Barceloneta • Sotus, Noelia. Professional en el sec- • de Dios, Carmen. Tècnica de barri del PDC Trinitat Nova tor de l’organització cívica i social • Herrera, Felipe. Tècnic comunitari del PDC Roquetes Relació d’experiències col·laboradores: • Julián, Débora. Tècnica comunitària del PDC Verdum • Centre de Serveis Socials de Roque- • Reyes, Felipe. Tècnic comunitari PDC tes. Nou Barris Ciutat Meridiana • Centre de Serveis Socials del Clot • Reyes, Rafaela. Tècnica comunitària del PDC Baró de Viver • Centre de Serveis Socials de Sant An- • Salas, Mònica. Tècnica comunitària toni del PDC Verdum • Direcció Territorial de Serveis Socials • Soriano, Yolanda. Tècnica comunitària de Sarrià - Sant Gervasi del PDC Sagrada Família • Grup Dimecres Culturals - PDC Ver- • Viñolas, Laura. Tècnica comunitària dum del PDC Poblenou • La Colla Cuidadora. Antiga Esquerra de l’Eixample • PDC Sagrada Família. Eixample Participació social • PDC Verdum. Nou Barris • Grup d’Acció Comunitària del Consell • PDC Roquetes. Nou Barris Municipal de Benestar Social • Programa “Radars” a la ciutat Bibliografia: documentació municipal en relació a l’acció comunitària Documents de caràcter Projectes comunitaris general de serveis socials • Marc municipal per a l’Acció Comuni- • Les accions d’atenció col·lectiva. Infor- tària. 2005. me 2009. • Guia operativa d’acció comunitària. • Les accions d’atenció col·lectiva. Recull 2009. de fitxes 2009. • Plans, projectes i accions comunitàries. • Definició dels projectes d’accions 2010. comunitàries en el marc dels serveis • Projecte Eumed Cities. 2010-2012. socials bàsics. 2010. • Fitxa identificativa de les accions co- • Classificació dels projectes d’accions munitàries. 2009. comunitàries en el marc dels serveis socials bàsics. 2010. 136 • Els projectes d’accions comunitàries Plans de desenvolupament en el marc dels serveis socials bàsics. Qualitat de Vida, comunitari (PDC) Recull de fitxes 2011. Igualtat i Esports Guia operativa • Els plans de desenvolupament comu- d’avaluació de l’acció comunitària nitari. Informe 2009. Xarxes d’intercanvi solidari • Els plans de desenvolupament comu- nitari. Recull de fitxes. 2009. • Guia de xarxes d’intercanvi solidari. • Diversitat cultural i plans de desenvo- 2009. lupament comunitari. Informe 2011. • Diversitat cultural i plans de desenvo- lupament comunitari. Recull de fitxes 2011. BCN Guia operativa d’avaluació de l’acció comunitària bcn.cat/ serveissocials facebook.com/Bcn.cat twitter.com/Barcelona_cat