Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Tinència d’Àrea d’Agenda 2030, Transició Digital, Esports i Coordinació Territorial i Metropolitana Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Ajuntament de Barcelona Abril de 2021 www.barcelona.cat 2 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern INDEX 1. PRESENTACIÓ .........................................................................................................................................4 2. CONTEXT I ANTECEDENTS ...................................................................................................................5 3. MARC JURÍDIC I COMPETENCIAL I ÀMBIT D’ACTUACIÓ ................................................................. 10 4. ESTRATÈGIA MUNICIPAL PER A L’IMPULS D’UNA INTEL·LIGÈNCIA ARTIFICIAL ÈTICA ............. 13 5. IMPLEMENTACIÓ DE L’ESTRATÈGIA D’INTEL·LIGÈNCIA ARTIFICIAL ............................................ 25 ANNEX I. REFERÈNCIES EXTERNES ..................................................................................................... 29 ANNEX II. TERMINOLOGIA....................................................................................................................... 31 ANNEX III. CASOS PILOT D’APLICACIÓ DE LA IA A L’AJUNTAMENT DE BARCELONA .................... 32 ANNEX IV. RECOMANACIONS TÈCNIQUES .......................................................................................... 36 ANNEX V. DECLARACIÓ INSTITUCIONAL PER UNES TECNOLOGIES CONFIABLES I ÈTIQUES A L’AJUNTAMENT DE BARCELONA ........................................................................................................ 39 ANNEX VI. CARTA DE DRETS DIGITALS IMPULSADA PER LA SECRETARIA D’ESTAT DE DIGITALITZACIÓ I INTEL·LIGÈNCIA ARTIFICIAL DEL MINISTERI D’AFERS ECONÒMICS I TRANSFORMACIÓ DIGITAL ..................................................................................................................... 40 ANNEX VII: EQUIP REDACTOR ............................................................................................................... 42 www.barcelona.cat 3 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern 1. Presentació La societat del segle XXI està experimentant un canvi profund amb l’arribada de la quarta revolució tecnològica, que suposa la convergència de diverses tecnologies. A diferència de revolucions anteriors, aquesta creix a un ritme exponencial. Avui, milers de milions de persones estan connectades a través dels dispositius digitals amb una potència de processament enorme, i un emmagatzematge i accés al coneixement il·limitats. Una realitat que està alterant la manera com vivim, treballem i ens relacionem. Tots aquests avenços tenen un component en comú: la recol·lecció i anàlisi de dades massives (big data) combinada amb la utilització d’algoritmes i l’entrenament de sistemes intel·ligents (machine learning). La intel·ligència artificial és, precisament, l’ús conjunt d’aquests tres elements per a la presa de decisions —que poden ser menors, com ara les respostes automàtiques en xats en línia d’atenció al client, o més rellevants, com la decisió d’un banc a l’hora de respondre a una petició de crèdit d’un ciutadà o ciutadana—. A l’Ajuntament de Barcelona, l’ús de tecnologies basades en la intel·ligència artificial es troba encara en una fase incipient. Algunes àrees del consistori estan desenvolupant proves pilot per contribuir a fer els serveis municipals més eficients i proactius. És el cas, per exemple, de les càmeres tèrmiques de monitoratge de l’ocupació de les platges, que han permès garantir el compliment de les restriccions d’aforament vinculades a la covid-19. O també la classificació temàtica de queixes i suggeriments enviats per la ciutadania mitjançant la bústia electrònica de l’Ajuntament. Malgrat que hi ha diverses àrees que estan explorant altres aplicacions de la IA, el cert és que no hi ha cap instrument intern que permeti ordenar aquests esforços i posar les bases per poder escalar l’ús de la IA en l’Administració municipal i la provisió de serveis públics. Aquest és, doncs, un dels grans objectius d’aquesta mesura de govern. Els sistemes d’IA, però, no estan exempts de riscos tecnològics. La recol·lecció i el tractament de les dades sobre les quals es basen les decisions dels algoritmes no sempre són respectuosos amb el dret a la privacitat de la ciutadania (es recullen sense consentiment, es destinen a usos pels quals no s’ha demanat consentiment, es comparteixen amb tercers de manera il·lícita...). A més, és habitual que les bases de dades resultants presentin biaixos socials (de gènere, raça, renda...). No només això: els algoritmes mateixos, en ponderar a quins factors donen més pes a l’hora de prendre decisions, poden incorporar els mateixos biaixos que els humans que els han dissenyat. Són reveladors, en aquest sentit, dos exemples d’usos institucionals d’IA que han vulnerat drets de la ciutadania. El 2020, el Govern del Regne Unit, davant la impossibilitat de fer les proves d’accés a la universitat de manera presencial, va decidir les notes a través d’un sistema d’IA. Atès que l’algoritme considerava tant l’expedient acadèmic individual com les dades de l’històric dels centres, estudiants amb bon expedient veien rebaixada la seva nota per estar estudiant en centres on la mitjana era baixa. D’altra banda, a Holanda un tribunal de primera instància de la Haia va prohibir l’ús d’un sistema d’IA predictiva que identificava persones beneficiàries de prestacions socials que eren suposadament més proclius a cometre frau —la qual cosa generava discriminacions i estigmatització de perfils socials concrets—. Amb l’acceleració de la digitalització en tots els sectors econòmics generada per la crisi sanitària de la covid-19, és urgent establir els criteris per garantir la privacitat i els drets digitals de la ciutadania, i que en cap cas siguin utilitzats amb finalitats de control social. A l’objectiu d’establir els mecanismes de governança i impuls de la IA a escala municipal, doncs, s’hi afegeix també el de garantir que la IA que es desplegui a partir d’ara des de o amb l’Ajuntament —ja www.barcelona.cat 4 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern sigui en l’automatització de decisions que afecten la ciutadania, ja sigui en els processos de disseny, desplegament i seguiment de polítiques públiques— respecti els drets digitals dels habitants de la ciutat. Així, aquesta estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial està ordenada de la manera següent: en primer lloc, es presenta el context i els antecedents que justifiquen la necessitat d’una mesura de govern com aquesta. Seguidament, es delimita el marc competencial i l’àmbit d’aplicació de la mesura. En tercer lloc, s’identifiquen els principis rectors que han de guiar l’aplicació municipal d’una IA basada en els drets humans i es desenvolupen les actuacions que es duran a terme per impulsar aquest model a escala local, europea i global. Finalment, es detallen els mecanismes de governança mitjançant els quals es desplegarà l’estratègia. Amb aquesta mesura de govern, l’Ajuntament de Barcelona disposa per primer cop d’un marc normatiu per a l’aplicació de la IA en el si de la institució. Barcelona se suma a ciutats com Amsterdam, Nova York, Hèlsinki, Toronto o Seattle en la construcció d’un model d’intel·ligència artificial i tecnologies emergents urbà, basat en els drets humans i compromès amb una societat digital democràtica. 2. Context i antecedents El Plenari del Consell Municipal va aprovar per unanimitat, el 26 de juny de 2020, una declaració institucional en què s’explicitava el suport a un model tecnològic municipal ètic i confiable. Aquest model basat en l’humanisme tecnològic vol facilitar l’avenç científic, preservar el lideratge tecnològic de la ciutat i garantir nous drets digitals per a la ciutadania i la seva participació en el control sobre l’ús que es fa de les tecnologies al sector públic. L’Ajuntament de Barcelona, doncs, està compromès amb una transició digital justa, que protegeixi els drets de la ciutadania i impulsi el progrés i adaptació de la ciutat a la revolució tecnològica global del segle XXI. 1 La IA és ja una realitat a la ciutat de Barcelona i al seu Ajuntament i, per tant, la mesura de govern s’emmarca en un context en què l’aplicació d’una estratègia pot ser més efectiva: en la fase embrionària de la implantació de la IA als serveis públics. És per això que aquesta mesura de govern té un component eminentment pràctic: d’una banda, d’impuls de la IA basada en els drets humans, i, de l’altra, d’establiment de mecanismes de governança i gestió com són, per exemple, la creació d’un registre públic d’algoritmes o la implantació de les corresponents auditories per tal d’avaluar-ne el risc. Aquesta Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial representa el primer pas per desenvolupar els pilars bàsics per a l’aplicació de les tecnologies emergents, en especial la intel·ligència artificial, a l’Ajuntament de Barcelona, contribuint a protegir els drets de la ciutadania davant l’automatització de les decisions que l’afecten. Vivim en societats complexes, diverses i dinàmiques caracteritzades per les incerteses. Les demandes i les necessitats també són cada vegada més nombroses i l’heterogeneïtat és un valor i una riquesa, però també demana noves aproximacions per part de les administracions per garantir igualtat i equitat — missió fonamental de les institucions públiques—. 1 Vegeu l’Actuació 8 i l’Annex III d’aquest document. www.barcelona.cat 5 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Als ajuntaments ens caldran totes les eines i recursos per fer front de manera eficient i eficaç als nombrosos reptes que es plantegen i que no tenen resposta senzilla ni ràpida. La intel·ligència artificial i les tecnologies emergents representen un canvi de paradigma a l’hora d’entendre la gestió pública: es tracta de passar d’un model d’Administració reactiva a un model d’Administració proactiva. A escala europea, s’ha apuntat que fins a un 30% de potencials perceptors d’ajudes públiques no les 2 sol·liciten perquè desconeixen que existeixen .. Si l’Administració coneix bé la realitat dels seus ciutadans a partir de les dades, recollides amb consentiment previ, serà capaç d’anticipar-se i oferir a la ciutadania un servei determinat sense esperar que sigui la ciutadania qui ho demani. La combinació de la gestió del “good data” i la IA ha de permetre a les institucions arribar de manera més personalitzada i directa a la ciutadania, a partir del coneixement més acurat. És per això que l’Administració estarà en disposició de prestar serveis públics més sensibles a la diversitat social i, alhora, més capaços de garantir-ne la universalitat. Així, l’aplicació de tecnologies emergents basada en els drets humans farà possible serveis públics més forts i de millor qualitat institucional i democràtica, així com un estalvi de recursos temporals i econòmics. Alhora, seran més resilients i capaços d’adaptar-se millor al canvi i, d’aquesta manera, es reduiran les incerteses. En aquest context, aquesta mesura de govern planteja un desenvolupament de la intel·ligència artificial i les tecnologies emergents emmarcats en els principis de l’humanisme tecnològic, els drets digitals i el foment de les tecnologies democràtiques, assumint que és fonamental el següent:  Mantenir i incrementar el control democràtic sobre la intel·ligència artificial per part de les institucions públiques i la ciutadania.  Assegurar a través de la transparència i auditabilitat que els models algorítmics i les bases de dades sobre les quals s’apliquen segueixen criteris de drets humans i d’interès públic.  Aclarir el règim de responsabilitat pels danys que pugui causar la creació i l’ús de solucions basats en IA per part de l’Administració, però també per part d’empreses i desenvolupadors. 2 Eurofound (2015), Access to social benefits: Reducing non-take-up, Publications Office of the European Union, Luxembourg. www.barcelona.cat 6 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern 2.1 Barcelona, capital de l’humanisme tecnològic Hi ha diverses definicions en la literatura sobre què és un sistema Al llarg de les darreres dècades, la ciutat de Barcelona s’ha d’intel·ligència artificial. És consolidat com a ciutat digital referent amb l’aparició de diferents cabdal definir-lo per discriminar hubs d’innovació. L’exemple més significatiu és el districte 22@ entre els sistemes d’informació als amb la presència d’importants empreses, incubadores, que s’aplicarà aquesta mesura organitzacions com la Fundació Barcelona Mobile World dels que no. Una definició Congress i la Fundació Bit Habitat i universitats com la àmpliament consensuada i que Universitat Pompeu Fabra, la Universitat Oberta de Catalunya, el serà la que s’utilitzarà en aquesta centre de formació empresarial de la UPC i l’IL3 de la Universitat mesura de govern és l’adoptada a de Barcelona. Un altre hub d’innovació és el Pier01 de l’informe “Directrius ètiques per a l’Associació Barcelona Tech City, amb prop d’un miler de una IA fiable” del grup d’experts professionals de més de 100 start-ups, consultores i grans d’alt nivell en IA de la Comissió corporacions amb els respectius departaments d’innovació. A 1 Europea : més, Barcelona també té importants infraestructures de recerca com el BSCC, i espais especialitzats en tecnologia i alfabetització digital (ateneus, Antenes Cibernàrium, Canòdrom...), així com “Els sistemes d’intel·ligència projectes de la societat civil-teixit ciutadà que generen tecnologia artificial (IA) són sistemes de i nous models d’innovació social. programari (i possiblement també de maquinari) dissenyats per humans que, donat un objectiu L’Ajuntament de Barcelona treballa per mantenir el caràcter de complex, actuen en la dimensió capitalitat digital de la ciutat a Europa i al món, convertint la física o digital percebent el seu disrupció tecnològica en oportunitat, acostant els avantatges de entorn mitjançant l’adquisició de la tecnologia a la societat, com a instruments per ajudar en el dades, interpretant les dades progrés i l’assoliment dels objectius de desenvolupament (estructurades o no estructurades) sostenible de l’Agenda 2030. recollides, raonant sobre el coneixement, o processant la informació, derivada d’aquestes El Pacte per Barcelona. Un nou impuls per la ciutat, signat el dades i decidint la millor acció o mes de juliol del 2020 amb més de cinquanta agents socials i que accions per realitzar per va establir el full de ruta per sortir de la crisi social i sanitària aconseguir l’objectiu donat. Els causada per la pandèmia, recull com a objectiu prioritari relatiu a sistemes d’IA poden utilitzar regles l’economia digital “una aposta de la ciutat per sectors simbòliques o aprendre un model econòmics resilients i innovadors, afavorint la diversificació, numèric, i també poden adaptar el incrementant el treball en xarxa per fer realitat una capitalitat seu comportament analitzant com digital de Barcelona que esdevingui, també, un centre global i es veu afectat l’entorn per les local de reflexió sobre l’humanisme tecnològic”. Un seves accions anteriors”. humanisme tecnològic entès com un model de desenvolupament tecnològic centrat en l’ésser humà, que redueix les desigualtats socials i protegeix els drets humans, i en el qual la tecnologia està al servei de les persones i dels interessos generals. www.barcelona.cat 7 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Barcelona fa una aposta per una transició digital justa i inclusiva, que sigui palanca d’oportunitats i no generadora de noves desigualtats. L’humanisme tecnològic és, doncs, la base de les polítiques digitals del mandat 2019-2023: innovació digital orientada a resoldre reptes urbans, inclusió i capacitació digital; participació i empoderament digital; tancar la bretxa de gènere en carreres tecnològiques, entre d’altres, constitueixen el model de tecnologia al servei de les persones i els drets humans que promou Barcelona. En aquest sentit, l’Ajuntament de Barcelona no ha deixat de teixir aliances per integrar l’humanisme tecnològic en les polítiques europees i globals, i defensar el paper fonamental de les ciutats per assegurar una transició digital justa, en especial pel que fa a l’aplicació de la intel·ligència digital. El posicionament internacional en l’àmbit dels drets digitals es vehicula, sobretot, a través de la Coalició de Ciutats pels Drets Digitals, a escala global, i el Fòrum de la Societat del Coneixement d’Eurocities, a escala europea. La Coalició de Ciutats pels Drets Digitals està formada per més de cinquanta ciutats de tot el món, sota el lideratge dels governs de Barcelona, Amsterdam, Nova York, i la col·laboració d’ONU-Hàbitat, Ciutats i Governs Locals Units (CGLU) i Eurocities. El Fòrum de la Societat del Coneixement d’Eurocities — presidit per la tercera tinenta d’alcaldia des de novembre del 2020— fa funcions d’incidència des de les ciutats sobre les polítiques i regulacions digitals europees. Així, l’Ajuntament de Barcelona, entenent el paper transversal de la innovació digital en totes les àrees del Govern municipal i el seu impacte en la vida quotidiana a la ciutat, defensa els drets digitals de la ciutadania i exporta el seu model a la resta del món, en un moment històric en què és essencial impulsar una era digital que contribueixi al progrés i que no deixi ningú enrere. L’Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial esdevé un pilar i alhora un pas ferm en aquesta direcció. 2.2 Objectius de la mesura de govern En l’actual moment de disrupció tecnològica resulta urgent i imprescindible una política pública d’ús de les tecnologies emergents per impulsar la transformació digital de l’Ajuntament de Barcelona i de la mateixa ciutat tot garantint els drets i les llibertats fonamentals de la ciutadania, de manera alineada amb 3 els objectius de desenvolupament sostenible de l’Agenda 2030 . Les actuacions de l’Ajuntament han d’estar sempre orientades a promoure i garantir una igualtat efectiva de la seva ciutadania i dels grups en què s’integra evitant qualsevol tipus de discriminació i protegint els drets fonamentals. Les actuacions que impliquin l’ús de tecnologies emergents com la IA no han de ser una excepció. D’altra banda, també és responsabilitat municipal conciliar les normatives de protecció de dades, privacitat i transparència amb l’automatització de procediments prevista en la legislació bàsica i el dret 3 Aquesta mesura incideix de manera directa en l’assoliment dels objectius 9, 16 i 17, i de manera transversal contribueix a la resta dels objectius de desenvolupament sostenible establerts per les Nacions Unides a l’Agenda 2030 aprovada el 2015. www.barcelona.cat 8 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern que les decisions públiques no siguin totalment automatitzades i adoptades sense cap control humà, aspectes en els quals la IA incideix de manera especial. Per tot això, l’Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial planteja els objectius següents: Per a la ciutat:  Impulsar la transició digital a la ciutat de Barcelona mitjançant l’ús de les tecnologies emergents i en concret de la IA , com a eina de progrés social i sota els principis de l’humanisme tecnològic, posant la ciutadania i els seus drets al centre.  Promoure un model de ciutat oberta, inclusiva i resilient, en el qual la tecnologia es trobi sempre al servei de la ciutadania i impacti d’una manera social positiva.  Abordar els reptes de la transformació digital buscant un compromís públic i privat, i establint mecanismes de coordinació i participació per avançar en la bona governança del futur digital de la ciutat.  Impulsar el lideratge de la ciutat de Barcelona en altres institucions nacionals i internacionals, en l’àmbit de l’humanisme tecnològic, la transició digital, i en concret en l’ús de les tecnologies emergents obertes i democràtiques pel bé comú. Per l’Ajuntament de Barcelona:  Potenciar la transformació digital del propi Ajuntament de Barcelona, utilitzant la IA com a eina per a la millora dels serveis públics alhora que es garanteix que el desenvolupament, el desplegament i la utilització de la IA compleix els requisits d’una tecnologia fiable.  Promoure la IA com una eina per avançar cap a un model de governança intel·ligent, més eficaç i eficient en la resolució de reptes i en la gestió de les polítiques públiques de l’Ajuntament.  Establir els mecanismes interns de governança per garantir els drets humans com a pilar fonamental del desenvolupament digital i assegurar processos de participació ciutadana per al seguiment i la millora contínua d’aquests mecanismes. Establir principis rectors, marc ètic, pràctiques de gestió responsable i orientacions tècniques que guiïn qualsevol aplicació d’IA perquè estigui basada en els drets humans i sigui tècnicament robusta i confiable.  Promoure models de desenvolupament de la IA que siguin transparents i auditables a través del foment de les tecnologies i el programari lliure i el coneixement obert.  Desenvolupar les eines tècniques per garantir el respecte als drets humans en el disseny, la privacitat, el dret a entendre la presa de decisions, mitigar els biaixos de les dades i els algoritmes i assegurar la supervisió humana en les decisions automatitzades de les màquines, quan aquestes afectin les persones. La mesura de govern proposa vint actuacions que es desenvoluparan en el període 2020-2023 (algunes de les quals ja es troben en funcionament), així com els principis rectors i els criteris tècnics (en forma d’annex) que regiran la implantació de la IA a l’Ajuntament de Barcelona. www.barcelona.cat 9 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern 3. Marc jurídic i competencial i àmbit d’actuació 3.1. Marc jurídic i competencial El marc competencial delimitat per la legislació general de Bases del règim local i també el règim 4 especial de l’Ajuntament de Barcelona estableixen que l’Ajuntament de Barcelona pot promoure tota classe d’activitats i prestar tots aquells serveis públics que contribueixin a satisfer les necessitats de la ciutadania que no estiguin expressament atribuïdes a altres administracions públiques. Així mateix, pot dur a terme activitats i serveis complementaris als que desenvolupen les administracions estatal i autonòmica. 5 D’altra banda, la legislació vigent sobre Administració electrònica estableix que les administracions públiques han d’impulsar un model d’Administració electrònica basat, entre d’altres, en la incorporació dels mitjans electrònics en llur activitat ordinària per millorar l’accessibilitat, la transparència, l’eficàcia, l’eficiència i la qualitat de la prestació de serveis a la ciutadania, així com de la gestió interna. Alhora, aquesta Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la intel·ligència artificial està alineada amb normativa i recomanacions vigents a escala autonòmica, nacional i internacional: 6  Declaració de Barcelona per a un ús apropiat dels algoritmes i les dades a Europa . 7  Llibre Blanc sobre intel·ligència artificial de la Comissió Europea . 8  Directrius ètiques per a una IA fiable de la Comissió Europea . 9  Recomanacions del Comissionat dels Drets Humans del Consell d’Europa 10  Reglament general de protecció de dades de la Unió Europea (UE2016/679) .  L’“Estrategia Nacional de Inteligencia Artificial (ENIA)” del Govern d’Espanya.  Carta de Drets Digitals impulsada per la Secretaria d’Estat de Digitalització i Intel·ligència Artificial del Ministeri d’Afers Econòmics i Transformació Digital. 11  L’Estratègia d’intel·ligència artificial de Catalunya . 4 La Carta municipal, Llei 1/2006, de 13 de març, per la qual es regula el règim especial del municipi de Barcelona (“BOE” 62, de 14-3-2006). 5 Llei 39/2015, d’1 d’octubre, de procediment administratiu comú de les administracions públiques, així com la llei de l’ús dels mitjans electrònics al sector públic de Catalunya 29/2010, aprovada pel Parlament de Catalunya el 3 de agost. 6 “Barcelona Declaration for the proper development and usage of artificial intelligence in Europe” https://www.iiia.csic.es/barcelonadeclaration/ 7 Llibre Blanc sobre intel·ligència artificial: un enfocament europeu cap a l’excel·lència i la confiança https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_es.pdf 8 Directrius ètiques per a una IA fiable https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines- trustworthy-ai 9 “Unboxing Artificial Intelligence: 10 steps to protect Human Rights” https://rm.coe.int/unboxing-artificial- intelligence-10-steps-to-protect-human-rights-reco/1680946e64 10 Reglament (UE) 2016/679 del Parlament i del Consell, de 27 d’abril de 2016, relatiu a la protecció de les persones físiques pel que fa al tractament de dades personals i a la lliure circulació d’aquestes dades. 11 https://participa.gencat.cat/uploads/decidim/attachment/file/818/Document-Bases-Estrategia-IA- Catalunya.pdf www.barcelona.cat 10 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Llei 19/2014 de transparència, accés a la informació i bon govern de la Generalitat de 12 Catalunya . 13 Concretament, l’“Estrategia Nacional de Inteligencia Artificial (ENIA)” insta tots els nivells de les administracions públiques a treballar per facilitar l’adopció de la intel·ligència artificial, així com altres tecnologies facilitadores a través de la formació dels empleats/ades, incloent-hi nivells directius, establint guies d’ús, obrint noves dades, millorant la coordinació amb altres administracions, per potenciar la integració d’aquestes tecnologies en els seus processos i així millorar el servei a la ciutadania. En l’àmbit de Barcelona, aquesta mesura de govern dona continuïtat a les següents directrius municipals aprovades el mandat 2015-2019: 14  Mesura de govern per a la digitalització oberta (2017) que busca una millora en l’ús de programari lliure, estàndards oberts, sobirania de dades, privacitat, i seguretat per disseny. 15  Mesura de govern de gestió ètica i responsable de les dades (2018). És en aquest context que, amb la present mesura de govern, l’Ajuntament de Barcelona, fent exercici de les competències municipals atorgades i establertes a la normativa vigent, dona compliment a la Declaració institucional a favor de l’humanisme tecnològic i per unes tecnologies confiables i ètiques a l’Ajuntament de Barcelona aprovada pel Plenari del Consell Municipal el passat juny del 2020. 3.2. Àmbit d’actuació: la IA en la gestió municipal Les tecnologies relacionades amb la intel·ligència artificial, com per exemple l’aprenentatge automàtic, algoritmes per a la presa de decisions, tractament massiu de grans volums de dades, els sistemes de processament de llenguatge natural i de processament de la veu, o la visió per computador, per esmentar-ne alguns, tenen un potencial indiscutible per transformar les activitats municipals, tant internes com de relació amb la ciutadania. Aquesta estratègia destaca cinc àmbits d’actuació específics:  L’elaboració de polítiques públiques.  La gestió interna municipal.  La prestació de serveis públics.  El disseny i la construcció de sistemes basats en IA.  La contractació pública de sistemes/solucions basats en tecnologies d’IA. 12 Llei 19/2014 http://www.gencat.cat/governacio/pub/sum/secgral/Llei192014_transparenciaQL97.pdf 13 https://portal.mineco.gob.es/RecursosNoticia/mineco/prensa/noticias/2020/201202_np_eniav.pdf 14 Mesura de govern per a la digitalització oberta https://ajuntament.barcelona.cat/digital/sites/default/files/le_mesuradegovern_v2.pdf 15 Mesura de govern de gestió ètica i responsable de les dades https://ajuntament.barcelona.cat/premsa/wp-content/uploads/2018/02/Economia-180213-Gesti%C3%B3- %C3%A8tica-dades.pdf www.barcelona.cat 11 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Elaboració de polítiques públiques La IA i el tractament massiu de dades permetran als gestors municipals comprendre millor les necessitats canviants de la ciutat, tenir una diagnosi més precisa dels reptes i reunir dades per avaluar l’impacte de les polítiques públiques, cosa que permetrà avançar cap a serveis públics millors i radicalment innovadors. La IA també pot contribuir a millorar la participació ciutadana i promoure una democràcia més directa ajudant, per exemple, a processar milers de comentaris sobre propostes normatives o agilitzant els processos participatius. Així doncs, la IA farà possible adoptar nous enfocaments basats en l’anàlisi de grans quantitats d’informació provinent de la col·laboració ciutadana, de dades que contenen les pautes i els patrons que defineixen la vida urbana (com es mouen, interactuen, utilitzen els serveis i gaudeixen de la ciutat les persones). L’anàlisi de grans volums de dades mitjançant sistemes intel·ligents permetrà millorar i agilitzar, per exemple, les polítiques de mobilitat, però també tindrà un impacte positiu en la gestió més eficient de moltes altres àrees com la lluita contra les desigualtats, l’habitatge, la cultura o la sostenibilitat.  Gestió interna municipal Les tecnologies emergents permetran fer un salt qualitatiu i quantitatiu important cap a una administració més eficient, millorant els processos i simplificant la tramitació interna. A la vegada, la contribució a l’automatització progressiva de les tasques vinculades als processos administratius proporcionarà un increment no només de la productivitat i l’estalvi de costos, sinó també de la satisfacció dels treballadors i treballadores municipals, que podran centrar els seus esforços en tasques de més valor afegit.  Serveis a la ciutadania La IA permetrà avançar de manera molt significativa cap a una administració que ofereixi serveis centrats en les necessitats reals de la ciutadania optimitzant l’oferta de serveis, la mateixa atenció ciutadana i la participació ciutadana, passant d’una administració reactiva a una administració proactiva. L’àmbit dels serveis a la ciutadania, per la seva extensió, la seva importància i el gran recorregut que hi tenen les solucions basades en IA, és l’àmbit on és més evident la necessitat de garantir l’ús ètic i responsable d’aquestes tecnologies:  L’àrea d’Administració electrònica podrà millorar la cerca ràpida d’informació i continguts en documents i reglaments aplicant la comprensió del llenguatge natural i, encara més important, permetrà desenvolupar serveis proactius i més personalitzats, cosa que possibilitarà oferir-ne de nous a grups que actualment estan infraatesos.  Els serveis d’atenció ciutadana podran valorar la introducció de bots de conversa com a complement dels canals de comunicació ja establerts, la utilització del llenguatge natural (ja www.barcelona.cat 12 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern sigui escrit ja sigui parlat), i l’atenció multiidioma, amb un impacte positiu en l’accessibilitat d’aquests serveis.  El disseny i la construcció de sistemes basats en IA La construcció de solucions basades en IA té en compte un ampli conjunt d’activitats: des de la comprensió del problema a resoldre fins a la posada en marxa de la solució, passant per la identificació i construcció de models de coneixement, el disseny d’algoritmes d’aprenentatge automàtic, la identificació i preparació de les dades, el desenvolupament dels serveis web i la integració amb els sistemes existents. En totes les fases d’aquest procés convé tenir present la dimensió de drets humans de la tecnologia, per no generar ni amplificar desigualtats.  La contractació pública de serveis o sistemes basats en IA Les licitacions públiques de sistemes o solucions basats en IA hauran de garantir que, a més de complir amb les normatives relatives a la contractació pública, compleixen també amb els valors ètics exposats en aquesta estratègia, així com les normes/reglaments/instruccions que se’n derivin. 4. Estratègia municipal per a l’impuls d’una intel·ligència artificial ètica 4.1. Impactes de la intel·ligència artificial i les tecnologies emergents Els possibles danys derivats de les tecnologies emergents, i, per tant, els riscos de patir-los, poden ser tant materials (per a la seguretat i la salut, o pèrdues de patrimoni) com immaterials (pèrdua de privacitat, limitacions al dret de llibertat d’expressió, dignitat humana, discriminació en l’accés a llocs de treball, per raons de gènere, raça o origen ètnic, religió, creences, discapacitat, edat, orientació sexual, etc.). Al llarg dels anys, s’han previst també riscos derivats de defectes en el disseny dels sistemes intel·ligents o de l’ús d’unes dades esbiaixades i/o sense una correcció/mitigació prèvia. Els algoritmes i l’ús massiu de dades tenen, per tant, el poder d’impulsar el progrés, i alhora de reforçar i amplificar discriminacions presents en la societat.  Riscos dels sistemes intel·ligents Els sistemes intel·ligents assumeixen tasques que abans només podien efectuar els humans. Els algoritmes i les tecnologies pel tractament automatitzat de dades faciliten la recol·lecció, tractament i reutilització de grans quantitats de dades i imatges. Com a resultat, les persones som cada cop més www.barcelona.cat 13 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern objectes d’accions i decisions preses de manera automatitzada per les màquines. Els principals riscos potencials detectats són els següents:  L’ús malintencionat d’aquestes tecnologies pot amenaçar greument drets humans com, per exemple, el dret a la vida privada i familiar, incloent-hi el dret a la protecció de dades personals.  Amplificació de la subjectivitat, els biaixos i l’error: els prejudicis, la discriminació, l’error i la subjectivitat inherents a la presa de decisions humanes no han de ser amplificades per la tecnologia. En el cas de la IA, aquestes subjectivitats poden afectar i discriminar nombroses persones alhora.  Tractament de dades, disseny i aprenentatge automàtic (machine learning): els impactes de sistemes intel·ligents que “aprenen” mentre funcionen no es poden preveure ni anticipar en la fase de disseny. Els possibles danys no seran conseqüència d’un error en el disseny original, sinó per les repercussions pràctiques de les correlacions o els models que reconegui el sistema en un gran conjunt de dades.  Risc potencial derivat de l’opacitat: les anomenades “caixes negres” dels algoritmes, la complexitat, imprevisibilitat i el comportament parcialment autònom d’alguns desenvolupaments d’IA per a l’ajuda en la presa de decisions fan que no sempre sigui possible explicar com s’han pres les decisions. L’ús de la IA en els processos administratius ha de garantir sempre la traçabilitat i explicabilitat de qualsevol decisió que afecti les persones. Al llarg dels propers anys és probable que es detectin més riscos impossibles d’apuntar en el moment actual.  Gestió del risc La IA comporta riscos potencials que prenen una rellevància especial quan es vol posar aquestes tecnologies al servei de les persones. Per minimitzar-los cal disposar d’una adequada gestió de riscos. L’Ajuntament, mitjançant aquesta mesura (Actuació 6), posarà en marxa els mecanismes necessaris de gestió dels riscos associats a l’aplicació d’aquestes tecnologies corregint els biaixos de les dades i els algoritmes per evitar que es reprodueixin les discriminacions que s’han donat fins al dia d’avui, així com evitar l’aparició de noves discriminacions, tot preservant la privacitat i el dret a entendre les decisions automatitzades, i assegurant que la decisió última sigui sempre d’un professional i no únicament de l’automatització d’un algoritme. 4.2. Principis rectors per a l’impuls ètic de la intel·ligència artificial Qualsevol aplicació tecnològica que impulsi l’Ajuntament ha de complir com a mínim i de manera simultània amb els següents condicionants, que defineixen una tecnologia confiable: que sigui legal, que respecti els drets humans, que sigui robusta, democràtica, i auditable. www.barcelona.cat 14 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern En cas que, a la pràctica, sorgeixin tensions entre ells, l’Ajuntament de Barcelona vetllarà per resoldre-les. Condicionants que defineixen una tecnologia confiable: Legal, Sobre aquesta base, s’estableixen set principis rectors robusta, democràtica, auditable i (en endavant, PR) que cal seguir en tota aplicació respectuosa amb els drets tecnològica, sobretot aquelles basades en IA, per humans. assegurar la correcta gestió dels riscos, el respecte als drets digitals i la responsabilitat pública (vegeu quadre Set principis rectors que cal de text). seguir en tota aplicació tecnològica per assegurar la correcta gestió L’Ajuntament de Barcelona vetllarà per l’aplicació dels riscos, el respecte als drets d’aquests principis rectors i els implantarà a cada digitals i la responsabilitat pública: context específic. Més en detall:  Acció i supervisió humana  Robustesa tècnica i seguretat  Privacitat i governança de les  PR1: Acció i supervisió humana dades  Transparència  Diversitat, inclusió i equitat La supervisió humana ha d’evitar perjudicis o efectes  Compromís social i ambiental adversos de l’ús de la IA sobre les persones. Per tant,  Responsabilitat, rendició de qualsevol aplicació tecnològica que afecti les persones i comptes i control democràtic sigui impulsada per l’Ajuntament de Barcelona ha d’estar sota el control humà, fins i tot en circumstàncies on l’aprenentatge automàtic o tècniques similars permetin als algoritmes prendre decisions automatitzades. Aquesta supervisió humana serà proporcional al risc que comporti la tecnologia emergent en qüestió per 16 a les persones: a més risc, més supervisió .  PR2: Solidesa tècnica i seguretat Els sistemes intel·ligents impulsats per l’Ajuntament de Barcelona han de ser segurs, fiables i suficientment robustos durant totes les fases del cicle de vida de la tecnologia. Han de protegir-se, tenir resistència als atacs informàtics i intents més subtils de manipulació de dades o algoritmes, així com garantir un pla alternatiu en cas de presentar problemes de funcionament o aplicació. En aquest sentit, és imprescindible un enfocament preventiu dels riscos per minimitzar els danys involuntaris i imprevistos. 16 Segons indica el Reglament general de protecció de dades, en el seu article 22, que atorga a les persones el dret a no estar subjecte a una decisió automatitzada d’un algoritme quan aquest pot afectar-los directament. www.barcelona.cat 15 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Finalment, s’han de fer avaluacions d’impacte de manera periòdica, i sotmetre’s a proves i validacions abans, durant i després de ser aplicada la IA.  PR3. Privacitat i governança de les dades En totes les etapes de la vida de les tecnologies emprades —des del disseny i per defecte—, cal garantir la privacitat i la protecció de dades. D’acord amb el Reglament general de protecció de dades (RGPD), es farà un ús legítim i proporcional de les dades personals, evitant l’abús de consentiment. Pel que fa a les dades, es garantirà el següent:  No seran utilitzades per danyar-la, discriminar-la o causar qualsevol perjudici.  Que les dades personals —en qualsevol etapa del cicle de vida— es processaran de manera legítima, justa i transparent.  Les dades que es recopilin han de tenir les finalitats explícites i especificades.  Les dades personals recopilades han de ser pertinents i no excessives en relació amb la finalitat per a les quals són processades.  Seran precises i es mantindran actualitzades.  Es conservaran de manera que permetin la identificació de les persones interessades durant un període no superior al necessari.  S’explicitarà a la ciutadania les dades personals que té emmagatzemades.  En els processos d’anonimització de dades es vetllarà per prevenir la dissociació reversible d’aquestes. Es potenciarà —en tot moment— la qualitat i integritat de les dades, així com l’accés obert a aquestes, 17 sempre que sigui possible i d’acord amb el RGPD . 18  L’Ajuntament de Barcelona publicarà i posarà a l’abast les dades públiques de qualitat , millorarà l’accés dels grups de recerca locals a la informació contrastada que ajudi a desenvolupar millors solucions, i es compromet a promoure la producció i donació de dades públiques i privades, com a dret fonamental de les persones, seguint els criteris de drets digitals esmentats aquí.  Sempre que sigui possible, l’Ajuntament de Barcelona explicitarà l’origen de les dades i emprendrà avaluacions per mitigar-ne els biaixos. D’altra banda, s’han de complir els requisits per garantir sistemes intel·ligents basats en conjunts de dades d’alta qualitat. És a dir, que es minimitzin els biaixos, inexactituds, errors i/o equivocacions. Això s’ha de tractar abans d’entrenar un sistema intel·ligent amb qualsevol conjunt de dades. 17 Una de les àrees prioritàries per a la Comissió Europea en la seva estratègia d’intel·ligència artificial és fer les dades més accessibles i de manera segura. Sense dades de qualitat no serà possible un desenvolupament correcte de la IA. 18 Alineats amb les premisses de la CE, i en consonància amb el que també expressa l’Estratègia d’intel·ligència artificial de Catalunya. www.barcelona.cat 16 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  La integritat de les dades també ha d’estar assegurada. És a dir, que els conjunts de dades s’han de provar i documentar a cada pas, com ara la planificació, la formació, les proves i el desplegament.  PR4. Transparència i informació La transparència ha de servir per evitar un abús del “consentiment legítim” i per minimitzar el risc potencial derivat de l’opacitat.  Sempre que sigui possible, l’Ajuntament de Barcelona garantirà la traçabilitat dels sistemes intel·ligents, registrarà i documentarà tant les decisions automatitzades com la resta del procés (incloent-hi una descripció de la recopilació i etiquetatge de les dades, a més d’una descripció de l’algoritme emprat).  L’Ajuntament obrirà, donarà accés al codi d’aquells algoritmes que desenvolupi internament i d’aquells que apliqui en polítiques públiques. També recomanarà a les empreses obrir els seus algoritmes.  Igualment, quedarà garantida la transparència de les dades, i el motiu pel qual s’implementa un sistema intel·ligent en un servei públic. També es detallarà el procés de la presa de decisions, opcions de disseny del sistema, així com la justificació de la seva implantació.  Quan un sistema d’IA impulsat per l’Ajuntament de Barcelona interactuï amb la ciutadania, els usuaris i les usuàries han de poder identificar la tecnologia, així com les persones responsables de la seva implementació.  Finalment, l’Ajuntament de Barcelona descriurà les capacitats del sistema d’IA de les quals sigui responsable i les seves limitacions, en especial, a les persones usuàries o parts involucrades.  PR5. Diversitat, inclusió i equitat Per tal de prevenir i mitigar els riscos de discriminació, cap aplicació tecnològica responsabilitat de l’Ajuntament de Barcelona pot provocar ni perpetuar discriminacions per raó de gènere, llengua, origen, ètnia, creences, edat, nivell d’educació, discapacitats físiques o psíquiques, condicions de salut o situació econòmica. Per garantir la diversitat i l’equitat, l’Ajuntament de Barcelona habilitarà mecanismes que assegurin la participació de la ciutadania (a partir de consultes puntuals a les parts interessades que es puguin veure afectades directament o indirectament per un sistema intel·ligent al llarg del seu cicle de vida). També es garantirà l’accessibilitat digital a través d’un enfocament de disseny universal per a les persones amb discapacitat.  PR6. Compromís social i ambiental Els sistemes intel·ligents han de ser una ajuda per avançar en la sostenibilitat, la igualtat social i la prosperitat econòmica, i han de contribuir a no deixar ningú enrere. En aquest sentit, l’Ajuntament de www.barcelona.cat 17 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Barcelona ha fet una aposta per al compliment dels disset objectius de desenvolupament sostenible i la IA és una oportunitat que cal posar al servei de l’Agenda 2030. L’impacte dels algoritmes i els sistemes intel·ligents s’ha de veure també des de la perspectiva global, i ha d’estar al servei de la governança democràtica que defensa la ciutat de Barcelona. L’Ajuntament de Barcelona posarà especial atenció en sistemes intel·ligents relacionats amb els processos democràtics, inclosa la formació d’opinions, la presa de decisions polítiques o els contextos electorals.  PR7. Responsabilitat, rendició de comptes i control democràtic S’establiran els mecanismes per garantir la responsabilitat i la rendició de comptes de la IA i els seus resultats, tant abans com després de la seva implantació. En aquest àmbit es crearan protocols per auditar els sistemes intel·ligents abans i després de la seva aplicació, així com per permetre la consulta pública dels informes d’avaluació per aconseguir la confiança en la tecnologia implantada. Igualment, l’Ajuntament de Barcelona habilitarà els recursos necessaris per a una reparació ràpida i adequada de qualsevol dany que pugui haver patit la ciutadania en el desenvolupament, desplegament o ús dels sistemes d’IA que els afectin. El Govern municipal vetllarà, en tot cas, perquè el disseny i la implementació de sistemes d’IA amb afectacions en l’àmbit comunitari o cívic de la ciutat comptin amb la participació de les comunitats o col·lectius afectats, en el marc dels mecanismes de governança que s’estableixen en la secció 4.1 d’aquesta mesura de govern. 4.3. Accions previstes per al període 2021-2023 L’Estratègia per a l’impuls ètic de la intel·ligència artificial que ha d’esdevenir palanca de transformació digital a l’Ajuntament de Barcelona preveu un conjunt d’actuacions que el Govern municipal considera prioritàries per afrontar el desplegament de la IA. www.barcelona.cat 18 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Actuacions de la Estratègia municipal d’algoritmes i dades per a l’impuls ètic de la IA:  Desenvolupament de projectes pilot.  Creació d’un registre municipal d’algoritmes d’IA.  Inventari de possibles serveis i necessitats de la IA a l’Ajuntament de Barcelona.  Revisió del marc normatiu per a l’aplicació de la IA a l’Ajuntament de Barcelona.  Definició de metodologies de treball i protocols.  Publicació d’una guia d’aplicació de la IA a l’Ajuntament de Barcelona.  Procediment administratiu basat en la dada.  Clàusules per a la licitació de solucions basades en IA.  Comunicació interna.  Formació interna.  Comunicació amb la ciutadania.  Promoció d’espais de reflexió i debat sobre l’impacte de la intel·ligència artificial en els serveis públics.  Promoció i ús de dades com a bé públic.  Aliances i col·laboracions amb l’ecosistema de la IA local.  Acció internacional per a un model urbà d’IA basada en els drets digitals.  Establiment de l’Observatori internacional d’Intel·ligència Artificial Urbana.  Comissió transversal per a l’impuls de la IA ètica a l’Ajuntament de Barcelona.  Creació d’un consell assessor de persones expertes en IA, ètica i drets digitals de l’Ajuntament de Barcelona.  Pacte de ciutat per a l’impuls de l’humanisme tecnològic a la ciutat de Barcelona.  Actuació 1. Acció per a l’impuls de la IA a l’Ajuntament de Barcelona. L’Ajuntament de Barcelona ja està utilitzant sistemes intel·ligents; per això, la primera actuació consistirà a fer un catàleg exhaustiu d’aquests sistemes: s’identificaran aquelles aplicacions en les quals, avui dia, ja s’està utilitzant un sistema intel·ligent —en part o en tota la seva implementació— i es farà una descripció detallada del sistema intel·ligent. Atès que en alguns casos aquests sistemes es podrien trobar en fase de licitació, s’identificaran també aquelles licitacions que incorporin un sistema intel·ligent en els seus requeriments tècnics. Aquest catàleg inicial serà utilitzat per efectuar una diagnosi de l’estat de la qüestió en relació amb l’impuls de la IA basada en els drets humans a l’Ajuntament de Barcelona. www.barcelona.cat 19 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Actuació 2. Desenvolupament de projectes pilot. 19 A l’Ajuntament, les tecnologies d’IA ja s’estan utilitzant en fase pilot per millorar els serveis socials ajudant els agents socials a trobar les solucions més adequades a cada problemàtica o contribuint a l’avaluació de la qualitat dels serveis socials. S’utilitza també per monitorar l’ocupació de les platges i garantir així el compliment de les restriccions degudes a la covid-19, o per ajudar a la creació d’un catàleg d’etiquetes que ajudi a identificar l’autoria de les pintades a l’espai públic de la ciutat. El nou IRIS també utilitza IA per ajudar a la classificació temàtica dels missatges enviats per la ciutadania, i reduir, per tant, els errors en l’assignació de les fitxes. D’altra banda, s’està estudiant l’aplicació de la IA en l’àmbit de la hisenda municipal i per a la gestió de recursos de multes i sancions. Aquests projectes pilot s’estan duent a terme, amb la col·laboració de l’Institut Municipal d’Informàtica, per iniciativa de les diferents àrees de l’Ajuntament com són l’Àrea de Drets Socials, Justícia Global, Feminismes i LGTBI, l’Àrea d’Ecologia Urbana, l’Àrea d’Agenda 2030, Transició Digital i Esports o l’Àrea d’Economia i Hisenda. Amb aquesta actuació es promourà el desenvolupament de més projectes pilot que incloguin un impuls de la IA, recopilant documentació de cada experiència.  Actuació 3. Creació d’un registre municipal d’algoritmes d’IA. Creació d’un registre municipal d’algoritmes d’IA actuals i futurs que impacten en els procediments i serveis municipals a fi de garantir-ne la transparència i l’explicabilitat. El registre serà públic i servirà també per classificar els algoritmes d’IA segons el risc que impliquen, amb explicacions clares per a la ciutadania i altres parts interessades. A més, incorporarà, per a cada algoritme registrat, un punt de contacte públic al qual la ciutadania es podrà adreçar.  Actuació 4. Inventari de possibles serveis i necessitats de la IA a l’Ajuntament de Barcelona. Es realitzarà un inventari dels processos administratius, tant interns com de servei a la ciutadania, en els quals la IA pot aportar beneficis. Un cop classificats els serveis, aquest inventari servirà per dissenyar un pla de transformació digital de l’Ajuntament de Barcelona, que inclogui l’impuls de la IA basada en els drets digitals. Aquesta actuació es farà a través d’entrevistes als gerents/tècnics municipals i sessions de cocreació amb el personal municipal implicat en el servei, que permetrà dur a terme un estudi previ d’impacte de la IA a l’Ajuntament de Barcelona. 19 Vegeu l’Annex III d’aquest document. www.barcelona.cat 20 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Actuació 5. Revisió del marc normatiu per a l’aplicació de la IA a l’Ajuntament de Barcelona. El Llibre Blanc sobre la intel·ligència artificial de la Comissió Europea reconeix que cal millorar el marc normatiu per reduir els riscos esmentats en l’apartat anterior, corregir la manca de transparència, millorar la seguretat dels nous sistemes i evitar que l’ús de la IA en el serveis públics generi riscos que la legislació de la UE encara no aborda de manera explícita. El 21 d’abril de 2021 la Comissió Europea proposarà una regulació d’IA a escala europea, especialment centrada en mitigació de riscos, consideracions ètiques i marc jurídic comú per a la IA. Un cop s’adopti la regulació europea i la corresponent legislació a escala estatal, es revisarà el marc normatiu que pugui tenir un impacte en l’articulació de la IA a escala municipal i es treballarà en l’adequació normativa per cobrir les llacunes identificades, evitar violacions de drets humans 20 relacionades amb la IA i promoure l’adopció d’aquestes tecnologies d’acord amb els principis exposats en aquesta mesura de govern. També es revisarà, d’acord amb la Llei de protecció de dades personals i el Reglament europeu, quins són els usos permesos de les dades de què disposa l’Ajuntament sobre ciutadania i empreses per poder oferir serveis proactius basats en IA.  Actuació 6. Definició de metodologies de treball i protocols. L’Ajuntament de Barcelona definirà les metodologies de treball i protocols interns seguint les normatives i recomanacions internacionals relacionades a l’Annex I del present document. Més concretament, s’implantarà l’aproximació basada en el risc de l’aplicació en la qual el sistema intel·ligent en forma part (vegeu el detall a l’annex IV Recomanacions tècniques punt IV.3 Guia per a la definició de metodologies de treball i protocols). S’elaborarà una instrucció que establirà el protocol aplicable al disseny i la construcció de sistemes basats en IA, els principis que cal observar, drets i deures, controls i gestió del risc, procediment d’aprovació, obligació de registre, etc., que s’hauran dissenyat a l’Actuació 3. Aquest protocol serà previ o simultani a l’aprovació de plecs o contractes l’objecte dels quals sigui aquest disseny i construcció. 20 “Unboxing Artificial Intelligence: 10 steps to protect Human Rights” https://rm.coe.int/unboxing-artificial-intelligence-10-steps-to-protect-human-rights-reco/1680946e64 www.barcelona.cat 21 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Actuació 7. Publicació d’una guia d’aplicació de la IA a l’Ajuntament de Barcelona. Per facilitar i concretar com aplicar la IA a l’Ajuntament de Barcelona, es crearà una guia tècnica que detallarà i exemplificarà tots els processos i aspectes que cal tenir en compte per a l’impuls de la IA ètica a l’Ajuntament de Barcelona. Aquesta guia estarà dirigida tant a l’equip directiu com al personal tècnic responsable de contractes i serveis que incorporin el vessant TIC en aquests.  Actuació 8. Procediment administratiu basat en la dada. La transició digital en el camp de l’Administració electrònica passa per transitar d’un model centrat en l’expedient a un model centrat en la dada que permeti extreure d’aquesta tot el seu valor. L’Ajuntament de Barcelona treballarà en el marc del seu pla de transició digital i d’Administració electrònica per facilitar la recollida, desagregada i de qualitat, de les dades a través dels sistemes d’informació, plataformes i automatitzacions. Aquest model facilitarà poder tenir un coneixement més acurat i precís de la realitat, tot permetent que a partir de la dada es pugui agregar, desagregar, comparar, fer estudis longitudinals, etc. i, d’aquesta manera, presentar serveis públics digitals de manera més eficaç i eficient i personalitzats. Aquesta informació generada i recollida del procediment administratiu permetrà generar paràmetres comparables que habilitin la interoperabilitat amb la resta de sistemes i fonts d'informació, així com informació estadística propis i, si fos possible, amb d’altres.  Actuació 9. Clàusules per a la licitació de solucions basades en IA. La contractació pública és un dels instruments clau perquè l’Ajuntament pugui no només regular l’aplicació de la IA en l’àmbit municipal, sinó influir en el comportament d’actors externs. Per això, és fonamental incloure clàusules relacionades amb els drets digitals en la licitació de solucions basades en IA. Per tal de facilitar la feina dels cossos tècnics i directius a l’hora de redactar els contractes públics, com a complement de la guia d’aplicació de la IA a l’Ajuntament de Barcelona, s’elaboraran clàusules de contractació pública normalitzades per assegurar el compliment dels principis rectors descrits en aquesta mesura de govern.  Actuació 10. Comunicació interna. L’Ajuntament elaborarà un pla de comunicació interna tenint en compte els canals de comunicació interna ja existents per establir una secció on donar a conèixer i promoure l’intercanvi de coneixement sobre la IA i les tecnologies emergents com a eines de transformació dels serveis públics cap a un nou paradigma d’Administració proactiva, personalitzada i que posi els drets digitals al centre. www.barcelona.cat 22 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Actuació 11. Formació interna. L’Ajuntament ha de disposar d’expertesa en les tecnologies emergents per evitar ser totalment subsidiària de l’acció externa i ser capaç de mantenir el seu poder de supervisió. Aquesta actuació busca promoure la capacitació dels treballadors i les treballadores municipals perquè es converteixin en subjectes actius capaços de contribuir en els processos de cocreació de serveis públics on aquestes tecnologies poden tenir un efecte disruptiu. A aquest efecte, s’elaborarà i implantarà un pla de formació als treballadors/ores municipals basat en diferents itineraris formatius per donar a conèixer les capacitats de la IA, els riscos, i les possibilitats de la seva aplicació en l’Administració pública i servei a la ciutadania d’acord amb els principis i valors exposats en aquesta mesura. La formació interna preveurà també la formació dels directius i les directives de l’Ajuntament de Barcelona i la formació avançada pels membres del grup impulsor (vegeu el capítol 4.3).  Actuació 12. Comunicació amb la ciutadania. L’Ajuntament de Barcelona farà ús dels canals de comunicació existents amb la ciutadania per enfortir els principis rectors relatius a la transparència i el dret a la informació. Aquesta comunicació tindrà una doble funció: informar i resoldre dubtes i conflictes sobre l’ús de la IA en els serveis públics i contribuir a la democratització de l’accés universal al coneixement i la innovació. La comunicació ciutadana serà fonamental per a la resolució de conflictes que puguin plantejar els actors socials relacionats amb l’ús de sistemes d’IA als serveis públics proveïts per l’Ajuntament de Barcelona.  Actuació 13. Promoció d’espais de reflexió i debat sobre l’impacte de la intel·ligència artificial en els serveis públics Davant la creixent demanda social d’un marc de drets digitals que defineixi els principis bàsics per a l’ús de la tecnologia, l’Ajuntament desenvoluparà un paper impulsor per tal d’afavorir un debat de ciutat sobre la influència de les tecnologies digitals en les nostres vides, en la societat, sobretot des del punt de vista ètic i humanista. Es promourà aquest debat amb el conjunt de la societat facilitant, juntament amb altres actors de l’ecosistema tecnoètic de la ciutat, més espais de reflexió sobre la finalitat i els beneficis de la intel·ligència artificial per a la ciutadania.  Actuació 14. Promoció i ús de dades com a bé públic. Les dades són la base per al desenvolupament de la IA basada en l’aprenentatge automàtic; per això, cal treballar també per garantir la disponibilitat, la qualitat i l’ús de les dades. Per tal de contribuir al correcte desplegament de solucions d’IA, aquesta actuació engloba un conjunt d’accions complementàries a les que ja es desenvolupen gràcies a la mesura de govern de Gestió ètica i responsable de les dades com són les següents: www.barcelona.cat 23 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Desenvolupar la “Common Data” com a infraestructura digital pública i promoure l’ús de dades urbanes per al bé comú.  Promoure l’apropiació social i la reutilització de conjunts de dades obertes disponibles públicament, de manera que es puguin generar nous coneixements útils per avaluar l’evolució de la ciutat.  Col·laborar amb les institucions europees per impulsar un nou model europeu de governança de dades per al bé públic.  Promoure la definició i adopció d’estàndards de dades oberts per als governs locals.  Estudiar les bases per a l’establiment d’acords integrals d’intercanvi de dades entre empreses i l’Ajuntament (B2G).  Dissenyar un nou marc per regular l’aprofitament de dades i informació municipal per part d’empreses dedicades a l’explotació de dades amb finalitats lucratives.  Actuació 15. Aliances i col·laboracions amb l’ecosistema de la IA local Per tal d’activar el potencial per a la creació de solucions basades en IA a la ciutat de Barcelona i estendre el model de desenvolupament de la IA basada en els drets humans, es generarà un mapa dels actors locals de l’ecosistema del coneixement i les infraestructures científiques amb potencial per a la IA, i es promouran accions de dinamització i col·laboració. Es treballarà conjuntament amb el món de la recerca en IA i responsables d’infraestructures científiques existents per potenciar la recerca aplicada i projectes d’innovació tecnològica al sector públic. S’impulsaran processos d’innovació col·lectiva amb la ciutadania, investigadors/ores, empreses, emprenedors/ores, així com col·lectius professionals i diferents actors socials per a la cocreació de serveis basats en IA que donin resposta als reptes socials i urbans contemporanis. Aquest espais, de participació oberta, estaran destinats al conjunt de la ciutadania, tant l’organitzada com la no organitzada.  Actuació 16. Acció internacional per a un model urbà d’IA basada en els drets digitals. La ciutat de Barcelona té des de fa anys un paper rellevant en fòrums internacionals de debat sobre la transició tecnològica, les seves implicacions ètiques i l’impacte sobre la ciutadania. Sovint la nostra ciutat ha marcat fulls de ruta que han estat replicats per moltes altres ciutats del món. Aquests fòrums internacionals són també plataformes des d’on treballar amb les institucions europees per aconseguir marcs legislatius i de finançament favorables a les ciutats, i a la vegada són excel·lents altaveus per donar a conèixer el que es fa a Barcelona, reforçant-ne el paper de ciutat de talent, innovadora i socialment responsable. En el període 2021-2023 s’intensificarà el focus de l’acció internacional de l’Ajuntament de Barcelona en l’ús de solucions basades en IA a les ciutats. Es treballarà per compartir coneixement en organismes multinivell tot identificant i analitzant les millors pràctiques. L’acció internacional per un model d’IA urbana basada en els drets humans se seguirà vehiculant, a escala europea, a través del Fòrum de la Societat del Coneixement d’Eurocities, i a escala global, per mitjà de la Coalició de Ciutats pels Drets Digitals. www.barcelona.cat 24 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Actuació 17. Establiment de l’Observatori internacional d’Intel·ligència Artificial Urbana L’Ajuntament de Barcelona, amb la col·laboració del CIDOB i en el marc de la Coalició de Ciutats pels Drets Digitals, promourà la creació de l’Observatori internacional d’Intel·ligència Artificial Urbana. L’Observatori contribuirà a l’estratègia d’IA de Barcelona i la resta de ciutats de la Coalició amb coneixement basat en evidència de l’aplicació d’IA en contextos urbans. A aquest efecte, l’Observatori monitorarà regulacions, desenvolupament i desplegament d’IA en les ciutats membres de la Coalició; proposarà i actualitzarà estàndards de política pública per a la regulació municipal d’IA basada en els drets humans i la seva aplicació a les ciutats; identificarà obstacles que dificultin el desplegament d’una IA ètica i democràtica, i contribuirà a la reflexió global sobre IA i les dinàmiques tecnològiques. 5. Implementació de l’estratègia d’intel·ligència artificial 5.1. Governança de l’estratègia d’intel·ligència artificial Per a l’impuls de la mesura de govern s’habilitaran els instruments de governança que garanteixin la correcta coordinació dels esforços, l’accés al coneixement i el compliment dels objectius proposats. Els instruments de governança proposats són els següents:  Creació d’una comissió transversal per a l’impuls de la IA ètica a l’Ajuntament de Barcelona, que integri tots els òrgans gerencials/directius de les àrees de l’Ajuntament.  Creació d’un consell assessor de persones expertes en IA i humanisme tecnològic de l’Ajuntament de Barcelona, que integri les principals persones expertes de la ciutat en la matèria.  Impuls d’un òrgan de participació ciutadana en forma de pacte de ciutat per a l’impuls de l’humanisme tecnològic, per alinear l’ecosistema d’innovació amb els valors de l’humanisme tecnològic i la IA ètica i per fer escolta activa de nous reptes i oportunitats.  Actuació 18. Comissió transversal per a l’impuls de la IA ètica a l’Ajuntament de Barcelona. Es crearà una comissió transversal, formada per representants dels àmbits de les direccions o gerències de totes les àrees de l’Ajuntament, per tal de guiar l’estratègia d’implantació de la IA ètica a l’Ajuntament de Barcelona, fer el seguiment del grau d’execució i abordar de manera col·lectiva els reptes que es vagin presentant. Aquesta comissió serà presidida per la Tercera Tinenta d’Alcaldia i les seves funcions, centrades en l’impuls de la IA basada en els drets humans, seran, entre d’altres, les següents:  Validar els sistemes basats en IA d’aplicació a l’Ajuntament a proposta del grup impulsor (vegeu l’apartat 4.3). www.barcelona.cat 25 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Dirimir els conflictes que puguin sorgir en l’aplicació/ús d’algoritmes d’intel·ligència artificial en els processos interns i serveis públics prestats per l’Ajuntament de Barcelona i ens dependents.  Vetllar per la transversalitat i la visió sistèmica del procés d’adopció de la IA a l’Ajuntament de Barcelona.  Vetllar perquè la veu de la ciutadania sigui tinguda en compte en el procés de disseny i implantació de serveis basats en IA.  Garantir que les accions que es duen a terme s’orientin a reduir la bretxa digital de gènere.  Actuació 19. Creació d’un consell assessor de persones expertes en IA, ètica i drets digitals de l’Ajuntament de Barcelona. Es crearà un consell assessor format per persones expertes en IA, ètica i drets digitals de diferents institucions de recerca i coneixement de la ciutat que treballen tant el desenvolupament de la IA com els aspectes humanístics i de drets humans del desenvolupament tecnològic. Aquest consell tindrà les funcions d’assistir i assessorar l’Ajuntament en matèria d’ús de la IA per al bé comú.  Actuació 20. Pacte de ciutat per a l’impuls de l’humanisme tecnològic a la ciutat de Barcelona. S’impulsarà la creació d’un òrgan participatiu, en forma de pacte de ciutat per a l’impuls de l’humanisme tecnològic, que comptarà amb entitats, empreses, institucions i ciutadania compromeses amb el desenvolupament ètic de la IA. Entre d’altres aspectes relacionats amb la transició digital inclusiva i els drets digitals, treballarà per alinear l’ecosistema innovador i l’acció municipal amb una IA ètica, i promourà el diàleg i els acords perquè la transició digital i en concret la IA no incrementi desigualtats i garanteixi en tot moment els drets de la ciutadania. 5.2. Calendari de les actuacions Es posaran en marxa les mesures exposades al llarg dels primers dotze mesos un cop aprovada la mesura de govern. Aquest desenvolupament es farà de manera gradual i atenent les interdependències existents entre les diferents mesures de govern de caire tecnològic impulsades recentment. Algunes d’aquestes mesures, un cop posades en marxa, passaran a formar part de la cultura de l’organització, per tant, s’incorporaran com a pràctiques habituals del funcionament, sense una data d’acabament establerta. www.barcelona.cat 26 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern www.barcelona.cat 27 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern 5.3. Impuls de l’Estratègia d’algoritmes i dades de l’Ajuntament de Barcelona L’impuls del compliment de la mesura de govern serà dut a terme pel comissionat d’Innovació Digital, Administració Tecnològica i Bon Govern, per l’Institut Municipal d’Informàtica i per l’equip de treballadors/ores de l’Ajuntament que aquests designin, atenent també criteris d’equitat de gènere. Aquest grup impulsor de la IA ètica serà responsable de la coordinació i l’impuls de la IA ètica a l’Ajuntament de Barcelona. S’encarregarà de l’assessorament i aprovació dels sistemes intel·ligents o serveis automatitzats que es portin a la pràctica i afectin les persones. La secretaria tècnica d’aquest equip d’impuls anirà a càrrec de l’Institut Municipal d’Informàtica. Les funcions per a l’impuls de la IA ètica seran, entre altres, les següents:  Confeccionar el pla de desplegament de la IA a l’Ajuntament.  Facilitar i complir les accions de governança proposades a la mesura de govern.  Supervisar l’aplicació/ús d’algoritmes d’intel·ligència artificial en els processos interns i en la gestió i prestació de serveis públics.  Sol·licitar dictàmens a experts i expertes en intel·ligència artificial, ètica i drets digitals externs en el cas que es presentin conflictes de dimensió ètica que ho justifiqui.  Coordinar-se amb les diferents àrees de l’Ajuntament, els diferents òrgans municipals competents en els àmbits jurídic, dades municipals, protecció de dades, transparència, participació, comunicació amb la ciutadania, Comunicació Interna, Desenvolupament i Atenció al Personal, a fi de garantir el correcte desenvolupament de les actuacions previstes en aquesta mesura. www.barcelona.cat 28 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern www.barcelona.cat 29 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex I. Referències externes [1] Mesura de govern per a la digitalització oberta: programari lliure i desenvolupament àgil de serveis a l’Administració pública (https://bcnroc.ajuntament.barcelona.cat/jspui/handle/11703/106226) [2] Mesura de govern de gestió ètica i responsable de dades: Barcelona Data Commons (https://bcnroc.ajuntament.barcelona.cat/jspui/handle/11703/108254) [3] FAIR Guiding Principles for scientific data management and stewardship’ (https://www.go- fair.org/fair-principles/) [4] Tractats de la Unió Europea (https://europa.eu/european-union/law/treaties_es) [5] Carta dels Drets Fonamentals de la UE (https://www.europarl.europa.eu/charter/pdf/text_es.pdf) [6] Ethics guidelines for trustworthy AI (https://ec.europa.eu/digital-single-market/en/news/ethics- guidelines-trustworthy-ai) [7] WHITE PAPER On Artificial Intelligence - A European approach to excellence and trust (https://ec.europa.eu/info/sites/info/files/commission-white-paperartificial intelligence- feb2020_en.pdf) [8] A European Strategy for Data (https://ec.europa.eu/digital-single-market/en/policies/building- european-data-economy) [9] Unboxing artificial intelligence - 10 steps to protect human rights [10] (https://rm.coe.int/unboxing-artificial-intelligence-10-steps-to-protect-human-rights- reco/1680946e64) [11] The Barcelona declaration for the proper development and usage of artificial intelligence in Europe (https://content.iospress.com/articles/ai-communications/aic18060) [12] Carta catalana per als drets i les responsabilitats digitals (https://politiquesdigitals.gencat.cat/ca/tic/drets-i-responsabilitats-digitals/carta/) [13] Estratègia d’intel·ligència artificial de Catalunya (https://web.gencat.cat/ca/actualitat/detall/Estrategia-dIntelligencia-Artificial-de-Catalunya) www.barcelona.cat 30 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex II. Terminologia Humanisme tecnològic: model de desenvolupament tecnològic centrat en l’ésser humà, que redueix les desigualtats socials i protegeix els drets humans, i en el qual la tecnologia està al servei de les persones i dels interessos generals. Intel·ligència artificial: disciplina científica que inclou diversos enfocaments i tècniques com ara l’aprenentatge automàtic (del qual deriven l’aprenentatge profund i l’aprenentatge per reforç), el raonament automàtic (que inclou la planificació, la programació, la representació i el raonament de coneixements, la cerca i l’optimització), i la robòtica (que inclou el control, la percepció, els sensors i accionadors), així com la integració de totes les altres tècniques en sistemes “ciberfísics”. Segons la 21 definició del Consell d’Europa : “La IA és entesa com un conjunt de ciències, teories i tècniques, el propòsit del qual és reproduir mitjançant una màquina les capacitats cognitives d’un ésser humà”. Sistemes intel·ligents: algoritmes de decisió automatitzada, capaços de prendre decisions sense intervenció humana. L’única exigència és que l’algoritme analitzi l’escenari donat a partir d’unes dades i prengui una decisió en funció d’aquesta anàlisi. Algoritme, en un sentit molt ampli: des de models de regressió i arbres de decisió que poden fer prediccions i agilitzen processos, fins a sistemes més complexos, com ara les xarxes neuronals i els models bayesians, que funcionen amb aprenentatge automàtic a mesura que van fent càlculs i prediccions avançades. 21 https://www.coe.int/en/web/artificial-intelligence/home www.barcelona.cat 31 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex III. Casos pilot d’aplicació de la IA a l’Ajuntament de Barcelona La IA és ja una realitat a l’Ajuntament de Barcelona. A continuació recollim, en format de fitxa, alguns exemples d’aplicació recent de les tecnologies emergents: Sistema de suport per a la classificació d’incidències Àrea responsable: Direcció de Serveis d’Informació i Atenció Ciutadana L’IRIS és el servei que permet a la ciutadania comunicar incidències o enviar reclamacions a l’Ajuntament de Barcelona perquè les resolgui. A través de l’IRIS, la ciutadania pot fer arribar informacions i consultes, però també queixes i suggeriments de millora. En aquest procés, el ciutadà o ciutadana que avisa de la incidència ha de classificar-la utilitzant un arbre de temàtiques que se li ofereix a través de l’aplicació informàtica. Aquesta classificació és important perquè s’utilitza per dirigir la incidència directament al departament responsable, i agilitzar així el procés de resposta. Els errors en la classificació temàtica ocasionen respostes inadequades i retards en la resolució de les incidències, per la qual cosa afecten la qualitat del servei ofert. Dintre del projecte d’actualització del servei IRIS, s’ha desenvolupat un mòdul anomenat MARIO, basat en algoritmes d’aprenentatge automàtic —Machine Learning— i processament del llenguatge natural (una de les tecnologies emmarcades en la IA) per simplificar al ciutadà o ciutadana el procés de classificació de les incidències. A partir de l’anàlisi del text lliure que descriu la incidència, MARIO suggereix al ciutadà o ciutadana les categories més probables on la incidència té cabuda perquè aquest/a triï la categoria més ajustada. MARIO, que està actualment en proves, minimitza la taxa d’error en la classificació inicial de les incidències reduint molt els processos de reclassificació manual. Abans, un 50% de les comunicacions realitzades necessitaven ser reassignades; ara, amb MARIO, s’està assolint una taxa d’encert superior al 85%. MARIO s’ha desenvolupat fent servir eines de codi obert —Open Source— com Python, Scikit-learn i Pandas, entre d’altres. L’algoritme ha requerit un entrenament que s’ha dut a terme utilitzant un conjunt de dades amb les temàtiques i les preguntes que ha fet el ciutadà/ana prèviament validades per garantir que han estat correctament classificades. Aquest pilot ha servit perquè des l’Institut Municipal d’Informàtica es fes un treball d’avaluació de tècniques i processos de classificació de textos amb les conclusions següents:  Moltes vegades la integració de tècniques d’IA en processos existents ha d’anar acompanyada d’una reestructuració de les dades. En el cas d’IRIS, el gran ventall d’opcions de classificació fa que la tasca sigui difícil per un humà però fa que la IA sigui ineficient. Es recomana l’agrupació de categories  És importat disposar d’un conjunt de dades de qualitat.  A fi de garantir una bona eficiència dels sistemes, és necessari un bon preprocessament de les dades que inclogui la neteja i estandardització d’aquestes dades.  Cal tenir present l’anonimització de les dades.  Per tal de fer un bon entrenament, és necessari un volum representatiu de les dades d’entrada que sigui homogeni en totes les categories. www.barcelona.cat 32 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern  Volum de les dades no vol dir “com més dades, millor”; un excés en les dades d’entrada pot requerir més recursos de processat i no generar cap millora en la sortida de l’algoritme (fins i tot pot generar una pèrdua d’eficàcia).  A l’hora de definir un sistema d’aquest tipus és necessari establir un compromís entre eficiència del classificador versus recursos computacionals. A l’avaluació s’identifica una relació logarítmica entre l’eficiència i els recursos necessaris. Algoritmes als serveis socials Àrea responsable: Drets Socials, Justícia Global, Feminismes i LGTBI. L’Àrea de Drets Socials de l’Ajuntament de Barcelona atén una mitjana de cinquanta mil primeres visites a l’any. Les persones que acudeixen als quaranta centres de serveis socials repartits per la ciutat tenen problemes econòmics, de dependència, per malaltia mental, d’alcoholisme, poden necessitar ajuda psicològica, d’adaptació, poden patir una situació de violència de gènere, etc. Aquestes problemàtiques tan diverses són ateses per una plantilla de més de set-cents professionals —entre treballadors/ores socials, psicòlegs/òlogues i educadors/ores socials—. Quan la persona arriba al centre, se l’atén en unes cabines privades. El treballador o treballadora social enregistra la conversa i, en acabar, transcriu la problemàtica, així com l’ajuda o servei al qual se l’ha derivat. En el sistema intern es descriu amb tres lletres: demanda (D), problema (P), recurs (R). Actualment, l’Ajuntament disposa de centenars de milers d’entrevistes, moltes de les quals acaben sent repetitives perquè els problemes s’assemblen. Ara un algoritme, entrenat amb un repositori de tres-centes mil entrevistes amb tècniques d’aprenentatge automàtic, suggereix els recursos destinats a cada cas. Els resultats s’han aplicat en tres centres. L’algoritme aquí és un ajut a la decisió que finalment pren el professional que tracta el cas. Un altre projecte d’aquesta àrea és crear un sistema d’avaluacions continuades dels serveis públics. Amb la IA es poden fer avaluacions acurades i comparar el que hauria decidit el professional amb el que decideix la màquina. El projecte és crear un sistema integral de dades massives, amb tota la informació dels registres administratius de les persones demandants d’ajuts socials per aconseguir una evolució temporal i saber si està millorant o no. Monitoratge d’afluència a les platges Àrea responsable: Barcelona Cicle de l’Aigua, SA Eina implementada durant la pandèmia de la covid-19, en els mesos d’estiu del 2020 a Barcelona. L’objectiu era informar de la capacitat real de les platges de la ciutat, amb les restriccions indicades en funció dels nivells d’alertes marcats pel Govern. Des d’un web, en temps gairebé real, les persones podien consultar abans de sortir de casa o dirigir-se a la platja, quina era la que tenia menys afluència de gent. El sistema va garantir la privacitat de les dades personals; a més, donava nivells acceptables de precisió, integritat, disponibilitat i continuïtat. El funcionament és el següent: Les càmeres capten imatges cada 5 minuts i les envien a un servidor segur a través d’un punt d’accés privat a través d’una xarxa privada. El servidor anonimitza la imatge i elimina la part no anonimitzada. Es processa la imatge i estima la superfície total de sorra lliure d’objectes. No comptabilitza persones. www.barcelona.cat 33 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern La comptabilitat de persones es va fer amb processament d’imatges i aprenentatge automàtic que comparen quan la mateixa imatge està buida i plena. El servidor activa l’alarma quan sigui necessari. Tota la informació s’envia a la sala de decisions on l’equip encarregat de la capacitat de monitoratge de platges pren decisions sobre el tancament o no d’aquestes. Aquesta informació també s’envia al portal municipal de la platja on la ciutadania hi podia accedir fàcilment i veure’n la capacitat en temps real. Pla de robotització de l’Estratègia de transició digital Àrea responsable: Acció tranversal liderada per l’Institut Municipal d’Informàtica, amb la participació — entre altres àrees— de Institut Municipal d’Hisenda, el Districte de l’Eixample i l’Àrea d’Ecologia Urbana. La robotització de processos (RPA, de l’anglès Robotic Process Automation) és una tecnologia que, tot i no ser estrictament IA, va molt de bracet d’aquesta en la transformació digital de l’Ajuntament de Barcelona. La RPA permet que un “robot” software emuli i integri les accions d’una interacció humana per executar un procés. L’objectiu d’aquest és millorar l’eficiència en l’execució d’un procés a partir de la robotització de les tasques repetitives que abans executava un humà. El Pla de robotització ha creat un nou servei d’RPA per a la robotització de processos. Un facilitador per donar servei i suport als diferents robots i automatismes de processos de les diferents àrees de l’Ajuntament, tant futurs com ja existents, orquestrant-ne la seva activitat per tal de poder proporcionar indicadors del seu ús i, alhora, controlar-ne la traçabilitat i garantir la correcta adequació als requeriments canviants. Fins ara, s’han dut a terme els següents casos d’ús:  Llicències de Sant Jordi (2019) per Districte de l’Eixample. Disseny i implantació d’un pilot de robotització en els processos de tramitació de les llicències d’Ocupació de l’espai públic www.barcelona.cat 34 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern per a la diada de Sant Jordi, que va permetre als serveis tècnics de districte poder automatitzar un conjunt de tasques manuals, alliberar temps i recursos, i reduir el temps de tramitació pel ciutadà/ana.  Gestió d’expedients de terrasses (2020) per Ecologia Urbana. Implantació d’un robot per a la tramitació d’expedients per ampliar les terrasses de Barcelona durant la pandèmia.  Procediments concursals (2020) per l’Institut Municipal d’Hisenda. Implantació d’un pilot de robotització en el Procés de declaració de procediments concursals que permet als serveis tècnics poder automatitzar un conjunt de tasques manuals, alliberant recursos per tal de poder disposar de més temps per efectuar tasques de valor afegit. Millores en els canals de comunicació amb la ciutadania mitjançant IA. Àrea responsable: Direcció de Serveis d’Informació i Atenció Ciutadana La informació recollida a l’IRIS, el sistema de l’Ajuntament de Barcelona que resol i respon les incidències i reclamacions a les persones de la ciutat, és d’alt valor afegit que pot ser explotat mitjançant la IA. En col·laboració amb el Barcelona Supercomputing Center, l’Institut Municipal d’Informàtica està duent a terme un projecte que té per objectiu la identificació de patrons en les comunicacions d’incidències que la ciutadania efectua mitjançant l’IRIS amb esdeveniments o situacions específiques que passen a la ciutat. D’aquesta manera, l’Ajuntament de Barcelona es podrà anticipar a les necessitats de la ciutadania davant d’aquestes situacions i tenir una imatge clara del que està passant a la ciutat. L’objectiu final és utilitzar tota aquesta informació per millorar els canals de comunicació amb la ciutadania i la resposta que l’Ajuntament de Barcelona dona a aquesta. En aquest cas, algoritmes d’IA basats en el processament del llenguatge natural permetran anonimitzar, en un primer pas, per després extreure informació d’alt valor afegit de les comunicacions a l’IRIS. Aquesta informació es processarà i es classificarà per àrees temàtiques i geogràfiques permetent associar-la i buscar correlacions amb esdeveniments que hagin passat a la ciutat. Un dels principals resultats esperats del projecte és contribuir a la creació d’un conjunt de dades de llenguatge natural en les llengües utilitzades habitualment en la comunicació de la ciutadania amb l’Ajuntament de Barcelona: el català i el castellà. Especialment pel que fa al català, actualment no existeixen grans conjunts de dades en aquesta llengua i aquesta acció contribuirà a crear-ne. Com s’ha comentat anteriorment, la principal font de dades serà l’IRIS amb 260.000 comunicacions anuals i també s’estudiarà la incorporació de dades provinents del telèfon d’atenció ciutadana, el 010, amb aproximadament vuit mil trucades diàries. www.barcelona.cat 35 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex IV. Recomanacions tècniques 1 Anàlisi de riscos Una aplicació d’IA s’ha de considerar de risc elevat tant des de la perspectiva de la protecció de la 22 seguretat com dels drets fonamentals de les persones . Quan el sistema intel·ligent s’adreci als sectors de la sanitat, el transport, l’energia, els serveis d’asil, poder judicial, seguretat social i serveis de treball és considerat de risc elevat pel perjudici irreparable que pot causar a les persones. D’altra banda, quan el sistema intel·ligent serveixi per capturar dades biomètriques també se l’ha de considerar d’alt risc. Però sempre s’ha de tenir present la dimensió del risc. És a dir, un error de l’algoritme que assigna les cites prèvies a un hospital no té el mateix risc que un que detecta malalties. S’han de considerar de risc elevat —i, per tant, exigeixen un control especial— totes aquelles aplicacions de la IA amb efectes jurídics sobre els drets d’una persona, les que puguin causar lesions, la mort, danys materials (o immaterials significatius), així com aquelles que puguin produir efectes impossibles d’evitar per les persones. 2 Guia per a la definició de metodologies de treball i protocols Per a la definició de les metodologies de treball i protocols interns (actuació 3) se seguirà la següent guia de treball: Quant a sistemes intel·ligents actualment en producció:  S’estudiarà el risc de l’aplicació, entenent que el risc és proporcional a l’impacte que té la decisió del sistema intel·ligent sobre les persones: a més impacte, més risc. La determinació del risc s’efectuarà mitjançant una eina informàtica d’autoavaluació que es crearà a aquest efecte.  Qualsevol aplicació, independentment del seu risc ha de seguir els principis rectors definits en la secció 6 del present document.  Les aplicacions considerades de risc elevat seran auditades per assegurar el compliment dels principis rectors definits a la secció 6 del present document. Aquesta auditoria preveurà tant els algoritmes com els conjunts de dades per detectar possibles biaixos de gènere, llengua, origen, ètnia, creences, edat, nivell d’educació, discapacitats físiques psíquiques, de salut o situació econòmica. Les consideracions de l’auditoria s’hauran d’aplicar al més aviat possible. Aquestes auditories seran recurrents en el temps amb una periodicitat no superior a dos anys. 22 Tal com queda explicitat al Llibre Blanc sobre la intel·ligència artificial de la Comissió Europea. www.barcelona.cat 36 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Quant a sistemes intel·ligents que potencialment poden ser inclosos com a requeriment en un procés de licitació:  La persona tècnica responsable del projecte haurà de tenir en compte els principis rectors definits a la secció 6 del present document en el moment de la redacció del plec de prescripcions tècniques. Es crearà una guia a aquest efecte per facilitar-ho.  La persona tècnica responsable del projecte haurà d’estudiar el risc de l’aplicació atenent els mateixos criteris que els sistemes intel·ligents actualment en producció. La determinació del risc s’efectuarà mitjançant una aplicació d’autoavaluació que es crearà a aquest efecte.  En cas que les aplicacions siguin considerades de risc elevat, les prescripcions tècniques associades a la licitació hauran d’incorporar un estudi d’impacte algorítmic. L’objectiu d’aquest estudi és assegurar l’anticipació, detecció i minimització de l’impacte social no desitjable en l’aplicació. Igualment, quan l’aplicació ja estigui implementada i en producció, se l’auditarà seguint els mateixos criteris que els sistemes intel·ligents en producció. www.barcelona.cat 37 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern En general, per complir amb els requisits esmentats s’ha de dur a terme una avaluació constant dels mètodes emprats, així com informar i justificar en tot moment els canvis introduïts. Donat que els sistemes intel·ligents evolucionen constantment i actuen en un entorn dinàmic, les avaluacions d’aplicacions fiables són un procés continu. www.barcelona.cat 38 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex V. Declaració institucional per unes tecnologies confiables i ètiques a l’Ajuntament de Barcelona 1. Posicionar l’Ajuntament de Barcelona a favor de l’humanisme tecnològic com a enfocament per donar resposta als nous reptes tecnològics i que promou la digitalització com a eina per al progrés social, basada en principis ètics, i fonamentada en els drets i llibertats personals. Aquest posicionament implica dissenyar polítiques públiques amb el compromís d’utilitzar la tecnologia només per millorar el benestar de la ciutadania, respectant les llibertats adquirides, generant nous drets digitals, en cooperació amb les institucions europees. 2. Comprometre’s a facilitar l’avenç científic i preservar el lideratge tecnològic de la ciutat garantint que les tecnologies emergents estaran al servei de la ciutadania. L’Ajuntament promourà la regulació i la inversió necessàries per abordar els riscos vinculats a determinats usos de la intel·ligència artificial, com ara mitigar els biaixos dels algoritmes i de les dades que utilitzen, i garantirà la supervisió humana en la presa de decisions automatitzades quan afecti les persones. 3. Vetllar perquè les dades que alimentin i que generin els sistemes intel·ligents siguin obertes i públiques en la mesura del possible, a fi d’assegurar un benefici recíproc Administració-ciutadania. Per això, el consistori habilitarà mecanismes perquè la ciutadania pugui fer un millor ús de la transparència, rendició de comptes i control a l’Administració sobre el desplegament de sistemes autònoms i intel·ligents. 4. Assumir el compromís que qualsevol tecnologia que s’apliqui ha de sostenir-se en tres principis bàsics, que han d’actuar de manera simultània:  ha de ser lícita, garantint el respecte a totes les lleis i reglaments aplicables;  ha de ser ètica, assegurant el compliment dels principis i valors ètics per disseny, i  ha de ser robusta, tant des del punt de vista tècnic com també social. 5. Aprovar en els mesos vinents una estratègia d’algoritmes i dades, que explicitarà tots els principis i valors que guiaran l’ús de les tecnologies en els serveis públics de l’Ajuntament de Barcelona, així com els drets de la ciutadania que caldrà garantir. Barcelona, juny del 2020 www.barcelona.cat 39 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex VI. Carta de Drets Digitals impulsada per la Secretaria d’Estat de Digitalització i Intel·ligència Artificial del Ministeri d’Afers Econòmics i Transformació Digital La Carta de Drets Digitals té com a objectiu reconèixer els reptes que planteja l’adaptació dels drets actuals a l’entorn virtual, i proposar un marc de referència per contribuir a la seva protecció en aquest context. Actualment, la Carta de Drets Digitals es troba en fase d’elaboració del text definitiu després de recollir les observacions i aportacions de la societat a través d’una consulta pública. Aquesta Carta de Drets Digitals inspirarà els futurs passos a seguir en la protecció de la societat de cara als nous reptes digitals, establint els principis sobre els quals fixar la salvaguarda dels drets fonamentals a l’escenari digital. El document que reconeix drets com la nostra relació amb la IA o el dret a l’herència digital. En total, reconeix 25 drets agrupats en els blocs següents: Drets de llibertat, d’igualtat, de participació i composició de l’espai públic, de l’entorn laboral i empresarial i d’entorns específics. Drets de llibertat 1. Drets i llibertats en el món digital 2. Dret a la protecció de dades 3. Dret a la identitat en l’entorn digital 4. Dret al pseudonimat 5. Dret a no ser localitzat i perfilat 6. Dret a la seguretat digital 7. Dret a l’herència digital Drets d’igualtat 8. Dret a la igualtat i a la no-discriminació en l’entorn digital 9. Protecció de menors en l’entorn digital 10. Protecció de persones amb discapacitat en l’entorn digital 11. Protecció de les persones grans en l’entorn digital Drets de participació i de composició de l’espai públic 12. Dret a la neutralitat d’internet 13. Llibertat d’expressió i llibertat d’informació 14. Dret a la participació ciutadana per mitjans digitals 15. Dret a l’educació digital 16. Drets digitals de la ciutadania en les seves relacions amb les administracions públiques Drets de l’entorn laboral i empresarial 17. Drets en l’àmbit laboral 18. L’empresa en l’entorn digital Drets digitals en entorns específics www.barcelona.cat 40 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern 19. Dret d’accés a dades amb fins d’investigació científica, innovació i desenvolupament 20. Dret a un desenvolupament tecnològic i a un entorn digital sostenible 21. Dret a la protecció de la salut en l’entorn digital 22. Llibertat de creació i dret d’accés a la cultura en l’entorn digital 23. Drets davant la intel·ligència artificial 24. Drets digitals en l’ocupació de les neurotecnologies 25. Garantia dels drets en els entorns digitals www.barcelona.cat 41 Comissionat d'Innovació Digital, Administració Electrònica i Bon Govern Annex VII: Equip redactor La preparació d’aquesta mesura de govern ha estat duta a terme per un equip intern de l’Ajuntament de Barcelona. En aquest procés s’ha tingut en compte la normativa i recomanacions vigents a escala internacional i local relativa a les dades i la IA, així com la documentació anteriorment elaborada per l’Ajuntament. Atesa la transversalitat d’aquesta mesura, s’ha entrevistat deu responsables de diferents àrees i serveis municipals que considerem rellevants per a l’impuls de la IA a l’Ajuntament. Les àrees entrevistades han estat les següents: Gerència de Recursos; Gerència de Persones i Desenvolupament Organitzatiu; Direcció de Serveis Jurídics; Secretaria General; Oficina Municipal de Dades; Gerència d’Innovació i Transició Digital; Direcció d’Innovació Social; Direcció de Turisme, Esdeveniments i Indústries Creatives; Gerència de Mobilitat i Infraestructures, i finalment l’Observatori de l’Habitatge de Barcelona. A través de les entrevistes hem pogut conèixer de primera mà quins beneficis i riscos preveuen en l’aplicació de la intel·ligència artificial. Finalment s’ha comptat amb l’assessorament d’un grup extern d’experts i expertes en la matèria, així com de l’equip del Comissionat d’Innovació digital i el Gabinet de la Tercera Tinència d’Alcaldia. www.barcelona.cat 42