Indicadores para evaluar los mecanismos de participación para las EFS

Importancia: Muy alta

Una de las principales causas del fracaso en las políticas de participación subyace, muchas veces, en la debilidad de las estrategias de comunicación. Para que las estrategias tengan éxito, deben ser conocidas por toda, o al menos una parte importante, de la población a la que está dirigida. Si solo un pequeño número de personas y de OSC que podrían llegar a participar saben de la existencia de dicha posibilidad, no solo se perderá la oportunidad de lograr una amplia y efectiva participación ciudadana, sino que también se limitará la contribución y los resultados esperados.

Esta afirmación no implica que los niveles de información y la contribución de estos canales no puedan aumentar con el tiempo. Sin embargo, los objetivos y las estrategias para cada etapa deben ser planificadas con anterioridad para su ejecución en fases razonables.

Como resultado, aquellos que planifican y ejecutan estas políticas deben verificar de forma permanente el nivel de conocimiento de las organizaciones o de la ciudadanía con respecto a lo siguiente:

  • La existencia de las EFS
  • Sus objetivos, mandatos, misiones y características
  • Las condiciones y modalidades para la participación
  • Las formas en que canalizan sus contribuciones
  • ¿Cuántos ciudadanos u organizaciones conocen sobre la existencia de este mecanismo de participación?
  • ¿Cuántos no lo conocen?
  • ¿Qué queda por hacerse para informar al público interesado sobre la existencia de este mecanismo y la posibilidad de participar en él?
  • ¿Cuán completa es la información que tienen los posibles participantes acerca de la naturaleza y/o características de este mecanismo?

Importancia: Alta

El nivel esperado de participación puede variar de acuerdo a las características de las diversas prácticas aplicadas. En algunos casos, se puede esperar la participación masiva; en otros, el público objetivo puede incluir solamente unas pocas personas, ya sea de forma individual o por las OSC representadas. Sin embargo, en todos los casos, evitar la exclusividad de la participación es un desafío permanente.

Los niveles activos de participación dependen de diversas variables, que incluyen (a) las relacionadas con la práctica real, es decir, la relevancia del objeto de la práctica, su diseño metodológico, la capacidad de identificar adecuadamente a una población a la cual dirigirse (o audiencia objetivo), la puesta en práctica de una comunicación eficaz; y (b) las relacionadas con el contexto, es decir, los niveles de participación ciudadana entre el público, el interés generado sobre el tema, la legitimidad de la institución convocante, y la confianza de la ciudadanía en la posibilidad de que sus contribuciones sean incorporadas por la institución, entre otros.

Medir el éxito de esas prácticas en cuanto a los niveles de participación efectiva implica comparar esos niveles con los deseados para la actividad específica implementada.

Los niveles de participación bajos implican la posible pérdida de potencial en la práctica y también pueden reducir la legitimidad de la institución en el largo plazo. En los casos en que los resultados de la participación efectiva terminan siendo significativamente menores que los deseables, es importante dar seguimiento a estas deficiencias, o las aplicables a la situación concreta, en base a las variables señaladas, para luego poder corregirlas.

Por otro lado, el éxito en los niveles de participación implica un mayor desafío para cumplir con las expectativas y garantizar la sostenibilidad en el tiempo.

  • ¿El nivel de participación efectiva se corresponde con el nivel deseable? Es decir, al desarrollar la estrategia, ¿la institución se ha propuesto involucrar a todos aquellos cuya participación tiene sentido?
  • ¿Cuántos de los que estarían interesados en esta herramienta se han beneficiado efectivamente de ella?
  • ¿Cuáles son las principales razones por las que una parte de aquellos a quienes este mecanismo de participación debería resultarles relevante, aun no se han involucrado en él plenamente?

Importancia: Muy alta

Más allá de los niveles de participación efectiva que se registran para los mecanismos implementados, es muy importante evaluar los niveles de satisfacción que los participantes, efectivos y potenciales, exhiben respecto del modo en que los mecanismos se ejecutan. Ese proceso incluye hacer observaciones sobre el método propuesto, la forma en que se llevan a cabo las actividades de participación, y las características de las etapas subsiguientes en términos de receptividad de la institución a los aportes de la ciudadanía, la retroalimentación y la sostenibilidad de la práctica, entre otros.

Los diferentes sistemas de medición de opinión y retroalimentación, tales como encuestas, grupos de enfoque y consultas personalizadas, son necesarios para obtener información relacionada con los niveles de satisfacción de los participantes con el mecanismo, los puntos de no conformidad con respecto al mecanismo, y eventuales sugerencias para su mejora.

  • ¿Cuál es el nivel general de satisfacción expresado por los participantes, efectivos y potenciales, con respecto al mecanismo propuesto?
  • Más específicamente, ¿cuál es su satisfacción con respecto a los siguientes aspectos?
    • Los temas de la convocatoria
    • La definición del público objetivo
    • La forma en que se hizo la convocatoria
    • La idoneidad del mecanismo, teniendo en cuenta la modalidad existente para canalizar sus aportes
    • La receptividad y permeabilidad de la institución hacia sus aportes
    • La sostenibilidad del mecanismo
  • ¿Hay alguna discrepancia específica con respecto al mecanismo?
  • ¿Los participantes tienen alguna sugerencia para su mejora? ¿Cuán receptiva es la institución a tales sugerencias?

Importancia: Alta

Si la retroalimentación y sugerencias recibidas a través de la participación pública y rendición de cuentas social no tienen ningún efecto sobre las prácticas actuales de las EFS, las prácticas de participación se verán fuertemente restringidas; y, en algunos casos, incluso serán contraproducentes. Uno de los mayores riesgos es que se las perciba como un mero formalismo y que cumplan el único propósito de legitimar decisiones previamente definidas.

La apertura de canales para la participación ciudadana implica la responsabilidad de las EFS para generar una permeabilidad efectiva en sus políticas de auditoría, transformando los aportes de la ciudadanía en un valioso insumo para la tarea de fiscalización.

La ciudadanía y las OSC que participan en estos casos deben ser capaces de percibir que sus contribuciones representan mejoras sustanciales en la gestión financiera pública y, concretamente, en el control de la transparencia y la eficiencia en el uso de los recursos y los presupuestos públicos.

Por lo tanto, no es posible medir los resultados efectivos de tales prácticas, pero sí se puede medir su influencia sobre los tomadores de decisiones públicas en cuanto a la configuración de políticas públicas y sobre las acciones de fiscalización concretas de la entidad.

  • ¿Es la institución permeable a los aportes de la sociedad civil en particular y del público en general?
  • ¿Son los funcionarios públicos receptivos a dichas contribuciones y las consideran realmente como un aporte a su trabajo?
  • ¿Cuáles son los cambios específicos en el funcionamiento de la institución que han surgido a raíz de esta práctica?
  • ¿Cuántos ejercicios de auditoría han incorporado los aportes de la ciudadanía? ¿Qué tan relevantes fueron?
  • ¿Los aportes de la ciudadanía han generado mejoras sustanciales en la gestión financiera pública?

Importancia: Alta

Aquellos que se involucran en instancias de participación ciudadana implementadas por las EFS deben conocer los efectos y resultados de sus contribuciones. Sólo de esa forma se valida el ejercicio de compromiso cívico manifestado por los participantes, lo que les permite valorar el mecanismo y que se justifique su continuidad en el tiempo.

Los ciudadanos que no saben si sus contribuciones constituyeron o no un aporte valioso a los procesos de auditoría, no serán capaces de medir el valor de su trabajo ni sentirse motivados para continuar participando. Estarán menos dispuestos a participar la próxima vez.

Por lo tanto, es de fundamental importancia que las EFS den retroalimentación a la ciudadanía y evalúen periódicamente el nivel de cumplimiento.

  • ¿Los actores involucrados en estas instancias de participación ciudadana recibieron retroalimentación sobre sus contribuciones?
  • ¿Saben estos actores cómo sus contribuciones generaron cambios o nuevas direcciones en la institución?
  • ¿Se ha informado a estos actores acerca de cómo la EFS valora sus contribuciones y las considera de utilidad?

Importancia: Alta

Por último, cabe preguntarse sobre los niveles de institucionalización de los mecanismos de participación que se implementan. Si bien no siempre resulta necesario normativizar estas instancias (especialmente cuando son incipientes), la institucionalización de las acciones llevadas a cabo eficazmente puede ser de valor. En muchos casos, por lo tanto, la norma que regula un mecanismo de esta naturaleza puede ser, no una acción que inicia una práctica, sino aquella que la reconoce, la institucionaliza, y la jerarquiza.

Las prácticas consolidadas que no están formalmente institucionalizadas suelen ser más vulnerables a las fluctuaciones coyunturales y a los cambios de dirección, por lo que tienden a ser menos predecibles.

  • ¿Se ha normativizado formalmente el mecanismo de o participativo?
  • ¿Cuáles son los grados de institucionalización de las prácticas dentro de la institución?
  • ¿El diseño normativo del mecanismo se ha nutrido de la experiencia práctica?
  • ¿Los niveles de institucionalización del mecanismo son suficientes para garantizar su estabilidad en el tiempo y posibilidades de profundización?

Comentarios? Por favor notifíquenos aquí.

Bibliography

TPA Initiative – ACIJ (2013): “Audit Institutions in Latin America. Transparency, Citizen Participation and Accountability Indicators”.

OECD (2013): “How can Supreme Audit Institutions Engage External Stakeholders to Enhance Good Governance?”, Concept Note - OECD with Supreme Audit Institutions of Brazil, Chile, South Africa & IDI.

Johnsøn, J. & Søreide, T. (2013): “Methods for learning what works and why in anti-corruption: An introduction to evaluation methods for practitioners”, U4 Issue N°8, Bergen, U4 Anti-Corruption Resource Centre- Chr. Michelsen Institute.

Gertler, P. J. et al. (2011): “Impact Evaluation in Practice”, Washington, DC: World Bank.

Hevia, F. & Vergara-Lope Samana (2011): “How to measure participation”, CIESAS – INDESOL. “Practical Guide For Evaluating Participatory Processes”; Marc Pares, Leonardo Díaz (IGOP/UAB) & Melissa Pomeroy (OIDP/OLDP)

“Supreme Audit Institutions and Stakeholder Engagement Practices. A Stocktaking Report”, Effective Institutions Platform, September 2014.

“Working with Supreme Audit Institutions", Department for International Development (DFID, 2005).

Open Budget Survey 2012, International Budget Partnership (IBP)