¿Cómo lo hacemos?

 1. Monitoreo de procesos de compra

1.1. Matrices de riesgo 

Gracias a la experiencia del equipo del Observatorio, se realizó un trabajo de construcción de una matriz de riesgo orientada a identificar comportamientos que deben ser corregidos por las entidades compradoras. 

Esta matriz de riesgo es un compendio de hallazgos tras analizar durante dos años  la gestión de abastecimiento de las instituciones compradoras. Diariamente, analistas expertos revisan los procesos de compra y marcan los hallazgos detectados, para luego comenzar el proceso de gestión activa para comunicarlos a los responsables del proceso y sugerir acciones.

La matriz de riesgos está contenida en un aplicativo especialmente diseñado en Microsoft CRM Dynamics, que ha funcionado por más de un año. Este aplicativo extrae información relevante para la revisión por parte de los analistas mediante consultas SQL a las bases de datos, disponiéndola en una sola pantalla para mayor comodidad en la revisión. Esta información es actualizada tres veces al día, para contar con información oportuna respecto a los procesos de compra publicados por los organismos del Estado. 

El aplicativo registra la totalidad de los hallazgos detectados por los analistas, el historial de cada proceso revisado y su estado (sin observaciones, gestionada exitosamente o gestionada no exitosamente). Toda la información es depositada en bases de datos, lo que permite obtener reportes.

Asimismo, se han construido una serie de Red Flags (o alarmas), que tienen como objetivo procesar información que contribuya a la revisión de los procesos de compra. Dichas alarmas se construyeron realizando inteligencia de negocios en las bases de datos con las que cuenta la Dirección ChileCompra, y consisten en consultas en SQL Server que periódicamente (de forma semanal, diaria, e incluso en lapso de horas) actualizan la información. De esta forma, los analistas cuentan con datos procesados automáticamente, en forma actualizada y oportuna. 

1.2. Monitoreo del comportamiento de compradores del Estado

Diariamente, el Observatorio realiza una revisión integral de los procesos de compra, que incluyen, además de bases de licitación y sus anexos, el foro de consultas, la existencia de reclamos y actas de evaluación, entre otros. Dicha revisión es apoyada por una serie de alertas automatizadas (red flags), que entregan información respecto a los plazos de publicación acotados, montos implicados, solicitud de garantías excesivas y preguntas sin respuesta en foros de licitación. 

Los analistas del Observatorio, están organizados en forma sectorial, a fin de lograr especialización que permita hacer más eficiente el proceso de revisión. De esta forma, existe un analista especializado en organismos de Gobierno Central, en municipios y Fuerzas Armadas, instituciones de salud y uno dedicado a la revisión de procesos de Grandes Compras de Convenio Marco.

Licitaciones públicas y privadas: Se revisan procesos de licitación en las distintas etapas de su ciclo de vida (al momento de la publicación, cierre y adjudicación / deserción).  Esto implica que una licitación es revisada en más de una oportunidad, pudiendo detectarse un hallazgo en cualquiera de ellas. 

Órdenes de Compra: Se revisan órdenes de compra provenientes de licitaciones, tratos directos y Convenio Marco. 

Grandes Compras: Son procesos de compra a través de Convenio Marco, que superan el umbral de los US$70.000. Habitualmente, se trata de adquisiciones de montos muy relevantes, y que revisten gran importancia estratégica para las entidades compradoras. A modo de ejemplo, se pueden citar la impresión y distribución a todo el país de la prueba SIMCE, o la adquisición de becas de alimentación a nivel nacional que realiza JUNAEB para los escolares a lo largo del país. Dado lo anterior, en el caso de las Grandes Compras, la revisión se realiza para todos los procesos publicados. 

Cada vez que se detecta un hallazgo en alguno de los procesos de compra revisados, comienza el proceso de gestión activa, que consiste en la comunicación directa con los responsables del proceso para recomendar acciones a seguir. Previamente, la detección es registrada de manera sistemática en una matriz de riesgo que está creada en CRM Dynamics, dando estandarización al proceso de revisión, registro y auditoría de los hallazgos detectados. 

Actualmente, la base de datos correspondiente a la matriz de riesgo del Observatorio tiene un historial de 400 mil registros aproximadamente, equivalentes a la operación de un año y medio del Observatorio y a 5 GB de datos almacenados.

1.3. Monitoreo del Comportamiento de Proveedores del Estado

El Observatorio ChileCompra ha desarrollado un total de 16 Red Flags orientadas a medir el comportamiento de los proveedores que transan en www.mercadopublico.cl (118 MIL PROVEEDORES ACTIVOS). Dichas alertas electrónicas y automatizadas, tienen relación con tasa de éxito en licitaciones, concentración en el origen de los montos transados y reclamos, entre otros.

1.4. Modelo de Riesgo Observatorio ChileCompra

Como apoyo a las labores de análisis que ejecuta el equipo de trabajo del Observatorio, se generaron modelos de riesgo que permitieran la priorización de los procesos de compra a ser analizados cada día. 

Este modelo trabaja con dos dimensiones esenciales:

  • 1. La probabilidad de ocurrencia del fenómeno analizado
  • 2. El nivel de impacto que tiene la ocurrencia del fenómeno

Para la creación de las matrices de riesgo del Observatorio de compras se utilizaron las dimensiones presentadas en la Figura 1.

 

  

Figura 1: Clasificación de Riesgo

 

Tal como puede observarse en la Figura 1, se utilizó como probabilidad de ocurrencia el Score de Riesgo propio de cada proceso de compra y en el caso del impacto, se utilizó el monto monetario del proceso analizado junto a su nivel de visibilidad, lo cual puede interpretarse como la importancia del organismo involucrado, que en el caso del Observatorio se traduce en la categorización de organismos estratégicos y el rubro involucrado.

Esta esquematización del riesgo permite a su vez clasificar los distintos procesos de compra en función de su Score de Riesgo y su impacto, tal como se presenta en la Figura 2.

 

Figura 2: Clasificación de Riesgo de un Proceso de Compra Pública

 

Según la Figura 2, esta visión facilita la clasificación de los procesos de compra y, por tanto, permite también priorizar los procesos en función de los énfasis que deseen dar los analistas del Observatorio a sus labores de monitoreo.

Para la generación del Score de Riesgo, la propuesta metodológica se basó en dos enfoques:

    • 1. Determinístico: Fundamentado en la historia de anomalías detectadas de manera histórica, encontrando los pesos de cada uno de los factores revisados, considerando el juicio experto de los Analistas del Observatorio.
    • 2. Probabilístico: Aplicando técnicas de minería de datos, desde un enfoque no supervisado. De esta forma, es el modelo el que encontrará los patrones sin tener una variable a estudiar. Este enfoque fue utilizado para alimentar el enfoque determinístico, desde el cual se obtiene el Score de Riesgo de cada proceso de compra.

En la Figura 3 se presenta un ejemplo del resultado obtenido con un modelo no supervisado de clustering sobre licitaciones efectuadas desde enero del año 2013 a mediados de Julio del año 2014.

Figura 3: Clusters Modelo No Supervisado

Figura 3: Clusters Modelo No Supervisado

 

En el caso presentado en la Figura 3, el modelo resultante está compuesto por 9 clusters y la intensidad del color azul en cada uno de ellos hace referencia a la cantidad de licitaciones que forman cada uno.

Adicionalmente, en la Figura 4 se presenta parte del perfilamiento de los clusters del modelo no supervisado presentado en la Figura 3, en el cual destaca la forma de visualizar tanto las variables discretas,  a través de una columna con la participación de cada uno de los valores representados por un color, como las variables continuas, para las cuales se presenta la distribución con su promedio y la desviación en forma gráfica. 

(clik para agrandar)

Figura 4: Perfilamiento de cada uno de los Clusters

Figura 4: Perfilamiento de cada uno de los Clusters

 

Al analizar la Figura 4 es interesante observar el Cluster 2, en el cual hay un alto porcentaje de licitaciones que presentan un alto ratio de adjudicaciones del proveedor en cuestión con la misma institución, lo que podría interpretarse como un comportamiento anómalo.

A partir de este análisis fue posible alimentar el modelo determinístico con nuevas variables que aumentaron el poder predictivo de los modelos de Scoring de Riesgo, mejorando con ello la efectividad de las matrices de riesgo.