Exactitud

Estimaciones de la precisión del mapeo de la cobertura del suelo por el proyecto Mapbiomas

ACCESO A EL PANEL DE ESTADÍSTICAS DE LA COLECION 2.0

El análisis de precisión es la principal forma de evaluar la calidad del mapeo realizado por Mapbiomas. Además de decir cuál es la tasa de aciertos general, el análisis de precisión también revela estimaciones de las tasas de aciertos y errores para cada clase asignada. MapBiomas evaluó la precisión global y para cada clase de uso y cobertura para todos los años entre 1985 y 2018.

Las estimaciones de precisión se basaron en la evaluación de una muestra de píxeles, que llamamos la base de datos de referencia, que consta de ~ 75,000 muestras. El número de píxeles en la base de datos de referencia fue predeterminado por técnicas de muestreo estadístico. En cada año, cada píxel de la base de datos de referencia fue evaluado por técnicos capacitados en interpretación visual de imágenes Landsat. La evaluación de precisión se realizó utilizando métricas que comparan la clase asignada con la clase evaluada por los técnicos en la base de datos de referencia.

En cada año, el análisis de precisión se realiza a partir de la tabulación cruzada de las frecuencias muestreadas de las clases mapeadas y reales, en el formato de la Tabla 1. Las frecuencias ni,j representan el número de píxeles en la muestra clasificada como clase i, y evaluados como clase j. Los totales marginales de líneas Formula1 representan el número de muestras mapeadas como clase i, mientras que los totales marginales de columnas Formula2  representan el número de muestras evaluadas por los técnicos como clase j. La tabla 1 se llama matriz de error o matriz de confusión.

A análise de acurácia é a principal forma de avaliação da qualidade do mapeamento realizado pelo Mapbiomas. Além de dizer qual a taxa de acerto geral, a análise de acurácia também revela estimativas das taxa de acerto e de erro para cada classe mapeada. O MapBiomas avaliou a acurácia global e para cada classe de uso e cobertura para todos os anos entre 1985 e 2018.

Tabla 1: matriz de error de muestra genérica

Tabela1 mapbiomas

A partir de los resultados de la Tabla 1, las proporciones de la muestra en cada celda de la tabla se estiman por Formula3 Formula4. La matriz de valores Formula5 luego se usa para generar:

  1. La precisión del usuario: son las estimaciones de las fracciones de píxeles de la asignación, para cada clase, clasificadas correctamente. La precisión del usuario está asociada con un error de comisión, que es el error cometido al asignar un píxel a la clase i, cuando pertenece a otra clase. La precisión del usuario para la clase i se estima mediante Formula6 y el error de comisión por Formula7. Estas métricas están asociadas con la confiabilidad de cada clase asignada. 
  2. Precisión del productor: estas son las fracciones de muestra de píxeles de cada clase asignadas correctamente a sus clases por los clasificadores. La precisión del productor está asociada con el error de omisión, que ocurre cuando no podemos asignar un píxel de clase j correctamente. La precisión del productor para la clase j se estima por Formula8 y el error de omisión por Formula9. Estas métricas están asociadas con la sensibilidad del clasificador, es decir, la capacidad de distinguir correctamente una clase particular de otras.
  3. Precisión global: Es la estimación de la proporción de corrección global de los clasificadores. La estimación viene dada por Formula10 n, La suma de la diagonal principal de la matriz de proporciones. El complemento de precisión o el error total Formula11 todavía se descompone en desacuerdo de área y desacuerdo de asignación1. La discrepancia de área mide la fracción del error atribuido a la cantidad de área asignada incorrectamente a las clases por el mapeo, mientras que la discrepancia de asignación a la proporción de errores de desplazamiento.

La matriz también proporciona estimaciones de los diferentes tipos de errores. Por ejemplo, es posible ver a través de estos la estimación de la composición del área de cada clase asignada. Por lo tanto, además de la tasa de éxito de la clase asignada como bosque, por ejemplo, también estimamos qué fracción de estas áreas puede ser pastos u otras clases de cobertura y uso de la tierra, por año. Entendemos que este nivel de transparencia informa a los usuarios y maximiza el potencial de mapeo de varios tipos de usuarios. Para eso, construimos un aplicativo para facilitar la visualización de la precisión y los errores de mapeo,

1- Pontius Jr, R. G., & Millones, M. (2011). Death to Kappa: birth of quantity disagreement and allocation disagreement for accuracy assessment. International Journal of Remote Sensing, 32(15), 4407-4429.


Sobre los gráficos

Estadísticas Generales

Mostrar la precisión total anual promedio y el error descompuesto en desacuerdo de área y asignación.Acuracia img1

Gráfico 1. Gráfico de precisión anual total:

Este gráfico muestra la precisión total y el error total por año. El error total se desglosa en área y desacuerdo de asignación. La precisión se representa en la parte superior y los errores en la parte inferior del gráfico.

Acuracia img2

Gráfico 2. Matriz de errores:

Este gráfico muestra la precisión del usuario, el productor y la confusión entre clases, para cada año. El primero muestra las confusiones de cada clase asignada. El segundo muestra las confusiones de cada clase real.

Acuracia img3
Acuracia img4

Gráfico 3. Historia de la clase:

Este cuadro le permite inspeccionar las confusiones de una clase en particular a lo largo del tiempo. Se muestra la precisión del usuario y el productor para cada clase, junto con las confusiones en cada año.

Acuracia img5
Acuracia img6

ACCESO A EL PANEL DE ESTADÍSTICAS DE LA COLECION 2.0