Decima Version Mono Graf I A
Decima Version Mono Graf I A
Decima Version Mono Graf I A
Trabajo de Grado en
Modalidad de Trabajo de investigación
Departamento de Telemática
Facultad de Ingeniería Electrónica y Telecomunicaciones
Universidad del Cauca
Popayán, Cauca, 2021
Agradecimientos
Queremos agradecer a Dios por nuestras vidas, a nuestras familias y amigos,
especialmente a nuestros padres y hermanos por su incondicional apoyo y
acompañamiento en esta etapa. Agradecemos a la familia Cerón López por su
cordialidad y acompañamiento. Queremos agradecer a nuestro director el ingeniero
Cristhian Figueroa, nuestro codirector Juan Carlos Corrales y nuestro asesor Juan
Fernando Casanova por su ayuda y guía constante en nuestra investigación.
Resumen
El uso de vehículos aéreos no tripulados (VANT) equipados con cámaras
espectrales se ha incrementado en los últimos años, especialmente en el sector
agrícola, debido a que permite a los agricultores e investigadores analizar el estado
de un cultivo en cuanto a su salud, nutrientes, crecimiento, epidemias, entre otros
parámetros. En Colombia el sector cafetero afronta varios retos, como la necesidad
de incrementar la productividad, el rendimiento y la calidad del café. En este sentido
el presente trabajo estimó el estado de la salud de un cultivo de café de variedad
Castilla ubicado en San Joaquín, Tambo, Cauca con el fin de apoyar la toma de
decisiones de los caficultores. Para ello se midieron datos de clorofila en campo con
el dispositivo CCM-200 plus, se capturaron imágenes multiespectrales con la
cámara MAPIR SURVEY 3 aerotransportada en un VANT SOLO 3DR y se
generaron datos sintéticos con el fin de aumentar el conjunto de datos. Se
obtuvieron 6 índices de vegetación, los cuales, en conjunto con los valores de
clorofila se modelaron a través de la implementación de regresiones lineales simples
y múltiples, árboles de decisión, máquina de vectores, bosque aleatorios y k vecinos
más cercanos. El modelo que presentó el mejor desempeño con el error cuadrático
medio más bajo fue el entrenado con máquina de vectores de soporte. También, se
encontró que los índices que demostraron mejor desempeño en los modelos fueron
el CVI, GNDVI y GCI, los cuales son ampliamente utilizados en la agricultura para
estimar la clorofila de las plantas.
ILUSTRACIÓN 1. FLUJO DE TRABAJO DEL ANÁLISIS BIBLIOMÉTRICO. IMAGEN ADAPTADA DE [31]. ................. 24
ILUSTRACIÓN 2. COMPRENSIÓN Y DISTRIBUCIÓN DEL MAPA ESTRATÉGICO. FUENTE [31] ............................ 25
ILUSTRACIÓN 3. FILTRO DE ETAPAS. FUENTE PROPIA ................................................................................. 27
ILUSTRACIÓN 4. PRIMER PERIODO. FUENTE PROPIA ................................................................................... 28
ILUSTRACIÓN 5. SEGUNDO PERIODO. FUENTE PROPIA ................................................................................ 31
ILUSTRACIÓN 6. DOCUMENTOS DE WOS Y SCOPUS SOBRE IMÁGENES MULTIESPECTRALES DE CULTIVOS DE
CAFÉ. FUENTE PROPIA ....................................................................................................................... 35
ILUSTRACIÓN 7. ETAPAS MODELO CRIPS-DM. FUENTE [250]. .................................................................. 42
ILUSTRACIÓN 8. ETAPAS DISEÑO EXPERIMENTAL. FUENTE ADAPTADA DE [250]. ......................................... 43
ILUSTRACIÓN 9. METODOLOGÍA PARA LA CAPTURA DE DATOS. FUENTE PROPIA. ......................................... 44
ILUSTRACIÓN 10. MONTAJE DEL VANT. FUENTE PROPIA ........................................................................... 45
ILUSTRACIÓN 11.PUNTOS DE POLÍGONO (ROJOS) Y PUNTOS DE CONTROL (VERDES). FUENTE PROPIA. ...... 47
ILUSTRACIÓN 12. NIVEL DE SALUD POR NDVI. FUENTE [262]. ................................................................... 48
ILUSTRACIÓN 13. MAPEO DEL CULTIVO DEL TERRENO. FUENTE PROPIA. .................................................... 48
ILUSTRACIÓN 14.RASTER CALCULATOR DE QGIS. FUENTE PROPIA. .......................................................... 52
ILUSTRACIÓN 15. DISTRIBUCIÓN DE LAS PLANTAS EN EL TERRENO. FUENTE [266] ..................................... 53
ILUSTRACIÓN 16. MUESTREO DE PUNTOS POR HOJA. FUENTE ADAPTADA DE [269]. ................................... 54
ILUSTRACIÓN 17. REVISIÓN DE DATOS. FUENTE PROPIA. ............................................................................ 55
ILUSTRACIÓN 18. ZONA DE MEDIDA DIBUJO. FUENTE ADAPTADA DE [272]. ................................................. 57
ILUSTRACIÓN 19. DIFERENCIA COLOR ENTRE ZONA ALTA (A) Y ZONA MEDIA (B). FUENTE ADAPTADA DE [273].
.......................................................................................................................................................... 57
ILUSTRACIÓN 20. REPORTE DE RESULTADOS DE DATOS SINTÉTICOS OBTENIDOS EN GRETEL. FUENTE
CAPTURA DE LA HERRAMIENTA GRETEL [281]. ................................................................................... 58
ILUSTRACIÓN 21.REPORTE DE CORRELACIÓN ENTRE DATOS DE ENTRENAMIENTO Y SINTÉTICOS. FUENTE
PROPIA ............................................................................................................................................... 58
ILUSTRACIÓN 22. MODELADO DE DATOS. FUENTE PROPIA. ......................................................................... 59
ILUSTRACIÓN 23. RANGOS DE ESTADOS DE NUTRIENTES ADECUADOS PARA LAS HOJAS DE CAFÉ. FUENTE
[252].................................................................................................................................................. 60
ILUSTRACIÓN 24. MAPA DE CALOR DE CORRELACIÓN DE PEARSON. FUENTE PROPIA. ................................ 62
ILUSTRACIÓN 25. DISTRIBUCIÓN ERROR SIN DATOS SINTÉTICOS (A) Y CON DATOS SINTÉTICOS (B). FUENTE
PROPIA. ............................................................................................................................................. 63
ILUSTRACIÓN 26. DATOS REALES (AZUL) Y ESTIMADOS (ROJO) Y CORRELACIÓN DE PEARSON. FUENTE
PROPIA ............................................................................................................................................... 63
ILUSTRACIÓN 27. DISTRIBUCIÓN ERROR ÁRBOL DE DECISIÓN CON DATOS INICIALES (A) E INTEGRANDO
DATOS SINTÉTICOS (B). FUENTE PROPIA ............................................................................................ 65
ILUSTRACIÓN 28. DATOS REALES (AZUL) Y ESTIMADOS (ROJO) Y CORRELACIÓN DE PEARSON. FUENTE
PROPIA. ............................................................................................................................................. 65
ILUSTRACIÓN 29. DISTRIBUCIÓN DEL ERROR DE DATOS DE ENTRENAMIENTO INICIALES (A) Y DATOS
SINTÉTICOS (B) CON MÁQUINAS DE VECTORES. FUENTE PROPIA......................................................... 67
ILUSTRACIÓN 30. DATOS REALES (AZUL) Y ESTIMADOS (ROJO) Y CORRELACIÓN DE PEARSON. FUENTE
PROPIA. ............................................................................................................................................. 67
ILUSTRACIÓN 31. DISTRIBUCIÓN DEL ERROR DE DATOS INICIALES (A) Y DATOS SINTÉTICOS (B) CON BOSQUE
ALEATORIO. FUENTE PROPIA. ............................................................................................................. 69
ILUSTRACIÓN 32. DATOS REALES (AZUL) Y ESTIMADOS (ROJO) Y CORRELACIÓN DE PEARSON. FUENTE
PROPIA. ............................................................................................................................................. 69
ILUSTRACIÓN 33. DISTRIBUCIÓN DEL ERROR DE DATOS INICIALES (A) Y DATOS SINTÉTICOS (B) CON K
VECINOS MÁS CERCANOS. FUENTE PROPIA. ....................................................................................... 71
ILUSTRACIÓN 34. DATOS REALES (AZUL) Y ESTIMADOS (ROJO) Y CORRELACIÓN DE PEARSON. FUENTE
PROPIA. ............................................................................................................................................. 71
ILUSTRACIÓN 35. VALOR REAL Y VALOR DE PREDICCIÓN SEGÚN CADA MODELO. FUENTE PROPIA. .............. 73
LISTA DE TABLAS
1.2 Antecedentes
Gracias al proyecto IoT-Agro1 de la universidad del Cauca tenemos la
oportunidad de trabajar con las cámaras multiespectrales Agrocam y Survey 3.
Estas cámaras poseen las bandas rojo, verde e infrarrojo cercano (NIR, por sus
siglas en inglés), con las cuales podemos hallar índices de vegetación como el
Índice de vegetación de diferencia normalizada (NDVI, por sus siglas en inglés),
el Índice de vegetación de diferencia normalizada verde (GNDVI, por sus siglas
en inglés) y el Índice de vegetación ajustado al suelo (SAVI, por sus siglas en
inglés), los cuales ayudan a analizar el estado de salud de un cultivo.
1.3 Motivación
En Colombia, los caficultores se enfrentan a varios desafíos, entre ellos la falta
de apoyo económico por parte de entidades gubernamentales, recursos
limitados y bajo acceso a tecnologías que optimicen sus actividades [23]. Estas
limitaciones se pueden abordar desde diferentes puntos, sin embargo, desde el
ámbito tecnológico es necesaria una solución eficiente, económica, accesible y
que sea fácil de implementar.
Una de las tecnologías más usadas y menos costosas para optimizar la gestión
agrícola, son los VANT, ya que estos equipados con cámaras multiespectrales
permiten ver la diferencia espectral entre la vegetación sana y la enferma [13],
[24]. Al hacer uso de VANT equipados con cámaras multiespectrales para
analizar cultivos de café se debe tener en cuenta la variedad de suelos, entornos
y el tratamiento que se le da. Por consiguiente, pequeñas variaciones en dichas
condiciones pueden representar un impacto en las diferentes características
presentes en los cultivos y el análisis de su reflectancia [15], [25], [26]. Por
1
IoT-Agro: Alternativas Innovadoras de Agricultura Inteligente para sistemas productivos
agrícolas del departamento del Cauca soportado en entornos de IoT [312].
ejemplo, es diferente analizar cultivos de café bajo sistemas agroforestales a
cultivos de libre exposición ya que crecen en diferentes microclimas.
1.4 Objetivos
1.4.1 Objetivo general
2.1.4 Teledetección
Permite adquirir y recolectar información global a distancia [38]. Al no tener
que entrar en contacto físico con el entorno, se observan ventajas de
optimización de tiempo y cuidado del medio ambiente, ya que no requiere de
pruebas invasivas al cultivo. Algunos de los métodos más utilizados para la
teledetección son los satelitales, cámaras espectrales, VANT e imágenes
laser (LIDAR, Light Detection and Ranging o Laser Imaging Detection and
Ranging), entre otros, en donde se pueden evaluar valores de temperatura,
humedad y luminosidad [39]–[41].
Cuadrante 1° Cuadrante 2°
Tema periodo periodo
VEGETATION-INDEXES 1 1
COMPUTER-VISION 1 1
MATURITY 1 3
CLIMATE-CHANGE 3 3
ALGORITHM 3 4
DRONES 3 1
2
Raspberry Pi es un minicomputador de placa simple, creado inicialmente para incentivar la enseñanza de la
informática.
Ilustración 6. Documentos de WOS y Scopus sobre imágenes multiespectrales de
cultivos de café. Fuente propia
o A.K Torres Galindo et al., [229] desarrollaron un sistema con una Rasberry
Pi B capaz de capturar imágenes multiespectrales en las bandas RGBN
(rojo, verde, azul e infrarrojo cercano) y una aplicación que permite
calcular el índice de vegetación NDVI para estimar la salud de la
vegetación de la palma de aceite de la altillanura de la Orinoquía.
3.1. Materiales
Los materiales y equipos utilizados en el desarrollo del trabajo de investigación
serán mencionados y descritos a continuación:
El color azul hace referencia al estado del arte, el color verde agrupa las fases
de análisis y preparación de los datos y el color gris, las etapas de modelación
y evaluación.
𝐼𝑚𝑊 ∗ 𝐺𝑆𝐷 ∗ 𝐹
𝐻𝑚 =
𝑆𝑊 ∗ 100
Ecuación 1
Donde:
H: altura del vuelo en metros
ImW: ancho de la foto en pixeles
GSD: distancia de muestreo del suelo en centímetros/pixel
SW: ancho del sensor en milímetros
F: distancia focal en milímetros
Ecuación 2
Los valores más comunes de GSD utilizados en la agricultura de precisión
varían de 2cm a 15cm [253]. Tomando estos valores de referencia, la altura
mínima sería de 44m y la altura máxima sería de 327m. Sin embargo, a pesar
de tener valores de referencia, estos no fueron aplicados. En primera
instancia, porque la altura máxima de 327m excede la altura legal permitida
en Colombia regulada por la Unidad Administrativa Especial de Aeronáutica
Civil de 123m [254]. Por otro lado, la altura mínima utilizada fue de 25m (GSD
=1.2cm), esto con el fin de buscar la mejor resolución en las fotos teniendo
en cuenta los obstáculos del terreno (otro tipo de árboles). Cabe resaltar que
el terreno de análisis es un cultivo de café de variedad Castillo ubicado en
una finca en San Joaquín, Tambo, Cauca.
Después de determinar las alturas del vuelo (25m y 75m), Mission Planner
genera la mejor misión de vuelo teniendo en cuenta las especificaciones de
la cámara, como por ejemplo, la altura, un traslape frontal de 80% y un
traslape lateral de 75% [255], [256]. Las misiones de vuelo generan puntos
de espera (puntos verdes) con coordenadas en los cuales el VANT enviará
una señal PWM a la cámara, para que esta tome una fotografía. Este proceso
de configuración de vuelo se describe detenidamente en el ANEXO A,
además las imágenes multiespectrales capturadas en los vuelos se
encuentran disponibles en un repositorio de GitHub3.
3
Repositorio de Github disponible en [313].
Ilustración 11.Puntos de polígono (rojos) y puntos de control (verdes).
Fuente propia.
Las imágenes multiespectrales obtenidas fueron procesadas en la
herramienta software agisoft metashape para la creación del ortomosaico
(representación proyectada ortogonal del terreno en forma de foto [257]). El
proceso necesario para generar el ortomosaico, a partir de las imágenes
multiespectrales individuales, se encuentra descrito detalladamente en el
ANEXO B.
Para obtener los índices de vegetación NDVI, GNDVI, RVI, GCI, NRVI y CVI
se cargaron las ortofotos en el programa QGIS, se dibuja un recuadro de
cada árbol muestreado (figura roja) del terreno, como se observa en la
Ilustración 13. Además, se ve el cultivo de café segmentado en 3 secciones,
3 hileras con 5 filas y cada fila con 30 cafetos, dando un total de 450 cafetos.
El mapeo del cultivo del terreno se describe detalladamente en la sección
3.2.1.3 Muestreo de clorofila, en donde se explica la selección del mapeo en
forma de X y el número de muestras a tomar.
N° hojas σ CCI
10 58.22
20 55.70
30 55.04
40 55.56
50 54.89
60 54.45
70 54.43
4
Orgánulo presente en las plantas que contiene la clorofila y realiza la fotosíntesis
[314]
σ CCI por hoja
47.9
15.73
13.85
6.7
5.8
10.05
4.94
4.09
22.11
19.62
19.89
26.54
27.34
15.73
Filtrado de datos
Ilustración 19. Diferencia color entre zona alta (a) y zona media (b). Fuente
adaptada de [269].
Tabla 8. Correlación de Pearson de índices de vegetación. Fuente propia
5
Repositorio de github https://github.com/NataliaArteaga/MultispectralImagesCoffee.
Ilustración 24. Mapa de calor de correlación de Pearson. Fuente propia.
Los árboles de decisión son algoritmos que al igual que las regresiones
relacionan distintas variables con el fin de predecir otra, utilizados
principalmente cuando la variable de respuesta es numérica. Los árboles de
decisión poseen una estructura que está formada por ramas y nodos.
Los nodos internos representan las características que se tienen en cuenta
para tomar una decisión, las ramas representan la decisión en función de una
condición y los nodos finales el resultado de la decisión, es decir, representa
la estimación esperada [299], [300]. Para la implementación se utilizó la
librería sklearn con la configuración por defecto [301]. El algoritmo se entrenó
con los datos iniciales y el conjunto de datos integrando los datos sintéticos,
se observa en la Tabla 13 que nuevamente el error disminuyó al incluirlos y
en la Ilustración 27 mejoró la distribución gaussiana (que es lo esperado) al
incorporar los datos sintéticos.
Tabla 13. Error árbol de decisión con datos iniciales y con datos sintéticos.
Fuente propia
Ilustración 27. Distribución error árbol de decisión con datos iniciales (a) e
integrando datos sintéticos (b). Fuente propia
En la Tabla 19 se registran los errores obtenidos con los datos iniciales y con
los datos sintéticos del modelo de la librería sklearn. Nuevamente se
demuestra una mejoría en el error al modelar el algoritmo con los datos
sintéticos. Esto también se observa al mejorar la distribución gaussiana
obtenida en la Ilustración 33.
Ilustración 33. Distribución del error de datos iniciales (a) y datos sintéticos
(b) con k vecinos más cercanos. Fuente propia.
La Ilustración 34 muestra en una gráfica una línea azul que vislumbra los
valores reales versus la línea roja que son los valores estimados, además se
observa la correlación dada, la cual es de 0.446, la cual es moderada y no
tan eficiente en comparación con los modelos anteriores. Entre mayor sea la
cercanía entre los puntos al valor real (azul), mejor es el comportamiento del
modelo.
K
Máquina
Regresión Árbol de Bosque vecinos
de Media
lineal decisión aleatorio más
vectores
cercanos
MAE 8.412 11.69 8.44 10.25 9.43 9.64
NDVI
MSE 108.68 242.01 117.18 177.50 140.70 157.21
MAE 8.414 9.84 7.96 8.848 8.30 8.67
CVI
MSE 116.22 175.79 108.31 137.78 111.51 129.92
GNDVI MAE 8.44 11.04 7.95 9.49 8.23 9.03
MSE 115.56 209.56 108.81 155.41 115.68 141
MAE 8.403 11.70 8.50 10.27 9.42 9.66
NRVI
MSE 108.08 241.79 118.93 177.30 140.97 157.41
MAE 8.416 11.11 8.45 9.64 9.27 9.38
RVI
MSE 108.31 213.79 117.26 162.17 135.91 147.49
MAE 8.45 11.16 7.96 9.38 8.26 9.04
GCI
MSE 115.56 219.582 8.44 157.02 17.15 103.55
Para finalizar, la salud del cultivo en general se estima como adecuada en cada
planta tomando de referencia el valor de clorofila de referencia y el estimado, ya que
este supera los 54 CCI en cada planta. En términos generales la cámara mapir
Survey aerotransportada en VANT fue útil para estimar la salud de cultivos de café,
no obstante, se aconseja tener más indicativos (carbono, nitrógeno, abono, entre
otros) a parte de la clorofila medida con el CCM 200 PLUS para alimentar los
modelos de predicción.
LIMITACIONES
Como se ha mencionado en diferentes secciones, en el desarrollo de esta
investigación existieron varias limitaciones, una de las más grandes fue la dificultad
de no poder ir frecuentemente a tomar muestras con el clorofilómetro y los vuelos
del VANT, esto debido a la coyuntura por la que está pasando el mundo debida a la
pandemia por COVID-19, sumado a la problemática socio cultural de Colombia y el
Cauca en el marco del paro nacional. Lo anterior en combinación con la variabilidad
climática, en donde en varias ocasiones se presentaron lluvias, lo que no permitió
continuar con la captura de datos, lo que influyó en que el volumen de datos
obtenido no fuera de la cantidad esperada. Esto en conjunto con las variables
climáticas tales como: lluvia, nubosidad, viento, entre otras, hicieron que el vuelo del
VANT y la concentración de clorofila se vieran afectadas, lo cual altera la relación
que se quiere establecer entre los índices de vegetación (calculados a partir de las
imágenes multiespectrales) y el valor CCI, que se toma manualmente, proceso que
tiene una duración aproximada de 8 horas, espaciado aproximadamente por 4 horas
del vuelo del VANT.
Otro inconveniente que se tuvo en el desarrollo del proyecto fue la falta de acceso
a un cultivo tecnificado que permitiera tener en cuenta otras variables que se
relacionan con la salud del cultivo como por ejemplo el nitrógeno, abono utilizado y
carbono, lo cual permitiría tener más variables y datos a relacionar para entrenar los
modelos, no sólo la clorofila capturada por el CCM200. Las restricciones de acceso
fueron atribuidas a la pandemia y al paro nacional.
APORTES
Para aumentar el tamaño del conjunto de datos obtenidos inicialmente y superar las
limitantes de tiempo y espacio para tomar más muestras en campo, se optó por una
alternativa usada en el ámbito del aprendizaje automático, la generación de datos
sintéticos [1]–[5].
Regresión lineal
Tabla 2. Error regresión lineal con y sin datos sintéticos. Fuente propia
Métodos de corrección
[1] J. Tremblay et al., “Training Deep Networks with Synthetic Data: Bridging the
Reality Gap by Domain Randomization,” 2018.
[2] A. Kortylewski, B. Egger, A. Schneider, T. Gerig, A. Morel-Forster, and T.
Vetter, “Analyzing and Reducing the Damage of Dataset Bias to Face
Recognition with Synthetic Data,” 2019.
[3] Y. Toda et al., “Training instance segmentation neural network with synthetic
datasets for crop seed phenotyping,” Commun. Biol., vol. 3, no. 1, pp. 1–12,
Dec. 2020.
[4] T. A. Le, A. G. Baydin, R. Zinkov, and F. Wood, “Using synthetic data to train
neural networks is model-based reasoning,” in Proceedings of the
International Joint Conference on Neural Networks, 2017, vol. 2017-May, pp.
3514–3521.
[5] F. S. Saleh, “Effective Use of Synthetic Data for Urban Scene Semantic
Segmentation ⋆,” 2018.
[6] Enzyme, “¿Qué son las redes neuronales y cómo se aplican?” [Online].
Available: https://blog.enzymeadvisinggroup.com/redes-neuronales-que-son-
y-aplicaciones. [Accessed: 21-May-2021].
[7] Keras, “Keras: the Python deep learning API.” [Online]. Available:
https://keras.io/. [Accessed: 21-May-2021].
[8] J. Han and C. Moraga, “The influence of the sigmoid function parameters on
the speed of backpropagation learning,” in Lecture Notes in Computer
Science (including subseries Lecture Notes in Artificial Intelligence and
Lecture Notes in Bioinformatics), 1995, vol. 930, pp. 195–201.
[9] K. G. Kim, “Deep learning,” Nature, vol. 29, no. 7553, pp. 1–73, 2019.
[10] R. M. Neal, “Connectionist learning of belief networks,” Artif. Intell., vol. 56,
no. 1, pp. 71–113, Jul. 1992.
[11] V. Nair and G. E. Hinton, “Rectified Linear Units Improve Restricted
Boltzmann Machines.”
[12] P. Ramachandran, B. Zoph, and Q. V. Le, “Searching for Activation
Functions,” arXiv, Oct. 2017.
[13] E. Thoret, T. Andrillon, D. Léger, and D. Pressnitzer, “Probing machine-
learning classifiers using noise, bubbles, and reverse correlation,” bioRxiv.
bioRxiv, p. 2020.06.22.165688, 23-Jun-2020.
[14] Keras, “Callbacks.” [Online]. Available: https://keras.io/api/callbacks/.
[Accessed: 20-May-2021].
[15] M. D. Zeiler et al., “On rectified linear units for speech processing,” in
ICASSP, IEEE International Conference on Acoustics, Speech and Signal
Processing - Proceedings, 2013, pp. 3517–3521.
[16] G. E. Dahl, T. N. Sainath, and G. E. Hinton, “Improving deep neural networks
for LVCSR using rectified linear units and dropout,” in ICASSP, IEEE
International Conference on Acoustics, Speech and Signal Processing -
Proceedings, 2013, pp. 8609–8613.
[17] R. Roberts, L. Inzerillo, and G. Di Mino, “Exploiting data analytics and deep
learning systems to support pavement maintenance decisions,” Appl. Sci.,
vol. 11, no. 6, p. 2458, Mar. 2021.
[18] L. Tian, T. Cai, E. Goetghebeur, and L. J. Wei, “Model Evaluation Based on
the Distribution of Estimated Absolute Prediction Error Model Evaluation
Based on the Distribution of Estimated Absolute Prediction Error.”
[19] Physics, “Error Analysis.” [Online]. Available:
http://felix.physics.sunysb.edu/~allen/252/PHY_error_analysis.html.
[Accessed: 20-May-2021].