A comparison of artificial neural networks and random forests to predict native fish species richness in Mediterranean rivers

Une comparaison des réseaux de neurones et des forêts aléatoires pour prédire la richesse en espèces de poissons indigènes dans les rivières méditerranéennes

Institut d’Investigació per a la Gestió Integrada de Zones Costaneres, Universitat Politècnica de València, C/ Paranimf, 1, 46730 Grau de Gandia, València, Spain

^⋆ Corresponding author: estherjuliaolaya@gmail.com

Received: 27 December 2012
Revised: 5 May 2013
Accepted: 7 May 1900

Abstract

Machine learning (ML) techniques have become important to support decision making in management and conservation of freshwater aquatic ecosystems. Given the large number of ML techniques and to improve the understanding of ML utility in ecology, it is necessary to perform comparative studies of these techniques as a preparatory analysis for future model applications. The objectives of this study were (i) to compare the reliability and ecological relevance of two predictive models for fish richness, based on the techniques of artificial neural networks (ANN) and random forests (RF) and (ii) to evaluate the conformity in terms of selected important variables between the two modelling approaches. The effectiveness of the models were evaluated using three performance metrics: the determination coefficient (R²), the mean squared error (MSE) and the adjusted determination coefficient (R²_adj and both models were developed using a k-fold crossvalidation procedure. According to the results, both techniques had similar validation performance (R² = 68% for RF and R² = 66% for ANN). Although the two methods selected different subsets of input variables, both models demonstrated high ecological relevance for the conservation of native fish in the Mediterranean region. Moreover, this work shows how the use of different modelling methods can assist the critical analysis of predictions at a catchment scale.

Résumé

Les techniques d’apprentissage automatique (ML) sont devenues importantes pour aider à la décision dans la gestion et la conservation des écosystèmes aquatiques d’eau douce. Étant donné le grand nombre de techniques ML pour améliorer la compréhension de l’utilité des ML en écologie, il est nécessaire de réaliser des études comparatives de ces techniques comme analyse préparatoire pour des applications de modèles futurs. Les objectifs de cette étude étaient : (i) de comparer la fiabilité et la pertinence écologique de deux modèles prédictifs pour la richesse de poisson, basé sur les techniques de réseaux de neurones artificiels (ANN) et les forêts aléatoires (RF) et (ii) d’évaluer la conformité en termes de sélection des variables importantes entre les deux approches de modélisation. L’efficacité des modèles a été évaluée au moyen de trois indicateurs de performance : le coefficient de détermination (R²), l’erreur quadratique moyenne (MSE) et le coefficient de détermination ajusté (R²_adj et les deux modèles ont été développés en utilisant une procédure de validation croisée k-fold. Selon les résultats, les deux techniques ont des performances de validation similaires (R² = 68 % pour RF et R² = 66 % pour ANN). Bien que les deux méthodes aient choisi différents sous-ensembles de variables d’entrée, les deux modèles ont démontré la pertinence écologique pour la conservation des poissons indigènes dans la région méditerranéenne. En outre, ce travail montre comment l’utilisation de différentes méthodes de modélisation peut aider à l’analyse critique des prévisions à l’échelle du bassin versant.