PAYSAGE DOCUMENTATION

Ce fichier contient des instructions et des informations sur l'installation, l'exécution et les fonctionnalités de l'application VISAGE.

Environnement

• Python 3.8.15

Installation avec Docker (recommanded)

Pour construire l'image Docker, ouvrez un terminal ou une invite de commande dans le répertoire contenant le Dockerfile, puis exécutez la commande suivante :

docker build -t mon_image .

ex: 

docker build -t paysage .

Cela construira une image Docker à partir du Dockerfile dans le répertoire actuel. Vous pouvez spécifier un nom et éventuellement un tag pour votre image en utilisant l'option -t.

docker run --restart always -v /pathto/paysage-app-streamlit/outputs:/app/pages/data -d -p 8502:8502 mon_image

exemple : 

docker run --restart always -v /home/simon/project/paysage-app-streamlit/outputs:/app/pages/data -d -p 8502:8502 paysage

docker run --restart always -v /data/data1/Paysage/data/outputs/:/app/pages/data -v /home/simon/project/paysage-app-streamlit/config:/app/config -v /home/simon/project/paysage-app-streamlit/pages:/app/pages -d -p 8502:8502 paysage

Utiliser -v : pour lier le dossier de sortie du docker ou dossier outputs que vous pouvez créer ou vous souhaitez Utiliser --restart always : Pour que le conteneur se lance automatiquement à chaque redémarraqe de la machine Spécifier le port à utiliser : par défaut le docker --restart always : Pour que le conteneur se lance automatiquement à chaque redémarraqe de la machine -p : pour spéciquer sur quel port on mappe le conteneur (par défaut 8502 ..)

Installation dans un environnement

Requirements text

Installez les dépendances en utilisant l'outil de gestion de paquets Python, pip, avec le fichier requirements.txt fourni. Exécutez la commande suivante :

pip install -r requirements.txt

Cette commande va installer toutes les dépendances répertoriées dans le fichier requirements.txt.

Application

Lancer Application

Pour lancer l'application, exécutez l'une des commandes suivantes :

bash

streamlit run Home.py

ou

bash

python3 -m streamlit run Home.py

A noter

Lancer chaque partie successiement car tout est reglé pour s'enchainer. Les parametres de base sont ceux recommandé dans l'article mais peuvent être modifier selon le besoin. Selectionner au moins 6 ans car BFAST necessite de faire tourner un processus sur 3 ans avant et apres la detection d'un point de rupture

Les pages

Home.py

Fonctionnalités

Page d'accueil.

Fonctions

Aucune

Selectionner_la_zone.py

Fonctionnalités

Sélection manuelle des coordonnées géographiques ou import d'un fichier GEOJSON pour définir la région d'intérêt. Sélection de l'intervalle de temps pour la récupération des données. Affichage d'une carte Folium pour visualiser la région d'intérêt et la bbox. Téléchargement des données à partir d'un catalogue STAC à l'aide de l'API Planetary Computer. Traitement des données téléchargées. Affichage des premières tranches temporelles des données téléchargées avec Matplotlib.

Fonctions

carte_acquisition()
carte_buffer(bbox)
select_date_range()
parametre()
run_script(bbox, start_date, end_date, save_file_name)
data_ndvi_dl(bbox, start_date, end_date, save_file_name)
data_other_dl(bbox, start_date, end_date, save_file_name)

carte_acquisition() Description : Crée une carte Folium pour permettre à l'utilisateur de sélectionner manuellement des coordonnées géographiques en cliquant sur la carte. Entrée : Aucune. Sortie : Aucune.

carte_buffer(bbox) Description : Crée une carte Folium avec une bbox donnée pour afficher la zone d'intérêt avec un buffer. Entrée : bbox (list) - Les coordonnées de la bounding box au format [min_lon, min_lat, max_lon, max_lat]. Sortie : Aucune.

select_date_range() Description : Affiche des widgets pour sélectionner une plage de dates. Entrée : Aucune. Sortie : start_date (datetime) - Date de début sélectionnée par l'utilisateur, end_date (datetime) - Date de fin sélectionnée par l'utilisateur.

parametre() Description : Gère les paramètres d'acquisition de données, y compris la sélection des coordonnées, l'option de saisie manuelle ou l'importation d'un fichier GEOJSON, la sélection de la plage de dates et le démarrage du script pour télécharger et traiter les données. Entrée : Aucune. Sortie : Aucune.

run_script(bbox, start_date, end_date, save_file_name) Description : Exécute le script pour télécharger et traiter les données correspondant aux paramètres spécifiés. Entrée : bbox (list) - Les coordonnées de la bounding box au format [min_lon, min_lat, max_lon, max_lat], start_date (datetime) - Date de début sélectionnée par l'utilisateur, end_date (datetime) - Date de fin sélectionnée par l'utilisateur, save_file_name (str) - Nom du fichier de sauvegarde. Sortie : Aucune.

data_ndvi_dl(bbox, start_date, end_date, save_file_name) Description : Télécharge les données NDVI à partir d'un catalogue STAC en fonction des paramètres spécifiés. Entrée : bbox (list) - Les coordonnées de la bounding box au format [min_lon, min_lat, max_lon, max_lat], start_date (datetime) - Date de début sélectionnée par l'utilisateur, end_date (datetime) - Date de fin sélectionnée par l'utilisateur, save_file_name (str) - Nom du fichier de sauvegarde. Sortie : data (obj) - Données NDVI téléchargées.

data_other_dl(bbox, start_date, end_date, save_file_name) Description : Télécharge d'autres données à partir d'un catalogue STAC en fonction des paramètres spécifiés. Entrée : bbox (list) - Les coordonnées de la bounding box au format [min_lon, min_lat, max_lon, max_lat], start_date (datetime) - Date de début sélectionnée par l'utilisateur, end_date (datetime) - Date de fin sélectionnée par l'utilisateur, save_file_name (str) - Nom du fichier de sauvegarde. Sortie : data (obj) - Autres données téléchargées.

Lissage_sav_gol_weighted.py

Fonctionnalités

Sélection manuelle des coordonnées géographiques ou import d'un fichier GEOJSON pour définir la région d'intérêt. Sélection de l'intervalle de temps pour la récupération des données. Affichage d'une carte Folium pour visualiser la région d'intérêt et la bbox. Téléchargement des données à partir d'un catalogue STAC à l'aide de l'API Planetary Computer. Traitement des données téléchargées. Affichage des premières tranches temporelles des données téléchargées avec Matplotlib.

Fonctions

lister_fichiers_dossier(dossier_path)
preprocess_lissage(data)
lissage(ds, window, data_to_smooth, data_smooth, compteur=0)
all_pix(data_subset, window_selected)
split_data(data)
save_to_netcdf(ds_results, chemin_fichier)
display_first_image(ds, origin)
main()

lister_fichiers_dossier(dossier_path) Description : Liste les fichiers dans un dossier filtrés par ceux commençant par '1_'. Entrée : dossier_path (str) - Chemin du dossier à lister. Sortie : fichiers (list) - Liste des noms de fichiers filtrés.

preprocess_lissage(data) Description : Prétraitement des données pour le lissage. Entrée : data (xarray.Dataset) - Dataset à prétraiter. Sortie : data (xarray.Dataset) - Dataset prétraité.

lissage(ds, window, data_to_smooth, data_smooth, compteur=0) Description : Fonction de lissage des données. Entrée : ds (xarray.Dataset) - Dataset à lisser, window (int) - Taille de la fenêtre de lissage, data_to_smooth (str) - Nom de la variable à lisser, data_smooth (str) - Nom de la variable lissée, compteur (int, facultatif) - Compteur de lissage. Sortie : ds (xarray.Dataset) - Dataset lissé.

all_pix(data_subset, window_selected) Description : Applique la fonction de lissage à tous les pixels. Entrée : data_subset (xarray.Dataset) - Subset de données à traiter, window_selected (int) - Taille de la fenêtre de lissage sélectionnée. Sortie : data_subset (xarray.Dataset) - Subset de données traité.

split_data(data) Description : Divise les données en quatre parties. Entrée : data (xarray.Dataset) - Dataset à diviser. Sortie : part_1, part_2, part_3, part_4 (tuple) - Quatre parties de données divisées.

save_to_netcdf(ds_results, chemin_fichier) Description : Sauvegarde le dataset dans un fichier NetCDF. Entrée : ds_results (xarray.Dataset) - Dataset à sauvegarder, chemin_fichier (str) - Chemin du fichier de sortie. Sortie : None

display_first_image(ds, origin) Description : Affiche la première image du dataset. Entrée : ds (xarray.Dataset) - Dataset contenant les données, origin (str) - Origine de l'image ('upper' ou 'lower'). Sortie : None

main() Description : Fonction principale du script. Entrée : None Sortie : None

ACP.py

Fonctionnalités

Sélection du fichier. Matrice de Corrélation Annuelle. Année Fictive. Année(s) Incomplète(s) Supprimée(s). Matrice de Corrélation Mensuelle. Ratios de Variance Expliquée. Eboulis des Valeurs Propres. Matrice des Composantes Principales (CP). Images Moyennes pour Chaque Composante Principale (CP). Création des Images TIFF.

Fonctions

lister_fichiers_dossier
generate_correlation_heatmap
generate_monthly_ndvi_plot
display_years_missing_months
prepare_dataset_for_acp
standardize_column
calculate_correlation_matrix
perform_pca
plot_eboulis
plot_pca

lister_fichiers_dossier: Description : Cette fonction liste les fichiers dans un dossier spécifié qui commencent par "2_". Entrée : Le chemin du dossier à explorer. Sortie : Une liste des noms des fichiers trouvés dans le dossier.

generate_correlation_heatmap: Description : Cette fonction génère un heatmap de la matrice de corrélation entre les années à partir des données de NDVI. Entrée : Un DataSet contenant les données de NDVI. Sortie : Affichage du heatmap dans l'interface Streamlit.

generate_monthly_ndvi_plot: Description : Cette fonction génère un graphique montrant la moyenne mensuelle du NDVI. Entrée : Un DataSet contenant les données de NDVI. Sortie : Affichage du graphique dans l'interface Streamlit.

display_years_missing_months: Description : Cette fonction identifie les années où des mois manquent dans les données. Entrée : Un DataSet contenant les données de NDVI. Sortie : Les années où des mois manquent.

prepare_dataset_for_acp: Description : Cette fonction prépare le DataSet pour l'Analyse en Composantes Principales (ACP). Entrée : Un DataSet contenant les données de NDVI et une liste d'années à supprimer. Sortie : Un DataFrame contenant les moyennes mensuelles standardisées.

standardize_column: Description : Cette fonction standardise une colonne d'un DataFrame. Entrée : Une colonne du DataFrame. Sortie : La colonne standardisée.

calculate_correlation_matrix: Description : Cette fonction calcule la matrice de corrélation à partir d'un DataFrame standardisé. Entrée : Un DataFrame standardisé. Sortie : Affichage du heatmap de la matrice de corrélation dans l'interface Streamlit.

perform_pca: Description : Cette fonction effectue l'Analyse en Composantes Principales (ACP) sur un DataFrame. Entrée : Un DataFrame standardisé et le nombre de composantes à conserver. Sortie : Description statistique, ratios de variance expliquée, Eboulis des valeurs propres, Matrice des composantes principales.

plot_eboulis: Description : Cette fonction trace l'Eboulis des valeurs propres à partir des pourcentages d'inertie. Entrée : Les pourcentages d'inertie et leur somme cumulée. Sortie : Affichage du graphique dans l'interface Streamlit.

plot_pca: Description : Cette fonction trace les composantes principales après ACP. Entrée : La matrice des composantes principales.

texture.py

FONCTIONNALITÉ

Sélection du fichier d'image. Définition des paramètres de texture. Application du traitement de texture. Affichage du résultat.

Fonction

lister_noms_uniques_avant_cp
texture
afficher_image_tif
main (fonctionnalité principale)

lister_noms_uniques_avant_cp: Description : Cette fonction liste les noms uniques des fichiers avant le suffixe "CP" dans un dossier spécifié. Entrée : Le chemin du dossier à explorer. Sortie : Une liste contenant les noms uniques des fichiers trouvés.

texture: Description : Cette fonction applique le traitement de texture sur une image MODIS à l'aide d'un script externe. Entrée : nom_image : Le nom de l'image sans l'extension. rad : Le paramètre de rayon pour le traitement de texture. offset : Le paramètre de décalage pour le traitement de texture. Sortie : Exécute le script de traitement de texture et affiche un message de succès à la fin.

afficher_image_tif: Description : Cette fonction affiche une image TIFF dans l'interface Streamlit. Entrée : Le chemin de l'image TIFF à afficher. Sortie : Affiche l'image dans l'interface Streamlit.

main (fonctionnalité principale) : Description : Cette fonctionnalité permet à l'utilisateur de sélectionner un fichier, de définir les paramètres de texture, puis d'appliquer le traitement de texture. Entrée : Aucune. Sortie : Affiche l'interface utilisateur avec les options de sélection et de paramétrage. Une fois les paramètres définis et le traitement de texture appliqué, affiche un message de succès.

CREATION_DATASET.py

Cette page permet à l'utilisateur de sélectionner un fichier d'image, de choisir parmi plusieurs options de bandes, puis de créer un ensemble de données (dataset) en empilant les bandes sélectionnées dans un fichier TIFF multibande.

FONCTIONNALITÉS

Sélection du fichier d'image. Sélection des options de bandes. Affichage des dimensions des bandes sélectionnées. Création du dataset.

FONCTION

lister_noms_uniques_avant_cp
selecti_bande
creation_dataset
main

lister_noms_uniques_avant_cp(dossier_path) : Description : Cette fonction parcourt un dossier spécifié et renvoie une liste des noms uniques des fichiers avant le suffixe "CP" dans leur nom. Entrée : Le chemin du dossier où rechercher les fichiers. Sortie : Une liste des noms uniques des fichiers.

selecti_bande(selected_options, fichier_selectionne) : Description : Cette fonction sélectionne les bandes d'image en fonction des options choisies par l'utilisateur. Entrées : Les options sélectionnées par l'utilisateur et le nom du fichier d'image sélectionné. Sortie : Une liste des bandes d'image correspondant aux options sélectionnées.

creation_dataset(nom_dataset, bandes, fichier_selectionne) : Description : Cette fonction crée un dataset en empilant les bandes d'image sélectionnées et les enregistre dans un fichier TIFF multibande. Entrées : Le nom du dataset à créer, la liste des bandes d'image sélectionnées et le nom du fichier d'image sélectionné. Sortie : Aucune (le dataset est enregistré dans un fichier TIFF).

main() : Description : La fonction principale qui exécute le programme Streamlit. Fonctionnalités : Sélection du fichier d'image. Sélection des options de bandes. Affichage des dimensions des bandes sélectionnées. Saisie du nom du dataset. Création du dataset en empilant les bandes sélectionnées.

SEGMENTATION.py

Fonctionnalités

Cette page permet de segmenter des images raster et de convertir les résultats de la segmentation en fichiers géopackage (GPKG).

Fonction

lister_fichiers_dossier_contenant
creer_dossier_si_nexiste_pas
tif_to_gpck
main

lister_fichiers_dossier_contenant(dossier_path, texte_contenu) : Description : Cette fonction recherche les fichiers dans un dossier contenant un texte spécifique dans leur nom et les renvoie. Entrées : Le chemin du dossier à parcourir et le texte à rechercher dans les noms des fichiers (par défaut, "DSet"). Sortie : Une liste des noms des fichiers contenant le texte spécifié dans leur nom.

creer_dossier_si_nexiste_pas(chemin_dossier) : Description : Cette fonction crée un dossier s'il n'existe pas déjà. Entrée : Le chemin du dossier à créer. Sortie : Aucune.

tif_to_gpck(dataset, i) : Description : Cette fonction convertit un fichier TIFF en fichiers géopackage (GPKG). Entrées : Le nom du dataset et un identifiant. Sortie : Aucune (les résultats de la conversion sont enregistrés dans des fichiers géopackage).

main() : Description : La fonction principale qui exécute le programme Streamlit. Fonctionnalités : Sélection du fichier d'image à segmenter. Création des dossiers nécessaires pour enregistrer les résultats de la segmentation. Lancement du processus de segmentation pour différentes valeurs. Conversion des résultats de segmentation en fichiers géopackage. Affichage d'un message de succès une fois le processus terminé.

zone_statistic.py

Fonctionnalités

La fonctionnalité de cette page est de permettre à l'utilisateur de sélectionner un dataset à partir d'une liste de fichiers disponibles dans un dossier spécifique, puis de lancer le calcul des statistiques zonales (zonal statistics) pour ce dataset à l'aide d'un script Python externe.

Fonction

lister_fichiers_dossier_contenant
creer_dossier_si_nexiste_pas
main

lister_fichiers_dossier_contenant(dossier_path, texte_contenu) : Cette fonction prend en entrée le chemin d'un dossier et un texte à rechercher dans les noms de fichiers. Elle parcourt les fichiers dans le dossier spécifié et retourne une liste des noms de fichiers qui contiennent le texte spécifié.

creer_dossier_si_nexiste_pas(chemin_dossier) : Cette fonction vérifie si un dossier existe à l'emplacement spécifié. Si le dossier n'existe pas, la fonction crée le dossier. Sinon, la fonction affiche un message indiquant que le dossier existe déjà.

main() : La fonction principale de l'application. Elle crée une interface Streamlit avec un titre "Zonal Statistique". Elle utilise la fonction lister_fichiers_dossier_contenant() pour obtenir la liste des datasets disponibles dans le dossier spécifié. Elle affiche un menu déroulant permettant à l'utilisateur de sélectionner un dataset. Lorsque l'utilisateur clique sur le bouton "Calculer Zonal Stats", la fonction lance un processus de calcul des statistiques zonales pour le dataset sélectionné en utilisant un script externe. Pour chaque itération de la boucle for avec les valeurs [100, 200, 300, ..., 1500], elle exécute le script zstat_script.py avec les paramètres correspondants à la valeur actuelle de l'itération et le dataset sélectionné. Après avoir terminé le processus, un message de succès est affiché à l'utilisateur.

CLustering.py

Fonctionnalite

Sélection du Dataset et du GeoPackage (GPKG). Affichage des Données Géospatiales. Sélection des Attributs pour le Clustering. Réglage du Nombre de Clusters. Clustering des Données. Enregistrement des Résultats du Clustering.

Fonction

lister_fichiers_dossier_contenant
lister_fichiers_gpkg
read_gpkg
filtrer_attributs_par_mot_cle
creer_dossier_si_nexiste_pas
clustering
main

lister_fichiers_dossier_contenant(dossier_path, texte_contenu) : Cette fonction liste les fichiers contenus dans un dossier spécifique qui contiennent un texte spécifié dans leur nom. Paramètres :

dossier_path : Le chemin du dossier à inspecter. texte_contenu : Le texte spécifique que les noms des fichiers doivent contenir. Retourne : Une liste des noms de fichiers qui répondent aux critères de recherche.

lister_fichiers_gpkg(dossier_path) : Cette fonction liste les fichiers GeoPackage (GPKG) contenus dans un dossier spécifié. Paramètres : dossier_path : Le chemin du dossier à inspecter. Retourne : Une liste des noms des fichiers GeoPackage présents dans le dossier.

read_gpkg(dataset_selectionne, gpkg_selectionne) : Cette fonction lit un fichier GeoPackage (GPKG) spécifié et affiche les données géospatiales contenues sous forme de carte. Paramètres : dataset_selectionne : Le nom du dataset sélectionné par l'utilisateur. gpkg_selectionne : Le nom du fichier GeoPackage (GPKG) sélectionné par l'utilisateur. Retourne : Le GeoDataFrame contenant les données géospatiales.

filtrer_attributs_par_mot_cle(gdf, mot_cle) : Cette fonction filtre les attributs (colonnes) d'un GeoDataFrame (gdf) qui contiennent un mot-clé spécifié. Paramètres : gdf : Le GeoDataFrame contenant les données géospatiales. mot_cle : Le mot-clé à rechercher dans les noms des attributs. Retourne : Une liste des noms d'attributs qui contiennent le mot-clé spécifié.

creer_dossier_si_nexiste_pas(chemin_dossier) : Cette fonction vérifie si un dossier existe à un chemin spécifié, et le crée s'il n'existe pas. Paramètres : chemin_dossier : Le chemin du dossier à vérifier/créer. clustering(gdf_mean_std, gpkg_selecti, fichier_gpkg, dataset_selectionne, nb_cluster) : Cette fonction effectue le clustering des données géospatiales à l'aide de l'algorithme K-means. Paramètres : gdf_mean_std : Le GeoDataFrame contenant les données géospatiales à utiliser pour le clustering. gpkg_selecti : Le nom du fichier GeoPackage (GPKG) sélectionné par l'utilisateur. fichier_gpkg : Le GeoDataFrame contenant les données géospatiales du fichier GeoPackage. dataset_selectionne : Le nom du dataset sélectionné par l'utilisateur. nb_cluster : Le nombre de clusters à créer lors du clustering. Effets : Cette fonction effectue le clustering des données et enregistre les résultats dans un nouveau fichier GeoPackage.

main() : La fonction principale de l'application. Elle crée une interface Streamlit avec un titre "Clustering". Elle permet à l'utilisateur de sélectionner un dataset et un fichier GeoPackage (GPKG) contenant des données géospatiales. Elle affiche les données géospatiales sous forme de carte et permet à l'utilisateur de choisir les attributs à utiliser pour le clustering. Elle permet à l'utilisateur de choisir le nombre de clusters à afficher à l'aide d'un curseur. Lorsque l'utilisateur clique sur le bouton "Valider", le clustering est effectué et les résultats sont enregistrés dans un dossier spécifique.