| title | D2 Export palangre ObServe vers ROS — Questions pour Philippe Sabarros | ||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| short_title | D2 Questions sur l’export LL | ||||||||||||||||||
| author | Tony Chemit | ||||||||||||||||||
| status | draft | ||||||||||||||||||
| output_basename | SWIOP-1.2_D2_IRD-longline-export-questions | ||||||||||||||||||
| reviewers |
|
||||||||||||||||||
| review_status | Questions à discuter | ||||||||||||||||||
| revisions |
|
Rapport de validation du 2 novembre 2026
Questions pour la réunion avec Philippe Sabarros du 2 novembre 2026 à 10 h.
Le code cité est celui du dossier fourni ros_ll_iotc_v2.0_20260305.
-
Connexion à la base
Le fichier
login_credentials_observe_ird.Rest absent. Il est chargé pour les pavillonsFRA,ITAetMUS.Peux-tu expliquer la connexion selon le pavillon et fournir un modèle du fichier manquant, sans mots de passe ?
Source : script R, lignes 49–50 et 79–83.
Chargement du fichier de connexion — lignes 49–50
# parameters for observe if (flag %in% c("FRA","ITA","MUS")) {source("r-script/login_credentials_observe_ird.R")}
-
Versions d’ObServe
Le code de connexion ne précise pas les versions d’ObServe.
Quelles versions exactes d’ObServe s'applique à ce script ?
Source : script R, lignes 79–83.
Connexion à ObServe — lignes 79–83
con_observe <- dbConnect(drv = RPostgres::Postgres(), user = user_observe, password = password_observe, dbname = dbname_observe, host = host_observe)
-
Filtres SQL sur les programmes
Dans huit requêtes, il manque une virgule entre CAPRUN et TAAF. Leurs identifiants sont assemblés en une valeur.
Les programmes sélectionnés diffèrent aussi entre la requête des marées et les autres.
Ces filtres ont-ils été corrigés pour inclure tous les programmes attendus ?
Source : requête des marées, lignes 78–82 ; requête des opérations, lignes 94–96.
Filtre des opérations — observe_ll_set.sql, lignes 94–96
p.topiaid IN ('fr.ird.referential.ll.common.Program#1239832686139#0.1', -- DCF Palangre (IRD) 'fr.ird.referential.ll.common.Program#1539251571663#0.10915739659024792' -- DCF Palangre (CAPRUN) 'fr.ird.referential.ll.common.Program#1540296800663#0.28879602188546094') -- DCF Palangre (TAAF)
Comportement SQL : règle PostgreSQL.
-
Correspondances entre les codes ObServe et ROS
Les correspondances sont écrites dans les
case_when()du script R, par exempleCLPH/CLPS→CLP.Sur quelle documentation et quelles versions des référentiels ObServe et ROS reposent ces correspondances ?
Source : script R, lignes 646–668.
Correspondances des espèces d’appâts — lignes 648–659
esetbaits <- esetbaits %>% mutate(bait_species_legacy = bait_species) %>% mutate(bait_species = case_when(bait_species_legacy %in% c("ARS","OTH","OTHF","RDM","TLAS") ~ as.character(NA), bait_species_legacy %in% c("BIS") ~ "BIS", bait_species_legacy %in% c("CLPH","CLPS") ~ "CLP", bait_species_legacy %in% c("DCC") ~ "MSD", bait_species_legacy %in% c("MAZ","MAZI","MAZL") ~ "MAX", bait_species_legacy %in% c("OTH") ~ as.character(NA), bait_species_legacy %in% c("OTHC","SQU") ~ "SQU", bait_species_legacy %in% c("SAX") ~ "SAX", bait_species_legacy %in% c("TUD") ~ "JAX", TRUE ~ as.character(NA)))
-
Validité du formulaire 2025 et code utilisé
Le formulaire 2025 n’est pas valide : des clés primaires sont dupliquées.
Exemple : les lignes 3 à 15 de
G-CONFIG-BRANCHLINESportent la même clé primaire.Dans
E-SET-MITIGATION-MEASURES, les données sont décalées à partir de la colonneHOOK_PODS.Exemple : la cellule I3 contient un identifiant de configuration au lieu d’une réponse sur les hook pods.
Sources : validation ; formulaire 2025,
E-SET-MITIGATION-MEASURES!I1:K3.Sélection des colonnes sans hook_pods — lignes 583–598
# select columns esetmitigationmeasures <- esetmitigationmeasures %>% select(observed_trip_id, set_id, number_tori_lines_deployed, minimum_deck_lighting_used, branchline_weighted, average_sinker_weight_g, percent_branchline_weighted, hook_sinker_distance_cm, branchline_details_configuration_number, branchline_details_num_branchlines_set, other_mitigation_measure_1, other_mitigation_measure_2, other_mitigation_measure_3, other_mitigation_measure_4)
Le script fourni écrit
TRAPLINE, alors que le formulaire 2025 contientTTL.Peux-tu partager le code utilisé pour ce formulaire et préciser les éventuelles retouches manuelles ?
Source : script R, lignes 609–622 ; formulaire 2025,
E-SET-HOOKS, colonne C.Correspondances des types d’hameçons — lignes 609–622
mutate(hook_type = case_when(hook_type %in% c("01","05","06") ~ "C", hook_type %in% c("02","11","12") ~ "J", hook_type %in% c("07","08","09","10") ~ "H", hook_type %in% c("04") ~ "S", hook_type %in% c("03") ~ "T", hook_type %in% c("13") ~ "TRAPLINE", TRUE ~ as.character(NA))) %>% mutate(hook_type = case_when(hook_type %in% c("C") ~ "C14", hook_type %in% c("J") ~ "J09", hook_type %in% c("H") ~ "H40", hook_type %in% c("S") ~ "S01", hook_type %in% c("T") ~ "T36", hook_type %in% c("TRAPLINE") ~ "TRAPLINE", TRUE ~ as.character(NA)))
Le formulaire reste invalide : 13 737 erreurs à examiner, hors registres et différences de casse des unités.
Une même ligne peut comporter plusieurs erreurs.
| Priorité | Catégorie | Erreurs |
|---|---|---|
| 1 | Syntaxe et champs obligatoires | 6 737 |
| 2 | Clés primaires | 5 166 |
| 3 | Conversion des types | 502 |
| 4 | Listes de codes | 1 332 |
| Total hors registres et casse | 13 737 |
Formats d’identifiants et valeurs obligatoires non conformes.
La comparaison ignore la casse : HP est accepté pour hp, KW pour kW et M pour m.
Les valeurs soumises restent inchangées. ignore_case: false dans la règle YAML rétablit une comparaison stricte.
| Feuille | Colonnes | Constat | Erreurs |
|---|---|---|---|
| O-INFO | A | Identifiant de marée au format ObServe ; format attendu : AAAA-MM-JJ/.../.../LL. |
67 |
| E-SET-CATCH-SPECIMENS | D | Identifiant de spécimen au format ObServe ; quatre chiffres attendus. | 4 023 |
| G-CONFIG-MITIGATION-DEVICES | B, C, E, G, I | Champs obligatoires des lignes tori vides : 67 valeurs par colonne. | 335 |
| E-SET | I | Vitesse du navire obligatoire mais vide. | 3 |
| E-SET | J | Vitesse du lanceur de ligne obligatoire mais vide. | 441 |
| E-SET-LIGHTS | C, D | Type et couleur obligatoires mais vides : quatre valeurs par colonne. | 8 |
| E-SET-MITIGATION-MEASURES | L, M, N, O | Mesures d’atténuation 1 à 4 obligatoires mais vides : 461 valeurs par colonne. | 1 844 |
| E-SET-CATCH-SPECIMENS-SSI | F | État au relâcher obligatoire mais vide. | 16 |
Champs tori concernés : longueur de ligne, type de banderoles, longueur maximale, nombre et hauteur d’attache.
Source : détail des constats.
Les clés dupliquées ou incomplètes empêchent d’identifier chaque enregistrement de manière unique.
| Feuille | Problème | Clés concernées | Lignes signalées | Exemple ou localisation |
|---|---|---|---|---|
| G-CONFIG-BRANCHLINES | Clés dupliquées | 461 | 5 050 | Même clé aux lignes 3 à 15. |
| E-SET-HOOKS | Clés dupliquées | 36 | 72 | Même clé aux lignes 10 et 11. |
| E-SET-BAITS | Clés dupliquées | 16 | 40 | Même clé aux lignes 198 et 199. |
| E-SET-LIGHTS | Clés incomplètes | 4 | 4 | Type et couleur absents aux lignes 242, 273, 405 et 406. |
Les 5 162 lignes signalées pour doublons comprennent toutes les occurrences de chaque clé répétée.
Les quatre clés incomplètes portent le total de cette catégorie à 5 166 erreurs.
Source : preuves sur les clés primaires.
| Feuille | Colonne | Constat | Erreurs |
|---|---|---|---|
| V-ATTRIBUTES | B | Jauge brute décimale, par exemple 19.64 ou 35.47 ; entier attendu. |
41 |
| E-SET-MITIGATION-MEASURES | K | Valeur NO dans le nombre d’avançons posés ; entier attendu. |
461 |
Dans la feuille d’atténuation, NO se trouve sous un champ numérique à cause du décalage des colonnes déjà décrit.
Source : preuves de conversion.
Valeurs refusées par les listes de codes utilisées dans ce rapport.
| Feuille | Colonne | Champ | Valeurs signalées | Erreurs |
|---|---|---|---|---|
| O-INFO | E | Port d’embarquement | RE REU, RE PD2, RE LPT |
67 |
| O-INFO | J | Port de débarquement | RE REU, RE PD2, RE LPT |
67 |
| V-INFO | H | Port d’immatriculation | RE LPT |
67 |
| V-TRIP | C | Port de départ | RE REU, RE PD2, RE LPT |
67 |
| V-TRIP | H | Port de retour | RE REU, RE PD2, RE LPT |
67 |
| E-SET | AA | Espèce cible | SWO |
461 |
| E-SET-MITIGATION-MEASURES | I | Réponse sur les hook pods | Identifiants ObServe de configuration d’avançons | 461 |
| E-SET-HOOKS | C | Type d’hameçon | TTL |
9 |
| E-SET-BAITS | D | Espèce d’appât | AR |
58 |
| E-SET-CATCHES | D | Espèce capturée | IQV (5), EBS (1), OFJ (1), YMO (1) |
8 |
Les ports représentent 335 erreurs : RE REU (228), RE LPT (71) et RE PD2 (36).
Le décalage explique 461 des 1 332 erreurs de listes de codes, soit 34,6 % (environ 35 %).
Dans le script fourni, hook_pods manque dans le select() final de cette feuille.
Les valeurs suivantes sont donc écrites une colonne trop à gauche.
| Colonne | Champ attendu | Valeur écrite |
|---|---|---|
| I | Réponse hook pods | Identifiant de configuration |
| J | Configuration | Nombre d’avançons |
| K | Nombre d’avançons | NO |
| L | Mesure d’atténuation 1 | Vide |
Cela explique aussi les 461 erreurs de conversion de NO en entier, déjà comptées en priorité 3.
Les 871 autres erreurs de listes de codes ne sont pas expliquées par ce décalage.
Source : script R, lignes 583–598 ; formulaire 2025, E-SET-MITIGATION-MEASURES!I1:L3.
Source : preuves sur les listes de codes.