Skip to content

Instantly share code, notes, and snippets.

@tchemit
Created November 2, 2026 07:29
Show Gist options
  • Select an option

  • Save tchemit/47a0010dce7e2e5dbe0df489d57db265 to your computer and use it in GitHub Desktop.

Select an option

Save tchemit/47a0010dce7e2e5dbe0df489d57db265 to your computer and use it in GitHub Desktop.
ObServe to ROS longline export — Questions for Philippe Sabarros (2 November 2026)
title D2 Export palangre ObServe vers ROS — Questions pour Philippe Sabarros
short_title D2 Questions sur l’export LL
author Tony Chemit
status draft
output_basename SWIOP-1.2_D2_IRD-longline-export-questions
reviewers
Philippe Sabarros
review_status Questions à discuter
revisions
version date author changes
draft 0.1
2026-10-29
Tony Chemit
Questions sur l’export LL fourni et le formulaire EU-France pour 2025.
version date author changes
draft 0.2
2026-11-02
Tony Chemit
Synthèse des erreurs et extraits de code pour la réunion.

Rapport de validation du 2 novembre 2026

Questions pour la réunion avec Philippe Sabarros du 2 novembre 2026 à 10 h.

Le code cité est celui du dossier fourni ros_ll_iotc_v2.0_20260305.

  1. Connexion à la base

    Le fichier login_credentials_observe_ird.R est absent. Il est chargé pour les pavillons FRA, ITA et MUS.

    Peux-tu expliquer la connexion selon le pavillon et fournir un modèle du fichier manquant, sans mots de passe ?

    Source : script R, lignes 49–50 et 79–83.

    Chargement du fichier de connexion — lignes 49–50
    # parameters for observe
    if (flag %in% c("FRA","ITA","MUS")) {source("r-script/login_credentials_observe_ird.R")}
  2. Versions d’ObServe

    Le code de connexion ne précise pas les versions d’ObServe.

    Quelles versions exactes d’ObServe s'applique à ce script ?

    Source : script R, lignes 79–83.

    Connexion à ObServe — lignes 79–83
    con_observe <- dbConnect(drv = RPostgres::Postgres(),
                             user = user_observe,
                             password = password_observe,
                             dbname = dbname_observe,
                             host = host_observe)
  3. Filtres SQL sur les programmes

    Dans huit requêtes, il manque une virgule entre CAPRUN et TAAF. Leurs identifiants sont assemblés en une valeur.

    Les programmes sélectionnés diffèrent aussi entre la requête des marées et les autres.

    Ces filtres ont-ils été corrigés pour inclure tous les programmes attendus ?

    Source : requête des marées, lignes 78–82 ; requête des opérations, lignes 94–96.

    Filtre des opérations — observe_ll_set.sql, lignes 94–96
    p.topiaid IN ('fr.ird.referential.ll.common.Program#1239832686139#0.1', -- DCF Palangre (IRD)
                  'fr.ird.referential.ll.common.Program#1539251571663#0.10915739659024792' -- DCF Palangre (CAPRUN)
                  'fr.ird.referential.ll.common.Program#1540296800663#0.28879602188546094') -- DCF Palangre (TAAF)

    Comportement SQL : règle PostgreSQL.

  4. Correspondances entre les codes ObServe et ROS

    Les correspondances sont écrites dans les case_when() du script R, par exemple CLPH/CLPS → CLP.

    Sur quelle documentation et quelles versions des référentiels ObServe et ROS reposent ces correspondances ?

    Source : script R, lignes 646–668.

    Correspondances des espèces d’appâts — lignes 648–659
    esetbaits <- esetbaits %>%
      mutate(bait_species_legacy = bait_species) %>%
      mutate(bait_species = case_when(bait_species_legacy %in% c("ARS","OTH","OTHF","RDM","TLAS") ~ as.character(NA),
                                      bait_species_legacy %in% c("BIS") ~ "BIS",
                                      bait_species_legacy %in% c("CLPH","CLPS") ~ "CLP",
                                      bait_species_legacy %in% c("DCC") ~ "MSD",
                                      bait_species_legacy %in% c("MAZ","MAZI","MAZL") ~ "MAX",
                                      bait_species_legacy %in% c("OTH") ~ as.character(NA),
                                      bait_species_legacy %in% c("OTHC","SQU") ~ "SQU",
                                      bait_species_legacy %in% c("SAX") ~ "SAX",
                                      bait_species_legacy %in% c("TUD") ~ "JAX",
                                      TRUE ~ as.character(NA)))
  5. Validité du formulaire 2025 et code utilisé

    Le formulaire 2025 n’est pas valide : des clés primaires sont dupliquées.

    Exemple : les lignes 3 à 15 de G-CONFIG-BRANCHLINES portent la même clé primaire.

    Dans E-SET-MITIGATION-MEASURES, les données sont décalées à partir de la colonne HOOK_PODS.

    Exemple : la cellule I3 contient un identifiant de configuration au lieu d’une réponse sur les hook pods.

    Sources : validation ; formulaire 2025, E-SET-MITIGATION-MEASURES!I1:K3.

    Sélection des colonnes sans hook_pods — lignes 583–598
    # select columns
    esetmitigationmeasures <- esetmitigationmeasures %>%
      select(observed_trip_id,
             set_id,
             number_tori_lines_deployed,
             minimum_deck_lighting_used,
             branchline_weighted,
             average_sinker_weight_g,
             percent_branchline_weighted,
             hook_sinker_distance_cm,
             branchline_details_configuration_number,
             branchline_details_num_branchlines_set,
             other_mitigation_measure_1,
             other_mitigation_measure_2,
             other_mitigation_measure_3,
             other_mitigation_measure_4)

    Le script fourni écrit TRAPLINE, alors que le formulaire 2025 contient TTL.

    Peux-tu partager le code utilisé pour ce formulaire et préciser les éventuelles retouches manuelles ?

    Source : script R, lignes 609–622 ; formulaire 2025, E-SET-HOOKS, colonne C.

    Correspondances des types d’hameçons — lignes 609–622
      mutate(hook_type = case_when(hook_type %in% c("01","05","06") ~ "C",
                                   hook_type %in% c("02","11","12") ~ "J",
                                   hook_type %in% c("07","08","09","10") ~ "H",
                                   hook_type %in% c("04") ~ "S",
                                   hook_type %in% c("03") ~ "T",
                                   hook_type %in% c("13") ~ "TRAPLINE",
                                   TRUE ~ as.character(NA))) %>%
      mutate(hook_type = case_when(hook_type %in% c("C") ~ "C14",
                                   hook_type %in% c("J") ~ "J09",
                                   hook_type %in% c("H") ~ "H40",
                                   hook_type %in% c("S") ~ "S01",
                                   hook_type %in% c("T") ~ "T36",
                                   hook_type %in% c("TRAPLINE") ~ "TRAPLINE",
                                   TRUE ~ as.character(NA)))

Erreurs du formulaire par priorité

Le formulaire reste invalide : 13 737 erreurs à examiner, hors registres et différences de casse des unités.

Une même ligne peut comporter plusieurs erreurs.

Priorité Catégorie Erreurs
1 Syntaxe et champs obligatoires 6 737
2 Clés primaires 5 166
3 Conversion des types 502
4 Listes de codes 1 332
Total hors registres et casse 13 737

Priorité 1 — Syntaxe et champs obligatoires

Formats d’identifiants et valeurs obligatoires non conformes.

La comparaison ignore la casse : HP est accepté pour hp, KW pour kW et M pour m.

Les valeurs soumises restent inchangées. ignore_case: false dans la règle YAML rétablit une comparaison stricte.

Feuille Colonnes Constat Erreurs
O-INFO A Identifiant de marée au format ObServe ; format attendu : AAAA-MM-JJ/.../.../LL. 67
E-SET-CATCH-SPECIMENS D Identifiant de spécimen au format ObServe ; quatre chiffres attendus. 4 023
G-CONFIG-MITIGATION-DEVICES B, C, E, G, I Champs obligatoires des lignes tori vides : 67 valeurs par colonne. 335
E-SET I Vitesse du navire obligatoire mais vide. 3
E-SET J Vitesse du lanceur de ligne obligatoire mais vide. 441
E-SET-LIGHTS C, D Type et couleur obligatoires mais vides : quatre valeurs par colonne. 8
E-SET-MITIGATION-MEASURES L, M, N, O Mesures d’atténuation 1 à 4 obligatoires mais vides : 461 valeurs par colonne. 1 844
E-SET-CATCH-SPECIMENS-SSI F État au relâcher obligatoire mais vide. 16

Champs tori concernés : longueur de ligne, type de banderoles, longueur maximale, nombre et hauteur d’attache.

Source : détail des constats.

Priorité 2 — Clés primaires

Les clés dupliquées ou incomplètes empêchent d’identifier chaque enregistrement de manière unique.

Feuille Problème Clés concernées Lignes signalées Exemple ou localisation
G-CONFIG-BRANCHLINES Clés dupliquées 461 5 050 Même clé aux lignes 3 à 15.
E-SET-HOOKS Clés dupliquées 36 72 Même clé aux lignes 10 et 11.
E-SET-BAITS Clés dupliquées 16 40 Même clé aux lignes 198 et 199.
E-SET-LIGHTS Clés incomplètes 4 4 Type et couleur absents aux lignes 242, 273, 405 et 406.

Les 5 162 lignes signalées pour doublons comprennent toutes les occurrences de chaque clé répétée.

Les quatre clés incomplètes portent le total de cette catégorie à 5 166 erreurs.

Source : preuves sur les clés primaires.

Priorité 3 — Conversion des types

Feuille Colonne Constat Erreurs
V-ATTRIBUTES B Jauge brute décimale, par exemple 19.64 ou 35.47 ; entier attendu. 41
E-SET-MITIGATION-MEASURES K Valeur NO dans le nombre d’avançons posés ; entier attendu. 461

Dans la feuille d’atténuation, NO se trouve sous un champ numérique à cause du décalage des colonnes déjà décrit.

Source : preuves de conversion.

Priorité 4 — Listes de codes

Valeurs refusées par les listes de codes utilisées dans ce rapport.

Feuille Colonne Champ Valeurs signalées Erreurs
O-INFO E Port d’embarquement RE REU, RE PD2, RE LPT 67
O-INFO J Port de débarquement RE REU, RE PD2, RE LPT 67
V-INFO H Port d’immatriculation RE LPT 67
V-TRIP C Port de départ RE REU, RE PD2, RE LPT 67
V-TRIP H Port de retour RE REU, RE PD2, RE LPT 67
E-SET AA Espèce cible SWO 461
E-SET-MITIGATION-MEASURES I Réponse sur les hook pods Identifiants ObServe de configuration d’avançons 461
E-SET-HOOKS C Type d’hameçon TTL 9
E-SET-BAITS D Espèce d’appât AR 58
E-SET-CATCHES D Espèce capturée IQV (5), EBS (1), OFJ (1), YMO (1) 8

Les ports représentent 335 erreurs : RE REU (228), RE LPT (71) et RE PD2 (36).

Le décalage explique 461 des 1 332 erreurs de listes de codes, soit 34,6 % (environ 35 %).

Dans le script fourni, hook_pods manque dans le select() final de cette feuille.

Les valeurs suivantes sont donc écrites une colonne trop à gauche.

Colonne Champ attendu Valeur écrite
I Réponse hook pods Identifiant de configuration
J Configuration Nombre d’avançons
K Nombre d’avançons NO
L Mesure d’atténuation 1 Vide

Cela explique aussi les 461 erreurs de conversion de NO en entier, déjà comptées en priorité 3.

Les 871 autres erreurs de listes de codes ne sont pas expliquées par ce décalage.

Source : script R, lignes 583–598 ; formulaire 2025, E-SET-MITIGATION-MEASURES!I1:L3.

Source : preuves sur les listes de codes.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment