Le DataHub

Owned by Sylvie Ulmer
03/07/2020

Le DATAHUB : principes et fonctionnement

Objectif du DataHub :
Pouvoir piloter des flux de données externes avec un point d'entrée unique et dont les étapes d'intégration dans les différents domaines fonctionnels de Divalto Infinity sont paramétrables.
Dans la version standard, les données intégrables sont :

  • Des factures fournisseurs
  • Par canal mail ou dépôt de fichiers structurés​
  • Processus de contrôle facture
  • Génération des écritures comptables
  • Des prévisions de ventes
  • Des temps passés sur affaires industrielles


NB : les flux font l'objet d'une supervision​
Menu : Commerce & logistique / DataHub


  • Etapes de paramétrage et de fonctionnement du DATAHUB 


1 – (1.1) Création des codes et (1.2) natures de chemins systématiquement sur le dossier 999​

  • Pour le répertoire scruté
  • Pour les fichiers pivots traités
  • Pour les fichiers compagnons traités
  • Pour les courriels

2 - Structuration des fichiers pivots​

  • Balises XM

3 - Paramétrage du DATAHUB​
4 - Lancement de l'automate​
5 - Supervision des datasets​

  • Etat des datasets​

6 - Journal de log

  • Création des codes chemin

Menu : Administration / Paramètres / Chemins ou fichiers
 
Un CODE CHEMIN Divalto indiquera le point d'entrée du Datahub. Ce chemin sera nécessairement stocké pour le DOSSIER 999 (donc multi-dossier). 
Le point d'entrée est un chemin Divalto. 
DATAHUB_SCRUTATEUR est le nom par défaut que doit porter le chemin d'entrée des fichiers du datahub. 
Ce nom est uniquement modifiable par surcharge (Init_chemin_scrutateur dans le GTTTDHB001.dhsp) et doit forcément pointer le dossier 999. 
 


  • Structuration des fichiers pivot



Un fichier pivot a l'extension .DHUB afin de le distinguer totalement des autres fichiers. Les autres extensions seront des fichiers compagnons du pivot. Le nom du fichier pivot n'est pas significatif pour Divalto. Le but est de mettre les données à l'intérieur du fichier pivot. 
Le contenu est un fichier texte à structure xml simple (tel que lu par XmlRead en langage Diva, voir aide du langage). Les données sont entourées de balises ouvrantes et fermantes, et permettent l'imbrication de niveaux. Les noms de balises et attributs sont sensibles à la casse. 

Les types de dataset connus : FACFOU, PREVPDP, TPSAFF 
Une balise XML pourra contenir des données selon 3 types 

  • Alphanumérique ; 
  • Date au format YYYYMMDD ; 
  • Numérique (entier ou décimal) avec séparateur '.' et signe ; 

(le type sera imposé par la balise) 
La liste des fichiers compagnons est décrite dans le pivot. 

Si la lecture du fichier n'arrive pas à déterminer le type, le Dataset est mis en erreur. Une fois le type déterminé, les traitements lui correspondant sont enclenchés selon l'ordre établi dans le paramétrage. 

  • Paramétrage et Fonctionnement du DATAHUB


Menu : Commerce & logistique / Data hub / Paramétrage Data Hub
Ce zoom permet d'administrer les états et scénarios de traitement des datasets.

Fonctionnement :
On dépose un fichier dit 'pivot' et des fichiers compagnons (pdf, xml).
Il faut lancer l'automate par le Menu : Commerce & logistique / Data hub / Automate
L'automate détecte la dépose de fichiers, et traite la lecture. Il est donc indispensable que, lorsqu'il y a plusieurs fichiers (par exemple le pivot et un PDF), le fichier pivot soit écrit sur le disque dur EN DERNIER. Sa présence garantit la bonne écriture préalable des fichiers compagnons (comme le PDF). 
Le scrutateur lit le contenu du pivot. Si la structure est lisible, le pivot ainsi que les fichiers compagnons sont déplacés du point d'entrée vers un emplacement dédié, et une entrée dans le datahub est faite : le dataset. Les cas de rejets sont donc à ce stade uniquement des fichiers dont la structure est incorrecte. 
Le déposant (=la source des pivots) s'assure d'une règle de nommage sans doublons. Il est possible de placer les fichiers compagnons dans un sous-répertoire du fichier pivot, mais c'est la présence du pivot à la racine du point d'entrée qui le rend 'détectable'. 
Lorsque le pivot est amené à être complété par la suite (par exemple logiciel externe qui scanne le contenu) il est nécessaire de donner un IDENTIFIANT EXTERNE UNIQUE. Cet identifiant, donné dans le premier puis le second pivot, sert à indiquer qu'il s'agit du même 'document' et que ce second pivot vient remplacer le premier 
Si le Scrutateur ne parvient pas à déterminer le type de dataset, celui-ci est mis en erreur.Le libellé de l'état est entièrement libre. Son rattachement à un code de regroupement l'associe automatiquement à un état maître.Exemple : l'état « 230 », libellé « Dataset OK » est rattaché au regroupement « 200 » qui correspond aux datasets de type facture fournisseur. Il est possible de créer un état qui fera lui-même office de regroupement.
Le premier état de la liste (110) correspond à l'initialisation de l'Automate.La dernière ligne met l'enregistrement à l'état « Périmé » lorsque, par exemple, la facture est envoyée vers la Comptabilité.Lorsque le type d'action est « Automatique », l'Automate exécute une fonction du module, et passe à l'état prévu selon que la réponse est Vrai ou Faux.Pour intercaler un nouvel état, vous devez ajouter une ligne, débrancher et rebrancher les états avant et après pour éviter que l'Automate ne s'arrête.L'Automate ne lit que les états automatiques, aussi, pour le stopper ou sortir d'une boucle, vous devez insérer un état manuel. A noter : par convention, les états dont le code se termine par « 5 » correspondent aux erreurs et sont manuels. Ainsi, l'Automate sort de la boucle lorsqu'il rencontre une erreur. L'état 200 est celui vers lequel vous reviendrez toujours car il correspond au contrôle facture. L'état 110 lit le fichier xml (pivot). S'il est complet, la facture est générée en Comptabilité. Sinon, l'Automate attendra d'autres xml.Généralement, pour repasser d'un état manuel à un état automatique, vous cliquerez sur « Ré-injecter dans l'Automate » ou vous serez invité(e) à effectuer une action donnée.Un code action peut être déclenché à chaque changement d'état : envoi d'un email, affichage d'une alerte, exécution d'un processus.

  • Chemins de destination


Menu : Administration / Paramètres / Fichiers joints / Paramètres des fichiers joints 
 
Les chemins de destinations correspondent aux trois types de fichiers joints d'un dataset : le joint PIVOT, le joint PRINCIPAL et les AUTRES joints. Ces chemins pour le dossier 999 sont cherchés par l'automate par l'intermédiaire d'une NATURE DE FICHIER DE JOINT. 
Les codes de NATURE sont les suivants : 

  • DATAHUB_PIVOT pour la nature du chemin concernant le fichier pivot ; 
  • DATAHUB_DACFOU pour la nature du chemin concernant le fichier principal de facture fournisseur ; 
  • DATAHUB_PREVPDP pour la nature du chemin concernant le fichier principal de prévisions PDP ; 
  • DATAHUB_TPSAFF pour la nature du chemin concernant le fichier principal de temps d'affaire ; 
  • DATAHUB_AUTRE pour la nature du chemin concernant les autres fichiers. 


 
Il est possible d'utiliser des données de l'enregistrement DHBENT dans la construction d'un chemin. 
Dans ce cas tous les pivots seront stockés dans des sous-dossiers correspondant à la balise 
du fichier pivot. 
 
 

  • Complétion 


Lorsqu'un document PDF passe par une reconnaissance de contenu, on pourra déposer le fichier PDF 'original' avec un pivot minimaliste. Ce pivot permet de créer le dataset avec les documents compagnons. Un second pivot avec les nouveaux documents pourra être déposé, et viendra remplacer totalement les données du premier pivot (sauf numéro de dataset et date de création) et les pièces jointes. Le lien se fait via un IDEXTERNE fourni dans le pivot qui permet de retrouver le dataset à compléter. Si le dataset 'minimaliste' a fait l'objet d'un traitement manuel utilisateur, un second dataset sera créé en statut 'périmé' afin de conserver la trace mais sans toucher au traitement manuel du dataset. Aucune donnée métier du premier pivot n'est conservé, c'est le dernier pivot qui est pris pour la totalité des données. 
 

  •  Spécificités selon le type de fichier (et le domaine d'utilisation)



Prévisions ou niveau de stock : 
Ce type de fichier pivot xml peut contenir SOIT des prévisions SOIT des niveaux de stock. Les informations 
d'entête sont communes, mais les informations de détails des lignes ne peuvent concerner qu'une seule 
des deux entités à la fois. 
Règles de gestion des prévisions
Les données sont traitées en import 'mode différentiel' selon la clé REF-SREF1-SREF2-DEPO. Les données transmises sont donc créées ou mises à jour selon cette clé, puis les données non importées sont supprimées. Cela implique qu'un groupe concernant la clé est obligatoirement écrit, même si la quantité est à 0 pour que l'import sache qu'il doit traiter la clé. 

  • hors exception précédente (quantité donnée à 0 pour indiquer le traitement de la clé) les dates qui n'ont pas de prévision ne sont pas transmises. 
  • la balise Horizon permet de gérer la suppression des données antérieures à cette date (pour tout le Dossier indiqué). 
  • les données importées sont visibles dans le 'Saisie des prévisions PDP'. 
    Règles de gestion du niveau de stock
    Les données importées sont visibles dans la fiche réappro RSO de l'article. 
    Le fournisseur habituel et l'unité de vente sont pris par défaut de la fiche article. 
    Paramètres Dossier et utilisateur
  • Visa pour les prévisions de vente :


Dossier, onglet « Calcul des besoins – Prévisions PDP »

  • Visa pour l'import des temps (Affaires)


Dossier, bouton «Affaires », onglet « Général »

  • Paramétrage sur la fiche utilisateur du profil utilisateur


 


  •  Supervision des datasets


Menu : Commerce & logistique / Data hub / Superviseurs
Le superviseur de DataSet permet de gérer les différents DataSet provenant de l'automate. Il permet notamment : 

  • La visualisation des datasets en erreur
  • La modification de DataSet ; 
  • L'appel des différentes actions correspondant au type et à l'état courant ; 
  • La réinjection du DataSet dans l'automate après actions ; 
  • La visualisation des documents associés. 


Le menu est paramétrable (F4) :
 
 
 
 
 

  • Viewer Pivot 


Le viewer de pivot est un programme qui permet de visualiser le fichier pivot correspondant au dataset. 
Il est accessible à partir du superviseur, bouton Pivot. 
Selon le type de dataset, il affichera les valeurs de toutes les balises présentes. 
 
 

  • Le journal de log


Menu : Commerce & logistique / Data hub / Journal de log
Liste et historique des erreurs.