XPerf, XPerfSql et Statistiques : outils de traçage et d'analyse des performances d'exécution
Xperf et XPerfSql sont des puissants outils permettant d'analyser par un mécanisme de traçage, puis d'améliorer les performances d'un programme.
Statistiques, disponible depuis le Runtime Harmony 406 Hotfix 5, est une mesure simple intégrée à tous les traitements.
Généralités
L'expérience nous montre qu'il est difficile de trouver rapidement les causes de la lenteur d'un programme, de pointer les fonctions qui ont pris beaucoup de temps.
De plus les systèmes de traitement de l'information se complexifient et les architectures sur lesquelles ils reposent également, notamment en étant davantage distribuées. Dans ce contexte, l'analyse des problèmes de performances et leur compréhension devient moins aisée.
Avec Xperf, l'identification des problèmes de performances devient chose aisée, puisque Xperf nous donne le temps passé dans chaque fonction du programme et fournit des mesures de performances très précises des traitements métiers, et XPerfSql nous donne le temps passé dans les échanges avec le serveur de base de données.
Statistiques donne des indicateurs de performances simples et toujours disponibles.
XPerf / XPerfSql
Le principe de fonctionnement est simple:
activation de la trace (performance programme et/ou performance SQL)
le programme est exécuté tout à fait normalement mais sous contrôle de l'analyseur. A la fin du programme, un rapport est créé dans un fichier.
(de-activation de la trace)
observation du résultat.
Remarques
Les programmes n'ont pas besoin d'être compilés avec l'option Debug pour être analysés.
Pour que les résultats soit les plus précis possibles, les temps passés dans les saisies clavier (XmeInput etc.) et les chargement de modules ne sont pas comptabilisés
Le fichier résultat n'est disponible qu'à la fin du programme. Il faut donc nécessairement fermer le programme pour avoir sa trace
Les traces ne fonctionnent que pour un programme lancé après activation. Avoir une trace d'un programme déjà lancé n'est pas possible
C'est un mécanisme optionnel, enclenché à la demande, pour la session windows de l'utilisateur qui l'enclenche.
Il permet d'obtenir, sur le serveur d'application, la trace d'un traitement lancé en client léger depuis un autre serveur ou poste client, car le traitement effectif (xrtdiva.exe) est effectué sur le serveur applicatif.
Ralentissement
L'enclenchement d'un mécanisme de traçage de performance a un impact, même minime, sur les temps d'exécution et les mesures. Il ne doit donc être activé que sur demande pour un but précis
L'exploitation des résultats doit également tenir compte du fait que l'exécution réelle (sans trace) est forcément plus rapide qu'une exécution tracée.
Ce qui est tracé, et comment :
XPerf (Xperf.dhop) | Pendant l'exécution d'un programme Diva (xRtDiva.exe), trace tous les appels effectués La date/heure à la millisecondes est tracée, ainsi que le nombre d'occurrences
Le programme d'analyse affiche le temps passé dans chaque fonction, le nombre d'appels, avec la possibilité de visualiser la pile et de visualiser la liste des fonctions appelées par une fonction. |
XPerfSql (xperfsql.dhop) | Pendant l'exécution d'un programme Diva (xRtDiva.exe), trace tous les échanges avec la base de données (requêtes SQL éxécutées) La date/heure à la millisecondes est tracée, ainsi que le nombre d'occurrences Le programme d'analyseaffiche le temps passé par chaque requête SQL et le détail de la requête A noter que l'interface d'accueil n'est pas tracée. |
Statistiques
Depuis le runtime Harmony 406 Hotfix 5, la fonction Statistiques mesure systématiquement des indicateurs de temps sur les performances des traitements côté serveur, sans aucun impact sur les performances d'exécution.
Ce qui est tracé, et comment :
Statistiques | Pendant l'exécution d'un programme Diva (xRtDiva.exe), mesure quelques indicateurs généraux Ces indicateurs sont directement accessible depuis le menu windows (coin en haut à gauche de tout programme Windows) |
Activation XPerf et/ou XPerfSql
Activation pour un traitement ERP classique
Depuis le runtime Harmony 405, l'activation se fait
via harmony dans le menu Paramétrage / Saisie des paramètres technique
ou via Divalto infinity dans le menu Administration / Paramètres utilisateurs / Saisie des paramètres techniques
puis par les boutons "Activer XPERF" ou "Activer XPERFSQL"
Information technique
L'activation du mode Analyse XPerf correspond a l'entrée suivante dans Divalto.ini (xDivaltoMajIni): [system] xperf=1
Activation pour un traitement en service Diva
Depuis le runtime Harmony 409 il est possible d’activer XPerf ou XPerfSQL pour un service Diva.
Cette activation se fait uniquement depuis la fenêtre de Gestion des services Diva
en On Premise depuis la console d’administration avec le menu “Services Diva”
en Saas depuis la console d’administration cloud avec le menu “Services Diva”
L’activation avec mesure de performance se fait nécessairement après arrêt préalable du service (il n’est pas possible de l’activer sur un service en cours)
Il faudra stopper le service pour obtenir la trace du service sous contrôle de performance
En SaaS, l’activation se fait, après sélection d’une ligne de service, avec le bouton “Démarrer…”
qui ouvre une fenêtre de dialogue permettant de choisir d’activer XPerf et/ou XPerfSQL avec le lancement du service. Le champ “Durée d’activation des perfs en minutes” permet d’indiquer une durée maximale (entre 10mn et 72h) d’activation de la trace ; c’est une sécurité en cas d’oubli de désactivation manuelle afin de ne pas tracer tout le temps et ralentir les services.
Une fois lancé, la console de gestion des services indique un pictogramme et deux colonnes permettant de savoir si le contrôle de performance est actif sur un service
En On Premise, l’activation se fait avec les cases à cocher en mode liste ou fiche
La mesure de performance sur un service doit être limité dans le temps en raison de l’impact sur les performances et sur la taille des journaux
Les fichiers de trace générés pour un service sont stockés au même emplacement que les traces de programmes (voir plus bas) et se consultent de la même manière.
A noter que la console propose dans le menu ACTIONS deux entrées (Lancer XPerf et Lancer XPerfSql) pour lancer les outils d’analyse directement depuis la console des services.
XPERF
Le programme « XPerf » décompose l’ensemble des opérations d’un programme Divalto dans le but de déceler d’éventuelles anomalies qui peuvent potentiellement engendrer un temps de traitement anormal. Il doit être utilisé si vous constatez un problème de performance sur un traitement bien particulier.
Nom du bouton | Fonction / Utilisation |
|---|---|
Activer XPERF Desactiver XPERF | Active ou désactive la fonction de traçage des performances programme. Concerne les programmes lancés dans la session windows de l’utilisateur |
Rafraîchir l'écran | Va chercher le dernier fichier de trace connu, et afficher son chemin dans le cadre "Fichier xperf" |
Charger le dernier fichier dans XPERF | Ouvre l'analyse XPERF pilotée sur le dernier fichier du cadre "Fichier xperf". Cette action désactive automatiquement la trace |
Télécharger le dernier fichier XPERF | Télécharge sur le poste local le dernier fichier du cadre "Fichier xperf" Cette action désactive automatiquement la trace |
Pour activer la trace, il s'agit donc
de cliquer sur le bouton "Activer XPERF"
de lancer un programme Diva dans la session de l'utilisateur (depuis l'interface d'accueil Divalto ou non) puis effectuer le scénario souhaité (ouverture d’un programme puis consultation de données par exemple)
afin d’obtenir le résultat, il est impératif de fermer les applications ouvertes lors du déroulement du scénario avant de désactiver XPERF
de cliquer sur le bouton "Rafraîchir l'écran"
de cliquer sur le bouton "Charger le dernier fichier dans XPERF" qui va ouvrir l'outil d'analyse du fichier, et stopper l'analyse
(pour relancer une trace, reprendre a la première étape, car le chargement du fichier a stoppé l'analyse)
Assistance
Le fichier de trace obtenu est au format XML, pour être analysé ultérieurement ou transmis
Le fichier de trace doit être envoyé avec les demandes d'assistance lorsque cette demande concerne la performance.
Attention, une manipulation dans un traitement Divalto peut faire appel a plusieurs programmes, et donc produire plusieurs fichiers. D’un manière générale les fichiers nommée “ia*” ou “xnop*” sont inutiles mais les autres le sont.
XPERFSQL
C'est directement l'outil d'analyse (voir plus bas) qui est lancé, mais il faut noter ici deux modes de fonctionnement:
Mode DIALOGUE : ce mode affiche directement le résultat de la trace des échanges de base de données à l'écran. Il sera possible d'enregistrer le fichier ultérieurement, mais il n'y a pas de fichier par défaut
Mode FICHIER : ce mode enregistre la trace dans un fichier, pour une restitution ultérieure
Ralentissement
L’activation de XPerfSql a un effet sur les performances visibles, mais pas sur les mesures. Cela signifie que le traitement avec trace SQL est ralenti par les mécanismes de traçage, mais que les mesures sont faites à des moments choisis qui n’ont pas d’incidence sur le résultat.
A noter que le mode DIALOGUE a un effet de ralentissement visible alors que le mode FICHIER n’a quasiment pas d’impact visible
Analyse avec XPerf - Outil pour la performance d'exécution d'un programme Diva
Tutoriel XPerf
Un tutoriel dédié à l’utilisation de XPerf en mode On Premise ou Cloud est disponible
Ecran XPerf
L’analyse des informations qui figurent dans le rapport nécessite des compétences en développement sur le langage Diva afin d’identifier les anomalies.
L'écran de Xperf contient deux tableaux :
le tableau du haut contient la liste de toutes les fonctions du programme.
le tableau du bas contient le détail pour la ligne courante du tableau du haut. En fonction du bouton Afficher les fonctions appelées, il contient soit la liste des différentes piles, soit la liste des fonctions appelées.
La colonne commentaires (v408) est alimentée par des informations concernant les impressions uniquement. La colonne indique par une ‘*' la présence d’un commentaire dont le détail est visible par le bouton “Commentaires”
Ouvrir
Le bouton « Ouvrir » vous permet d’ouvrir d’autres fichiers de trace (XML) générés lors de cette session d’analyse ou lors d’une session précédente.
Filtrage
Le bouton Filtrage permet d'afficher ou non les instructions du langage Diva et les fonctions des modules système (ysystemxxx).
Les fonctions des modules d'exécution des masques écran et imprimante (xm*) sont toujours affichées.
Fonction harmony_*
Attention, les données concernant les fonctions harmony_* (par exemple harmony_client_display, harmony_load_module, harmony_xlan_request, ...) sont particulières.
Ce sont des groupes de fonctions internes à l'exécuteur qui viennent apporter une information COMPLEMENTAIRE.
Elles ne peuvent donc pas être interprétées comme les autres : les informations en ligne sont bien celles de la fonction, mais les cumuls (durée totale) ignorent ces valeurs
Fonctions harmony_xmiprint_* : voir plus bas le chapitre dédié
Précédent / Suivant
A chaque nouvelle navigation (double-clic sur une ligne dans le tableau inférieur) , les résultats de la navigation précédente sont gardés dans une liste. Les boutons Précédent et Suivant permettent ensuite de se déplacer dans cette liste.
Affichage pile ou fonctions appelées
Ce radio bouton permet de choisi le mode d’affichage de la fenêtre au base de l'écran. Voir plus bas l’explication des deux modes
Télécharger (V407)
Le bouton télécharger permet, notamment en mode SAAS de récupérer sur le poste local le fichier de trace XPerf.
Envoi par mail (V407)
Le fichier actuellement affiché peut être envoyé par mail. Cette fonction fait appel au logiciel de messagerie du poste appelant avec une création d’un nouveau message
Commentaire (V408)
Le menu commentaire, puis le sous-menu “Détails” permet de visualise la colonne “Commentaires” en mode fiche
Sélection de l'unité d'affichage
Le multi-choix Afficher les temps en permet de choisir l'unité de temps pour l'affichage des durées, entre la micro-seconde et la seconde.
Tri de colonnes
Le clic dans un entête de colonne permet de trier les lignes suivant la valeur de la colonne.
Export - Impression
Ctrl+clic dans le coin supérieur gauche d'un tableau ouvre un menu popup permettant de paramétrer les impressions, de la même manière que le zoom.
Affichage des piles
Lorsque l'option Afficher les fonctions appelées n'est pas sélectionnée, le tableau inférieur contient la liste des piles d'appels de la fonction pointée dans le tableau supérieur.
Exemple
Soit le programme suivant
procedure B
beginp
endp
procedure A
beginp
B
endp
main
A
BL'affichage des piles pour la procédure B donne :
La première pile indique que B a été appelée depuis A qui elle même est appelée depuis Main.
La seconde pile indique que B a été appelée directement depuis Main.
Affichage des fonctions appelées
Lorsque l'option Afficher les fonctions appelées est sélectionnée, le tableau inférieur contient la liste des fonctions appelées par la fonction pointée dans le tableau supérieur.
Exemple
Soit le programme suivant :
procedure C
beginp
endp
procedure B
beginp
endp
procedure A
beginp
B
C
endp
main
A
BL'affichage des piles pour la procédure A donne :
On voit donc que la fonction A appelle les fonctions B et C
perf ajoute une ligne Corps de la fonction qui correspond au temps passé dans la fonction sans la durée des fonctions appelées.
Navigation
Un double-clic sur une ligne du tableau inférieur place le curseur dans le tableau supérieur sur la ligne correspondant à la fonction cliquée.
A chaque nouvelle navigation, les résultats de la navigation précédente sont gardés dans une liste. Les boutons Suivant et Précédent permettent de se déplacer dans cette liste.
Information techniques concernant les fonctions harmony_xmiprint
Dans un XPerf on trouve des informations détaillées concernant les fonctions d’impression “harmony_xmiprint_xxxx” donc voici les détails
Nom de la fonction principale | Nom de la fonction secondaire | Description |
|---|---|---|
harmony_xmiprint_writedebug |
| temps d'écriture du debug , c'est global a toutes les fonctions ( détail avec le temp user/kernel et le temp passe e ntre le début du programme et le premier printBegin)
|
harmony_xmiprint_call_diva |
| le temps des xmt diva , donc temps des appels des fc diva avant et apres bloc |
harmony_xmiprint_nocalldiva |
| xmiprint sans les call diva donc on aura le temps de la fc xmiprint = harmony_xmiprint_call_diva + harmony_xmiprint_nocalldiva comme ca on sait ce qui est liee a l'impression et au code diva ** attention lancienne valeur harmony_xmiprint_fcXmiPrint_nocalldiva est fausse, elle a été remplacée par harmony_xmiprint_nocalldiva ** |
harmony_xmiprint_WaitSpool |
| on a aussi un mode pour limiter et donc reduire la vitesse d'envoi de l'édition vers le spool afin de ne pas saturer le spool d’impression de windows , si cette vérification est activée alors on vérifie a chaque début de page que le volume d'impression en cours du spool de l'imprimante de window s n'est pas supperieure a une valeur, si c'est le cas alors on attend n secondes et on refait le test , mais toutefois au bout de n test on fini par quand même sortir la page pour ne pas bloquer le programme diva cela se paramètre dans xdivaltoprinters.exe |
harmony_xmiprint_NBPagesEdition |
| nombre de pages reelle de l'impression (que a partir de la 409a), la valeur est dans la colonne nombre d’appels |
Il y a le temps mis par les fonction de début et de fin, et la décomposition principale | ||
harmony_xmiprint_fcPrintBegin |
| printbegin c'est le début de l'impression, en fait on fait juste positionner des flags, l'ouverture réelle de l'imprimante se fait lors de l'envoi du premier bloc |
harmony_xmiprint_fcPrintEnd |
| fin de l'impression , ca cumule donc tout le chapitre "à la fin de l'impression" |
harmony_xmiprint_outof_printing |
| temps en dehors des appels des fc impressions , comme xmt , et le code dia du programme principal |
harmony_xmiprint_in_printing |
| temps dans les fonctions d'impressions du noyau de xrtdiva |
harmony_xmiprint_time_global |
| temps entre le départ de l'impression donc du premier PrintBegin et la fin de l'impression donc du PrintEnd |
Les temps dans les fonctions d'impressions du noyau de xrtdiva qui se décompose entre | ||
|
|
|
| harmony_xmiprint_fcbegin_printing | temps de l'ouverture de l'imprimante qui se décompose |
| harmony_xmiprint_PortDynamique | temps de calcul de %port_dynamique% |
| harmony_xmiprint_TempsDeChauffe | temps de chauffe si il faut attendre avant d'envoyer des ordres à l'imprimante |
| harmony_xmiprint_call_documentproperties | temps pour mettre en place les paramètres de l'imprimante (taille de la page etc ) |
| harmony_xmiprint_call_driver | temps des appels du driveur de l'imprimante |
|
|
|
| harmony_xmiprint_objets_msq | temps total d'impression des objets du masque d'impression |
|
|
|
| harmony_xmiprint_ObjImage | images (detail avec la taille de la plus grosse image) |
| harmony_xmiprint_ObjBarCode | les code barres |
| harmony_xmiprint_ObjGraph | les dessins graphiques |
| harmony_xmiprint_RTF | es rtf (détail avec la taille en caractères du plus gros fichier RTF) |
| harmony_xmiprint_RTFrectif | avec le temps de rectification du rtf (cas où le rtf contient des images ) |
| harmony_xmiprint_write_cells_excel | l'écriture des infos pour faire de l'export excel |
|
|
|
| harmony_xmiprint_send_toclientxwpf | en mode page a page avec xwpf et sans aperçu, on envoi les pages directement su l'imprimante à travers xwpf |
| harmony_xmiprint_FicTxtMeta | il existe un mode avec écriture du texte dans un fichier txt pour faire de l'archivage mais qui n'est plus vraiment utilisé maintenant, c'est juste au cas où il resterai un vieux paramétrage qui trainerai dans divalto.ini |
|
|
|
| harmony_xmiprint_TraitementNbPages | si l'édition est marquée avec l'option calcul du nombre de pages et $1/nbpages$ dans les blocs d'impression |
| harmony_xmiprint_FaxOrMail | envoi de mail ou de fax |
| harmony_xmiprint_SendPrintToXWPF | selon le mode (xwpf,agent imp etc ) soit on envoi le dhvw vers xwpf |
| harmony_xmiprint_WriteToAgentImp | ou si on copie le dhvw dans le répertoire pour l'agent d'impression |
| harmony_xmiprint_TooManyDivaltoViewer | ou si on appelle directement divaltoviewer en testant si le nombre de divaltoviewer > max (car il y a un temps d'attente) |
| harmony_xmiprint_RunDivaltoViewer | temps de lancement de DivaltoViewer |
| harmony_xmiprint_ConvertPDFForHTML | sinon il peut y avoir une conversion en pdf et/ou xps , par exemple en mode html5 |
| harmony_xmiprint_ConvertXPSForHTML | temps de conversion en xps pour le mode html5 en mode aperçu |
| harmony_xmiprint_SendPrinterOnHTML | soit vers le programme diva d'affichage en mode apeçcu de xhtml5 ou bien en directement en téléchargement dans le navigateur web |
Analyse avec XPerfSql - Outil pour la performance d'exécution de requêtes SQL d'un programme Diva
XPerfSql permet de se dispenser d'outils tiers et des niveaux de privilèges élevés requis comme par exemple "SQL Server Profiler" en interceptant les requêtes SQL effectuées dans la session de l’utilisateur.
L'outil n'analyse est centré sur l'usage fait par l'ERP de la base de données.
La plupart des architectures sur lesquelles reposent les composants Divalto infinity sont distribuées, et les échanges réseaux ne sont pas à négliger dans ces analyses.
Ainsi on gagnera souvent en performance si on arrive à limiter le nombre d'échanges XLAN ou SQL, provenant d'une complexité grandissante ou de surcharges.
Quand l'outil est activé, une fenêtre de travail lui est dédiée et les programmes peuvent continuer d'être utilisés normalement.
Cet outil s’exécute en parallèle des applications habituelles et permet de récupérer les requêtes SQL avec les informations de contexte d’exécution (programme Diva, …) ainsi que le temps d’exécution de chaque requête.
Tutoriel XPerfSql
Un tutoriel dédié à l’utilisation de XPerf en mode On Premise ou Cloud est disponible
Activation et mode de gestion : Dialogue ou Fichier
L'activation va positionner une indicateur dans la session windows courante, pour que les prochains programmes lancés se fassent avec trace SQL.
Informations techniques
L'interface d'accueil n'est pas tracée
La trace ne fonctionne que pour la session windows courante de l'utilisateur et des programmes interactifs. Ne fonctionne donc pas avec un programme lancé par service (service diva, service web, scrutateur,...)
La trace fonctionne en client léger (même si xrtdiva.exe n'est pas exécuté dans la session)
En mode fichier, il sera produit un fichier par programme (xrtdiva.exe)
L’outil se focalise sur les opérations de type « RecordSQL » et n’intègre pas les opérations d’accès à la base de données effectuées par le biais du composant DhsXlanServer
En mode DIALOGUE, le résultat est directement affiché à l'écran, avec rafraîchissement automatique.
Il est possible d'enregistrer le résultat courant dans un fichier XML pour une analyse ultérieure.
En mode FICHIER, le résultat est écrit dans un fichier au format XML.
Il est possible d'ouvrir le dernier fichier XML pour une analyse.
Statistiques SQL détaillées
Disponible à partir du runtime Harmony 408 2022, un bouton ‘Stats’ permet d’activer les statistiques SQL détaillées pour le moteur de base de données Microsoft SQL Server uniquement.
Les statistiques détaillées SQL permettent d’avoir des informations complémentaires telles que
la colonne “Nombre de colonnes retournées” qui indique le nombre de colonnes de la requête SQL retournées par la requête
la colonne “Audit” qui donne des informations sur les jointures et indexes.?
L’affichage est sous la forme X / Y
Y est la somme du nombre de jointures, du nombre d’index scan et du nombre d’index seek de la requête
X est le nombre d’index seek de la requête
on peut résumer cet audit ainsi : concerne le nombre de tables extérieures à la table principale lues, en indiquant le nombre de recherche optimisées sur le nombre total de recherches