Les outils de tests sont de plus en plus demandés dans le développement des logiciels.Ils permettent à tous les acteurs d'un projet de préparer des cas de tests (rédigés à partir du cahier de charge client), de les valider (scénarii de test), de les exécuter (campagnes de test) et d'en extraire des rapports (bilan des anomalies). C'est ce que offre en particulier l'outil de gestion des tests "Salome TMF" (Test Management Framework) comme fonctionnalités primaires.
De part la gestion des tests et des campagnes,l'outil de gestion des test "Salome TMF" propose aussi une gestion avancée des exigences et des anomalies connues respectivement sous le nom de Plugin Requirements et Plugin Mantis, ce qui lui permet de jouir et de bénéficier des conditions d'utilisation des produits Open Source et d'être un produit gratuit intéressant.
Gestion des tests
Définition d'un test
Un test est une méthode dynamique de validation de logiciel et se définit comme étant l'exécution d'un programme automatique ou d'une séquence d'action manuelle sur un environnement, pour vérifier qu'il répond à ses spécifications, en identifiant les différences entre les résultats attendus et les réultats obtenus.
Description et manipulation des tests sur Salome TMF (cas d'un nouveau projet)
Les tests sont organisés (Figure 1) dans une arborescence à deux niveaux : Famille et Suite. Une famille peut contenir des suites et une suite peut contenir des tests, manuels ou automatiques.
Figure 1:Arbre de tests
Ajouter une famille
Une famille se compose d'un ensemble de suites de tests.
Pour ajouter une famille (Figure 2) :
- cliquer sur "Ajouter une famille"
- spécifier le nom et la description de la nouvelle famille
- valider
Figure 2:Ajout d'une famille de tests
La nouvelle famille est alors créée sous le répertoire racine "Suites de test".
Ajouter une suite
Une suite est définie comme un ensemble logique de tests.
Pour ajouter une suite (Figure 3) :
- cliquer sur "Ajouter une suite" ;
- spécifier le nom et la description de la nouvelle suite ;
- valider.
Figure 3:Ajout d'une suite de tests
La nouvelle suite est alors créée :
- dans la famille "Famille par défaut" si celle-ci était sélectionnée, si une suite ou un test lui appartenant était sélectionné ou si aucune famille n'était sélectionnée ;
- dans une famille existante si celle-ci était sélectionnée, si une suite ou un test lui appartenant était sélectionné ou si aucune famille n'était sélectionnée.
Ajout d'un test manuel
Pour créer un test manuel (Figure 4) :
- sélectionner la suite dans laquelle le test doit être ajouté ;
- cliquer sur "Ajouter un test" ;
- compléter le nom et la description du test ;
- sélectionner le type "Manuel" ;
- valider.
Figure 4:Ajout d'un test manuel
Le test est ajouté à la suite qui était sélectionnée. Il reste à le modifier pour le décrire entièrement.
Ajout d'une description au test
L'onglet "Détails" permet de décrire le test tout en spécifiant ses caractéristiques et son périmètre d'application.Dans la plupart des cas il suffira de mentionner la description du test,ses objectifs et ses pré-requis.
Ajouter des actions de tests
L'onglet "Actions" permet de lister les différentes étapes(steps) du test.
Pour ajouter une action à un test manuel (Figure 5) :
- se positionner sur le test
- activer l'onglet "Actions"
- cliquer sur le bouton "Ajouter"
- compléter le nom, la description et le résultat attendu
- ajouter si nécessaire des attachements, fichiers ou URL, auxquels une description peut être associée
- valider la création de l'action en cliquant sur "Valider"
- renouveler la procédure pour créer d'autres actions
Figure 5:Ajout d'une action au test
Ajout de paramètres
L'onglet "Paramètres" (Figure 6) permet de définir des paramètres dans les tests.Cela permet de définir des campagnes génériques qui seront jouées avec des valeurs de paramètres différents (jeux de données).
Figure 6:Onglet des paramètres de test
Utiliser les paramètres dans les actions
Pour utiliser un paramètre dans la description de l'action ou du résultat attendu (Figure 7) :
- cliquer sur "Paramètre"
- pour utiliser un paramètre existant, cliquer sur "Utiliser"
- pour utiliser un nouveau paramètre, cliquer sur "Nouveau"
- valider
Figure 7:Utilisation de paramètre
Ajouter des attachements au test
Il est possible d'attacher des éléments à un test (Figure 8).L'onglet "Attachements" permet de lister des pièces jointes attachées à ce dernier.
Pour cela :
- se positionner sur le test
- activer l'onglet "Attachements"
- cliquer sur le bouton "Ajouter fichier" ou "Ajouter URL"
- indiquer le fichier ou l'URL
- valider
Figure 8:Ajout d'attachement
Il est ensuite possible d'associer une description à chaque élément attaché et de les visualiser.
Import des tests ou de données (cas d'un ancien projet ou un projet traité manuellement)
Dans la section précédente (section 9), nous avons vu une première méthode de rédaction du plan de tests qui se fait manuellement par l'utilisateur, en ajoutant une famille suivie d'une suite puis d'un ou plusieurs scénarii de tests.
Dans ce paragraphe, on va proposer une deuxième démarche qui se définit par l'import des données.
En fait, la méthode d'import est utlisée par exemple , dans le cas où un utilisateur a rédigé le plan de tests et les campagnes manuellement sans un outil de gestion de test.
A ce moment là, et si l'utilisateur souhaite passer sur salome TMF pour achever son travail , il peut importer ses premières notes sur Salome TMF, sans qu'il ait à les reproduire manuellement.
Le seul point qu'il faut souligner à cet effet, est que , les données pré-enregistrées doivent faire l'objet de la même disposition, arborescence et nomination sur Salome TMF.
Pour ce faire, Salome TMF offre la possibilité d'exporter un fichier modèle à partir du menu "Outils" puis "Echange de données au format XLS" puis "Générer un classeur XLS vide".
Ainsi, l'utilisateur peut copier ses données sur le fichier modèle en respectant les champs puis d'impoter ce fichier sur Salome TMF, et par conséquent, tout son travail sera stocké.
Figure 9:Génération d'un fichier vide et import
Gestion des environnements
Définition
Les environnements permettent de spécifier l'environnement d'exécution de tests inclus dans une campagne de test qui peut être un browser (Internet Explorer et Mozilla Firefox) ou encore une version du produit.
Description
La gestion des environnements se fait à partir de l'onglet "Gestion des données" (Figure 10).
Figure 10:Gestion des environnements d'un projet
Ajout d'un nouvel environnement
Cette fonctionnalité, accessible en cliquant sur le bouton "Ajouter" (Figures 11) , permet de décrire les éléments constituant un environnement.
Figure 11:Description d'un environnement
Les champs définissant l'environnement sont :
- nom de l'environnement
- script : le script choisi sera exécuté avant les tests appartenant à la campagne de tests correspondante
- description de l'environnement
- paramètres de l'environnement : ces paramètres, une fois valorisés, sont utilisés dans les tests et éventuellement dans les scripts pouvant être attachés aux environnements et aux exécutions
Modification d'un environnement
Cette fonctionnalité, accessible en cliquant sur le bouton "Modifier" (Figure 10) , permet de modifier l'environnement, à condition que celui-ci n'ait pas déjà été sollicité par une exécution.
Suppression d'un environnement
Cette fonctionnalité, accessible en cliquant sur le bouton "Supprimer" (Figure 10), permet de supprimer l'environnement, à condition que celui n'ait pas déjà été sollicité par une exécution.
Définir des paramètres d'un environnement
Il est possible, dans un environnement de définir ou d'utiliser des paramètres d'un projet afin de les valider pour l'exécution de tests.
Gestion des paramètres
Définition d'un paramètre
Les paramètres sont le plus souvent utilisés dans les exécutions paramétrées des tests.
En effet, il arrive parfois qu'un utilisateur souhaite reproduire le scénario de test mais avec d'autres valeurs.
Les tests paramétrés permettent de définir des campagnes génériques qui seront jouées avec des valeurs de paramètres différents (jeux de données).
Manipulation
La gestion globale des paramètres d'un projet se fait à partir de l'onglet "Gestion des données" (Figure 12), toutefois, comme nous l'avons introduit en section 1,un paramètre peut être créé à partir de différents endroits.
Figure 12:Gestion des paramètres d'un projet
Cet onglet permet de :
- consulter les paramètres définis sur le projet et utilisés dans les tests ou les environnements
- créer de nouveaux paramètres
- modifier des paramètres existants en changeant leur description
- supprimer des paramètres
Création d'un paramètre à partir de l'onglet gestion de données
L'ensemble des paramètres utilisables sur un projet est consultable à partir de l'onglet "Gestion des données", en cliquant sur "Paramètres". Il est aussi possible d'ajouter de nouveaux paramètres en cliquant sur "Nouveau" (Figure 13).
Figure 13:Description d'un paramètre
Pour poursuivre la création du paramètre (Figure 14), il faut le nommer et le décrire avant de cliquer sur "Valider". Le paramètre créé est ensuite utilisable par les tests et les environnements.
Figure 14:Ajout de paramètres au projet
Création d'un paramètre à partir d'une action de test
Lors de la description d'une action de test manuel, il est possible de créer un nouveau paramètre qui sera utilisé par l'action de test. Pour cela, à partir de la fenêtre d'ajout d'une action de test (Figure 15), cliquer sur le bouton "Paramètre".
Figure 15:Utilisation d'un paramètre à partir d'une action
La fenêtre (Figure 16) d'ajout de paramètres apparaît, cliquer alors sur nouveau. Il est aussi possible d'utiliser un paramètre existant. Pour cela, sélectionner le paramètre désiré, et valider.
Figure 16:Vue des paramètres utilisés par un test
Pour terminer la création du paramètre (Figure 17) il faut le nommer et le décrire avant de valider.
Figure 17:Description des paramètres utilisés par un test
Ensuite, pour utiliser le paramètre dans l'action courante (Figure 18), sélectionner le paramètre créé dans la liste des paramètres disponibles puis valider.
Figure 18:Utilisation d'un paramètre
Finalement, (Figure 19) le paramètre apparaît dans la description de l'action.
Figure 19:Vue d'un paramètre dans une action
Création d'un paramètre à partir d'un environnement
A partir de l'onglet "Gestion des données" (Figure 20), en sélectionnant "Environnements" et en cliquant sur "Ajouter", il est possible d'ajouter un nouvel environnement pour lequel des nouveaux paramètres peuvent être créés.
Figure 20:Ajout d'un environnement
La fenêtre d'ajout d'un environnement apparaît (Figure 21), cliquer alors sur "Nouveau".
Figure 21:Description d'un paramètre
Un nouveau paramètre peut être créé (Figure 22).
Figure 22:Déclaration d'un paramètre dans un environnement
Utilisation d'un paramètre dans un environnement
L'utilisation dans un environnement de paramètres existants se fait à partir de l'onglet "Gestion des données", en sélectionnant "Paramètres" :
- sélectionner un environnement
- cliquer sur "Modifier", la fenêtre de modification apparaît (Figure 23)
Figure 23:Modification d'un environnement
- cliquer sur "Utiliser", la fenêtre "Utiliser un paramètre existant" apparaît (Figure 24).
Figure 24:Utilisation d'un paramètre dans un environnement
- sélectionner puis valoriser le paramètre désiré
- valider.
Le paramètre ainsi valorisé est intégré à l'environnement
Valorisation d'un paramètre
Un paramètre peut également être valorisé par l'intermédiaire d'un jeu de données associé à une exécution. Lors du lancement d'un test possédant un paramètre, la valeur utilisée pour ce paramètre est :
- celle donnée pour le paramètre dans l'environnement associé à l'exécution correspondante, si ce paramètre est présent dans cet environnement
- celle donnée pour le paramètre dans le jeu de données associées à l'exécution correspondante, si ce paramètre n'est pas présent dans l'environnement associé à l'exécution.
Gestion des campagnes
Une fois les tests crées,ceux-ci sont organisés en campagnes.
A partir de l'onglet "Gestion des campagnes", différentes actions sont possibles :
- Création/modification de campagnes
- Création d'exécution de campagnes
- Lancement d'exécution de campagnes
- Consultation des résultats.
Créer une campagne
Le bouton "Créer une campagne" (Figure 25) permet la création d'une nouvelle campagne.
Figure 25:Ajout d'une campagne de tests
Ajouter des tests dans une campagne
Pour ajouter des tests dans une campagne (Figure 26) :
1.sélectionner la campagne
2.cliquer sur le bouton "Importer"
3.la fenêtre qui apparaît permet
- d'ajouter tous les tests inclus dans les suites de test d'une famille
- d'ajouter tous les tests appartenant à une suite de test
- d'ajouter un test particulier.
Figure 26:Ajout des tests aux campagnes
Après validation, les tests sont visibles dans la campagne, et organisés dans leurs familles et suites.
Définir un jeu de données pour une campagne
Il s'agit de valoriser les paramètres des tests de la campagne, s'il y en a. Pour définir un jeu de données (Figure 27) :
1.sélectionner une campagne
2.activer l'onglet "Jeux de données". La liste des jeux de données existants apparaît
3.cliquer sur le bouton "Ajouter", une fenêtre apparaît :
- nommer le jeu de données
- décrire le jeu de données
- donner une valeur pour chacun de ses paramètres
- valider.
Figure 27:Ajout d'un jeu de données
Affectation des scénarii à exécuter
Il est possible qu'un projet crée sur Salome TMF nécessite plusieurs scénarii et par conséquent une multitude de campagnes à exécuter. C'est pourquoi, il a été prévu dans Salome TMF un module pour assigner les tests ou les scénarii à exécuter et de répartir les tâches aux différents intervenants sur le projet (figure 28).
Normalement, seul l'administrateur du projet a le pouvoir de faire ces modifications ou encore tout dépend des permissions que ce dernier a alloué aux autres acteurs du projets.
L'affection des scénarii se fait à partir du menu "Gestion des campagnes" , onglet "Assigné à" comme l'indique la capture d'écran suivante:
Figure 27:Affectation d'un test à un utilisateur
Ainsi, chaque participant pourra exécuter les tests qui lui sont assignés dans chaque campagne (cas de l'affectation de plusieurs tests dans une seule campagne)
Définir une exécution pour une campagne
Pour lancer les tests d'une campagne, il est nécessaire de lui associer une exécution (Figure 29) possédant un environnement et un jeu de données.
Pour définir une exécution pour une campagne :
1.sélectionner la campagne
2.sélectionner l'onglet "Exécution"
3.cliquer sur le bouton "Ajouter", une fenêtre apparaît :
- donner le nom de l'exécution
- choisir un jeu de données existant ou en créer un nouveau
- choisir un script d'initialisation qui sera exécuté avant le lancement des tests
- choisir un script de restitution qui sera exécuté après le lancement des tests
- attacher un ou plusieurs fichiers ou URL
- décrire l'exécution
- valider.
Figure 29:Ajout d'une exécution de campagne
Il est possible que nous ayons à reproduire plusieurs exécutions dans une seule campgagne et ce pour vérifier l'intégrité et la fiabilité du test et que l'utilisateur n'a pas laissé échapper aucune information ou action.
A ce moment là et pour ce faire, il suffira de se positionner sur la même campagne et de reproduire les mêmes étapes précédentes.
Gérer le lancement des exécutions
Lancer une exécution
Pour lancer une (ou plusieurs) exécution(s) ( Figure 30):
- sélectionner la campagne correspondante
- activer l'onglet "Exécution"
- sélectionner (les) l'exécution(s) désirée(s) dans la liste des exécutions existantes
- cliquer sur le bouton "Lancer"
Figure 30:Utilisation de paramètre
Reprendre une exécution
Lorsque le lancement d'une exécution a été interrompu, il est possible de le reprendre :
- sélectionner la campagne correspondante
- activer l'onglet "Exécution"
- sélectionner l'exécution désirée dans la liste des exécutions existantes, la liste des résultats de son différent lancement apparaît
- sélectionner un résultat de lancement de l'exécution
- cliquer sur "Reprendre"
Consulter les résultats du lancement d'une exécution
Pour consulter les résultats d'une exécution (Figure 31) :
- sélectionner la campagne correspondante
- activer l'onglet "Exécution"
- sélectionner l'exécution désirée dans la liste des exécutions existantes, la liste des résultats de ses différents lancements apparaît ;
- sélectionner un résultat de lancement de l'exécution
- cliquer sur "Détails"; les résultats de chaque test de l'exécution apparaissent.
Figure 31:Consultation des résultats d'exécution
Ajouter des captures d'écran (Screenshot) à une exécution
Ce module offre la possibilité d'intégrer à une exécution des images ou encore des captures d'écran de l'application à tester. Ceci est faisable au de l'exécution d'un test en cliquant sur l'onglet à droite comme le montre la figure suivante :
Figure 32:Ajout d'un screenshot au cours d'une exécution
Dès que l'utilisateur clique sur ce bouton, un petite fenêtre s'affiche:
Figure 33:Fenêtre de capture
L'utilisateur est invité à pointer cette fenêtre sur l'application à tester ou plus exactement sur l'étape où le testeur s'est bloqué ou a remarqué une anomalie fonctionnelle.
L'image capturée est visualisable à partir de l'onglet "Attachement du résultat d'exécution du test" de la figure 4.7 .
En collaboration avec Emna JALLOULI Consultante Recette.
Lire la suite
Utilisation avancée de Salome TMF (Plugins) »
Publié par
wjaouadi -
Dernière mise à jour le 8 avril 2009 à 16:36 par wjaouadi