Cette idée est de plus en plus mise en avant: équipe de test intégrée aux services qualités, possibilité de refuser une livraison, les testeurs maîtrisent la spécification et les points de vue utilisateurs et les activités de développement et de test sont séparées.
Pour avoir travailler dans ce type d’organisation, j’ai observé les travers suivants:
– mauvaise qualité des tests unitaires
– le développement ne se préoccupe pas des expériences utilisateurs et celle des autres intervenants d’ailleurs (production, administration …)
– mauvaise communication entre équipe projet et test
– dé-responsabilisation du chef de projet vis à vis de la décision de livrer
etc …

La qualité ne devrait-elle pas être un objectif commun à toute l’équipe?
C’est possible en définissant en amont pour un produit quels sont les objectifs en terme de qualité (utilisabilité, fiabilité, maintenabilité, sécurité …) à atteindre et les partager sur toutes les activités (définition des exigences, conception, développement et test).

En effet comment avoir un produit robuste aux attaques si on a pas pris cette objectif en compte lors de la conception? Comment avoir un produit fiable si les tests unitaires n’ont pas été effectués?

Quelques pratiques peuvent nous aider à améliorer la qualité:

– Définir en amont les objectifs qualité à atteindre.
– Définir avec tous les intervenants en amont les principaux scénarios utilisateurs y compris ceux des administrateurs, opérateurs et production.
– Mettre en place des pratiques de TDD (test driven development)plutôt que de s’acharner sur des conceptions détaillées.
– Former les équipes aux tests, pas uniquement les testeurs.
etc …

Les points positifs:

* Économie de moyen, pas de process lourd
* Créativité de par la méthode et l’absence de cadre
* Retour rapide, nombre d’anomalies important
* Vision utilisateur
* Adaptabilité
* Test basé sur l’expérience et l’intuition

Les points négatifs:

* Nécessite des testeurs expérimentés.
* Le processus de test débute trop tard, pas de prévention.
* Pas de couverture d’exigence, certains points peuvent être alors négligés.
* La pertinence des tests dépend de l’expérience des testeurs.

Dans quels cas utiliser cette méthode:

* Absence de processus et de structuration, néanmoins il faut une aide en ligne ou un manuel utilisateur à jour.
* Moyen de retour rapide qui pourrait être utiliser comme “smoke test” avant de débuter un processus de test structuré.
* En beta test amélioré avant déploiement sur le terrain pour détecter des problèmes non vus par les équipes de développement.
* Pour des prototypes ou pilotes qui ne nécessitent pas un investissement en test couteux.

Basé sur l’expérience, la créativité de testeurs confirmés, ce type de test permet de découvrir des anomalies qui échappent à des techniques structurées. En effet les processus de test classiques n’encouragent pas à “sortir des sentiers battus” et imaginer lors des phases d’exécution de nouveaux tests autres que ceux planifiés (pression des plannings, exécutants non expérimentés …). Il m’a souvent été reproché de passer des tests non prévus, mais comment avec toute la meilleure volonté du monde écrire un plan de test exhaustif à partir de spécifications surtout quand sont abordées les exigences de type non fonctionnelles telles que la robustesse.

Ne faire que du test exploratoire me parait également non suffisant. Le risque est de ne pas tester certaines parties. Tout dépend de la motivation et l’expérience du testeur. S’il quitte la société?

Par contre combiné à d’autre stratégie de type méthodique il est un complément intéressant, puissant,peu couteux et peut s’intégrer à part entière dans le processus de test.