Test automatisé pour Firefox OS

Vu que Firefox OS est en cours de développement, et que le support pour le nouveau matériel est à venir dans un futur proche, il est important de savoir comment le tester. Cette page présente des articles qui fournissent des informations concernant différents aspects pour le test de Firefox OS, ainsi que l’exécution des tests, l’automatisation, le suivi et l'établissemenr de rapports des résultats.

Premiers pas

Exécuter des tests sur Firefox OS: un guide pour les développeurs

Un guide rapide, pour les développeurs, pour commencer à exécuter les tests. C’est d’ici que vous devez commencer si vous n’êtes pas confirmés dans l’exécution des tests Mozilla et les systèmes d’automatisation. Si vous l’êtes, vous aurez probablement une idée sur les tests que vous devez exécuter et comment procéder, et vous pouvez aller directement aux guides plus détaillées ci-dessous. 

Les tests Gaia

Ces articles couvrent les suites de test primaires destinées à mettre Gaia à l’épreuve.

Tests d'interface utilisateur Gaia
Tests Python des interactions et caractéristiques de l’interface utilisateur Gaia.
Tests d'intégration Gaia
Tests d’intégration JavaScript pour Gaia, basés sur Marionette.
Tests unitaires Gaia
Tests unitaires sans interaction avec l'interface utilisateur; écrits en JavaScript, et non basés sur Mrionette.
Tests de performance Gaia
Mesure des performance de l'application Gaia en se basant sur une instrumentation interne. The testing harness is in-tree.
Raptor: Outils de mesure de performance pour Gaia
Raptor est un outil qui permet de mesurer la performance spécifique à Firefox OS, qui à pour ambition d'améliorer les outils de test de performance existants.
B2GPerf
Mesure la performance d'applications Gaia, basé sur une cuisine interne.
Eideticker
Donne des mesures de performance d'applications Gaia, en se basant sur des captures d'écran.
Tests MTBF
Durée moyenne avant panne(Mean Time Between Failure). Suite de tests lancés sur un périphérique pendant une longue période, essayant de trouver des problèmes de disponibilité de Gaia et de stabilité. (Actuellement, il est dans les mains de l'équipe Qualité à Taiwan et reste un framework de test en développement)

Les tests B2G

Les tests ci-dessous couvrent différents faisceaux d'essai qui permettent de tester de nombreux aspect et fonctionnalités de B2G.

Mochitests
Tests fonctionnels et d'API, basés sur HTML et JavaScript. Les tests n'interagissent pas avec Gaia.
Reftests
Test d'exactitude des rendus des tests Gecko.
WebAPI tests
Tests des WebAPI Gecko, en se basant sur JavaScript. La majorité de ces tests exigent un émulateur.
xpcshell tests
Tests 'sans tête' (headless) des API XPCOM de Gecko.
Tests cppunit
Tests unitaires C++ 'sans tête' (headless).

Supporting documentation

Cette section, apporte des liens, sur quelques-unes des technologies de support, sur lesquels les tests Mozilla s'appuient, et pour lesquels vous voudrez surement en savoir plus.

Marionette
Un conducteur de test à distance, basé sur Selenium.
Outils JavaScript Marionette
Basés sur node.js ils permettent de lancer des tests sur Marionette.
Client Python Marionette
Un client Python pour lancer des tests sur Marionette.
Try server
Serveur de Mozilla permettant de tester les correctifs avant de les intégrer dans le répertoire central. Voir aussi le TryChooser Syntax Builder.

A noter: Si vous souhaitez lancer Marionette sur une compilation pour la production (pour lancer les tests d'intégration de gaia, gaia-ui-tests, etc.), vous pouvez installer Marionette comme une extension (cela fonctionne pour l'instant uniquement sur les compilations en version 1.3, mais le support sera bientôt plus étendu.)

Intégration continue et rapport des résultats

Les articles suivants couvrent les mécanismes d'intégration continue et d'établissement de rapports des résultats utilisés par Mozilla afin de sauvegarder et interpréter les données de test.

Treeherder
Comprendre les tests et compilations lancées sur Treeherder.
Raptor
Visualisation des tests de performance lancés avec l'outil Raptor.
Datazilla [déprécié]
Comprendre quels tests de performances sont rapportés sur Tableau de bord Datazilla, et qu'est ce qu'ils mesurent.
Graphe de test d'exécution
Un graphe montrant quels tests ont été exécutés - sur quels appareils et quand - et quelles sont les plateformes supportées par chaque test.

Étiquettes et contributeurs liés au document

 Contributeurs à cette page : jwhitlock, slopesneves, sousmangoosta, SphinxKnight, mstiri
 Dernière mise à jour par : jwhitlock,