mozilla

Compare Revisions

Release Testing

Change Revisions

Revision 73341:

Revision 73341 by Whimboo on

Revision 73342:

Revision 73342 by abillings on

Title:
Release Testing
Release Testing
Slug:
Mozmill/Release_Testing
Mozmill/Release_Testing
Tags:
QA, MozMill, "release testing"
QA, MozMill, "release testing"
Content:

Revision 73341
Revision 73342
n8      To shorten the times for QA while running tests against upcn8      To shorten the times for QA while running tests against upc
>oming Firefox releases, Mozmill is used to run the existent autom>oming Firefox releases, Mozmill is used to run existing automated
>ated tests. Remaining tests have still be run manually but it's g> tests. The remaining tests still have to be run manually but the
>etting lesser. Test results are reported to Brasstacks and can be>ir number is growing smaller over time. Test results are reported
> analyzed and synchronized with Litmus later.> to Brasstacks, where they can be analyzed and synchronized with 
 >Litmus later.
n11      Tests which get run for release testing Firefox:n11      The tests which are run for release testing of Firefox are:
n20      In the following both procedures of testing will be describn20      In the following sections, both procedures of testing will 
>ed in detail.>be described in detail.
n26      For new Firefox release candidate builds QA is running Smokn26      For new Firefox release candidate builds, QA is running Smo
>etests and BFT's against that build. For an example see the resul>ketests and BFT's against that build. For an example of this, see
>ts of the <a class=" link-https" href="https://wiki.mozilla.org/R> the results of the <a class=" link-https" href="https://wiki.moz
>eleases/Firefox_3.5.8/Test_Plan:Smoketests" title="https://wiki.m>illa.org/Releases/Firefox_3.5.8/Test_Plan:Smoketests" title="http
>ozilla.org/Releases/Firefox_3.5.8/Test_Plan:Smoketests">Firefox 3>s://wiki.mozilla.org/Releases/Firefox_3.5.8/Test_Plan:Smoketests"
>.5.8 test plan</a>. To speed-up the whole test-run Mozmill is use>>Firefox 3.5.8 test plan</a>. To speed-up the test-run, Mozmill i
>d to run all existent automated tests from the Smoketests and BFT>s used to run all existing automated tests from the Smoketests an
> testgroup. Automated tests are run on each of the supported plat>d BFT testgroups in Litmus. These automated tests are run on each
>forms. Results are reported to Brasstacks and have to manually sy> of the supported platforms. The results are then reported to Bra
>nchronized with Litmus.>sstacks directly and then manually synchronized with Litmus.
n29      The test-run is separated into two independent Mozmill testn29      The automated test-run is separated into two independent Mo
>-runs. The first one is for normal Mozmill tests while the second>zmill test-runs. The first of these is for normal Mozmill tests a
> run will run tests which require a restart of the browser. Both >nd the second run runs tests which require a browser restart. Bot
>runs will be started with the command line client. So make sure i>h runs are started with the command line Mozmill client (see <a h
>t is <a href="/en/Mozmill_Tests#Installation_of_Mozmill" title="e>ref="/en/Mozmill_Tests#Installation_of_Mozmill" title="en/Mozmill
>n/Mozmill Tests#Installation of Mozmill">installed</a>.> Tests#Installation of Mozmill">here</a> for installation details
 >).
n35      Follow the notes in the test plan and grab the release candn35      Follow the notes in the test plan and obtain the release ca
>idate builds from the FTP server. Store them locally and install >ndidate builds from the FTP server. Store them locally and instal
>the builds.>l the builds within the operating systems to be tested.
n41      To start the test-run for normal tests run the command given41      To start the test-run for normal tests, run the command giv
>n below depending on your platform:>en below (depending on your platform):
n52      To start the test-run for restart tests run the command givn52      To start the test-run for restart tests, run the command gi
>en below depending on your platform:>ven below (depending on your platform):
n63      The machine in the QA&nbsp;lab which runs our daily automatn63      There is a machine in the QA&nbsp;lab which runs daily auto
>ed tests will also be used for release testing. It has a pre-conf>mated tests and has a pre-configured environment for the automati
>igured environment. So you would have to do the following steps:>on. This machine is also used for release testing. To use it, do 
 >the following steps:
n66      <li>Download all the builds to '<code>/data/testing/releasen66      <li>Download all the builds to '<code>/data/testing/release
>/download</code>'.>/download</code>' within the master OS&nbsp;X system.
n68      <li>Install the builds into the platform sub folders insiden68      <li>Install the builds into the platform sub-folders inside
> '<code>/data/testing/release/</code><code>'</code>.> '<code>/data/testing/release/</code><code>'</code> from each ope
 >rating system's virtual machine. <em>This is location is availabl
 >e as a mapped drive.</em>
n70      <li>Open a shell and execute the following commandsn70      <li>Open a shell and execute the following commands:
n84      All reports will be send to Brasstacks. Open the <a class="n84      All reports are sent to Brasstacks. Open the <a class=" ext
> external" href="http://brasstacks.mozilla.com/couchdb/mozmill/_d>ernal" href="http://brasstacks.mozilla.com/couchdb/mozmill/_desig
>esign/reports/_list/summary/summary" title="http://brasstacks.moz>n/reports/_list/summary/summary" title="http://brasstacks.mozilla
>illa.com/couchdb/mozmill/_design/reports/_list/summary/summary">s>.com/couchdb/mozmill/_design/reports/_list/summary/summary">summa
>ummary page</a> and scroll down to the bottom of the page to find>ry page</a> and scroll down to the bottom of the page to find the
> the latest results. Link those from the test plan results page.> latest results. Link those results from the test plan results pa
 >ge.
n90      For new Firefox releases QA tests all possible update pathsn90      For new Firefox releases, QA tests all possible update path
> to make sure users on the beta and release channel will get the >s to make sure users on the beta and release channels will receiv
>right updates delivered. Automated Software Update tests are run >e the right updates. Automated Software Update tests are run on s
>on selected platforms. Results will be displayed in the shell or >elected platforms. During these test-runs, the results are displa
>can be written into a log file.>yed within the shell or can be written to a log file.
n93      The Software Update tests are separated into two independenn93      The Software Update tests are separated into two independen
>t test-runs for each build. The first one checks and updates Fire>t test-runs for each build. The first of these checks and updates
>fox in the normal way while the second run will do the update for> Firefox in the normal way and the second run updates with the fa
> the fallback case. To start the Software Update tests the comman>llback case. The Software Update tests use the command line Mozmi
>d line client is necessary. So make sure it is <a href="/en/Mozmi>lll client (see <a href="/en/Mozmill_Tests#Installation_of_Mozmil
>ll_Tests#Installation_of_Mozmill" title="en/Mozmill Tests#Install>l" title="en/Mozmill Tests#Installation of Mozmill">here</a> for 
>ation of Mozmill">installed</a>.>installation details).
n99      Follow the notes in the test plan and download the specifien99      Follow the notes in the test plan and download the specifie
>d Firefox releases from the FTP server to a local folder, e.g. '<>d Firefox releases from the <a class=" link-ftp" href="ftp://ftp.
>code>d:/builds/</code>'.>mozilla.org/pub/firefox" title="ftp://ftp.mozilla.org/pub/firefox
 >">FTP server</a> to a local folder within the operating system be
 >ing tested, e.g. '<code>d:/builds/</code>'.
n105      During the release test cycle the tests will be run with thn105      During the release test cycle, tests will be run with the b
>e betatest, beta, releasetest, and release channel. For each of t>etatest, beta, releasetest, and release channels. For each of tho
>hose channels the following command has to be executed:>se channels the following command is executed:
n122      The machine in the QA&nbsp;lab which runs our daily automatn122      The machine in the QA&nbsp;lab which runs our daily automat
>ed tests will also be used for software update tests. It has a pr>ed tests will also be used for software update tests. It has a pr
>e-configured environment. So you would have to do the following s>e-configured environment for testingTo run the tests, follow th
>teps:>ese steps:
n127      <li>Open a shell and execute the following commandsn127      <li>Open a shell and execute the following commands with th
 >e operating system to be tested:
t141      The results for all software update tests will be availablet141      The results for all update tests will be available under th
> under the '<code>logs</code>' folder in separate text files. Ope>e '<code>logs</code>' folder as separate text files. Open each lo
>n each log and scroll to the bottom to find the results which can>g and scroll to the bottom to find the results. These can be copi
> be c&amp;p'ed to the results wiki page of the release.>ed to the results wiki page of the release.

Back to History