mozilla

Compare Revisions

MTBF tests

Change Revisions

Revision 538711:

Revision 538711 by ypwalter on

Revision 542321:

Revision 542321 by ypwalter on

Title:
MTBF tests
MTBF tests
Slug:
Mozilla/Firefox_OS/Platform/Automated_testing/MTBF_tests
Mozilla/Firefox_OS/Platform/Automated_testing/MTBF_tests
Content:

Revision 538711
Revision 542321
n23      Currently, only intranet can see some of the trial runs in n23      Currently, only intranet can see some of the trial runs in 
>MTBF clusters in MTBF Jenkins CI server.<br>>MTBF clusters in MTBF Jenkins CI server. There are no public resu
 >lt yet.
24      <a href="http://mtbf-1.corp.tpe1.mozilla.com:8080">http://m
>tbf-1.corp.tpe1.mozilla.com:8080</a> 
n30      Let's go through the steps required to set up the Gaia-UI En29      Let's go through the steps required to set up the Gaia-UI M
>ndurance test environment and run the tests on your local machine>TBF test environment and run the tests on your local machine and 
> and Firefox OS device.>Firefox OS device.
n52    <h3 id="Step_1.3A_Clone_the_Gaia_repository">n51    <h3 id="Step_1.3A_Clone_the_Gaia_repository_from_Mozilla-TWQA
 >">
n56      The Gaia-UI Endurance Tests are located in the Mozilla Githn55      The Gaia-UI MTBF Tests are located in the Mozilla Github Ga
>ub Gaia repository. Assuming that you haven’t done so already, th>ia repository. Assuming that you haven’t done so already, the fir
>e first step is to clone that repo:>st step is to clone that repo:
n68      The Gaia-UI Endurance tests are built upon the GaiaTest fran67      The Gaia-UI MTBF tests are built upon the GaiaTest framewor
>mework (which uses <a href="https://developer.mozilla.org/en-US/d>k (which uses <a href="https://developer.mozilla.org/en-US/docs/M
>ocs/Marionette" target="_blank" title="Marionette">Marionette</a>>arionette" target="_blank" title="Marionette">Marionette</a>). Th
>). The next step is to run the setup script to install GaiaTest a>e next step is to run the setup script to install GaiaTest and al
>nd all of the required dependencies. You may wish to create a new>l of the required dependencies. You may wish to create a new virt
> virtual environment to use with the Gaia-UI Endurance Tests. If >ual environment to use with the Gaia-UI MTBF Tests. If you don’t,
>you don’t, you may need to use <code>sudo</code> while running th> you may need to use <code>sudo</code> while running the setup co
>e setup command. In your terminal, type:>mmand. In your terminal, type:
n74    <h3 id="Step_5.3A_Connect_to_USB_and_ADB_Forward_the_Device">n73    <h3 id="Step_3.3A_Get_MTBF_Driver">
n83    <h3 id="Step_3.3A_Set_test_vars_and_acknowledge_risks">n82    <h3 id="Step_4.3A_Set_test_vars_and_acknowledge_risks">
n87      GaiaTest uses a special file to set certain variables that n86      GaiaTest uses a special file to set certain variables that 
>are required for test configuration. For example, to tell the dev>are required for test configuration. For example, to tell the dev
>ice which WiFi network it should use. Before running the Gaia-UI >ice which WiFi network it should use. Before running the Gaia-UI 
>Endurance Tests, you must setup the test vars file. Make a copy o>MTBF Tests, you must setup the test vars file. Make a copy of the
>f the <code>gaia/tests/python/gaia-ui-tests/gaiatest/testvars_tem> <code>gaia/tests/python/gaia-ui-tests/gaiatest/testvars_template
>plate.json</code> file in the same location (call it what you lik>.json</code> file in the same location (call it what you like) an
>e) and edit it:>d edit it:
n98      As mentioned in the warning above, running the Gaia-UI Endun97      As mentioned in the warning above, running the Gaia-UI MTBF
>rance tests will result in data being erased from the Firefox OS > tests will result in data being erased from the Firefox OS devic
>device and microSD card. This is to ensure that the tests start c>e and microSD card. This is to ensure that the tests start cleanl
>leanly each time. For example, running a test on a device that al>y each time. For example, running a test on a device that already
>ready has 10,000 contacts will have very different memory value r> has 10,000 contacts will have very different memory value result
>esults vs running the same test on a device with no existing cont>s vs running the same test on a device with no existing contacts.
>acts. In order to run the tests, you must acknowledge that you ar> In order to run the tests, you must acknowledge that you are awa
>e aware of this data loss risk.>re of this data loss risk.
n138      Now you’re ready to actually try running a test. To run then137      Now you’re ready to actually try running a test. Use the fo
> <code>add_contact</code> endurance test, with a single iteration>llowing commands:
>, use the following commands: 
n151      The Firefox OS device b2g process should now restart, then n150      The Firefox OS device b2g process should now restart, then 
>the <code>add_contact</code> endurance test will run with a singl>the <code>add_contact</code> MTBF test will run with a single ite
>e iteration. If you watch the Firefox OS device, you’ll see the d>ration. If you watch the Firefox OS device, you’ll see the device
>evice UI being manipulated by Marionette. After the test finishes> UI being manipulated by Marionette. After the test finishes, a m
>, a memory checkpoint will be performed.>emory checkpoint will be performed.
152    </p>
153    <div class="note">
154      <p>151    </p>
152    <div class="note">
153      <p>
155        <strong>Note</strong>: The Gaia-UI Endurance tests now gr154        <strong>Note</strong>: The Gaia-UI MTBF tests now grab th
>ab the Firefox OS device’s b2g process RSS value for the memory u>e Firefox OS device’s b2g process RSS value for the memory use ch
>se checkpoint (it used to be the V-SIZE value.)>eckpoint (it used to be the V-SIZE value.)
n174      If you have any questions about the Firefox OS Endurance ten173      If you have any questions about the Firefox OS MTBF tests o
>sts or are interested in contributing to this important automatio>r are interested in contributing to this important automation dev
>n development effort, feel free to contact us at wachen@mozilla.c>elopment effort, feel free to contact us at wachen@mozilla.com
>om 
n176    <h2 id="Contributing_to_the_project">n175    <h2 id="How_to_migrate_test_cases_from_Gaia-ui-tests">
n218      <br>n217      &nbsp;
nn221    </p>
222    <p>
223      &nbsp;
n274      <br>n276      &nbsp;
nn281    <p>
282      &nbsp;
283    </p>
n329      <br>n334      &nbsp;
nn338    </p>
339    <p>
340      &nbsp;
n344      <br>n352      &nbsp;
tt356    </p>
357    <p>
358      &nbsp;

Back to History