mozilla

Compare Revisions

Running automated tests

Change Revisions

Revision 5224:

Revision 5224 by Nickolay on

Revision 5225:

Revision 5225 by lunalum on

Title:
Running automated tests
Running automated tests
Slug:
Running_automated_tests
Running_automated_tests
Tags:
NeedsHelp, NeedsContent, "Automated testing", "Developing Mozilla", "MDC Project", automated, running
NeedsHelp, NeedsContent, "Automated testing", "Developing Mozilla", "MDC Project", automated, running
Content:

Revision 5224
Revision 5225
n8      Mozilla code is covered by a large number of automated unitn8      Mozilla code is covered by a large number of automated unit
>- and regression tests. These tests are run on <a href="en/Tinder>- and regression tests. These tests are run on <a href="/en/Tinde
>box">Tinderbox</a> constantly and developers are expected to make>rbox" title="en/Tinderbox">Tinderbox</a> constantly and developer
> sure their changes do not break the automated test-suites.>s are expected to make sure their changes do not break the automa
 >ted test-suites.
n11      Mozilla uses several home-grown automated testing frameworkn11      Mozilla uses several home-grown automated testing framework
>s, an overview of each framework with links to detailed documenta>s, an overview of each framework with links to detailed documenta
>tion is available at <a href="en/Mozilla_automated_testing">Mozil>tion is available at <a href="/en/Mozilla_automated_testing" titl
>la automated testing</a>.>e="en/Mozilla_automated_testing">Mozilla automated testing</a>.
n23      <a href="en/Build_Documentation">Build Documentation</a> han23      <a href="/en/Build_Documentation" title="en/Build_Documenta
>s the general instructions on building Firefox. The default build>tion">Build Documentation</a> has the general instructions on bui
> options are suitable for running the automated tests. The tests >lding Firefox. The default build options are suitable for running
>can be run on both debug and release builds, but due to bugs in s> the automated tests. The tests can be run on both debug and rele
>ome tests, they may die because of an assertion failure. (XXX fin>ase builds, but due to bugs in some tests, they may die because o
>d/file a bug that tracks such tests.)>f an assertion failure. (XXX find/file a bug that tracks such tes
 >ts.)
n29      The following commands execute the <a href="en/Compiled-codn29      The following commands execute the <a href="/en/Compiled-co
>e_automated_tests">standalone (aka "compiled-code") tests</a> and>de_automated_tests" title="en/Compiled-code_automated_tests">stan
> the <a href="en/Writing_xpcshell-based_unit_tests">xpcshell-base>dalone (aka "compiled-code") tests</a> and the <a href="/en/Writi
>d tests</a>.>ng_xpcshell-based_unit_tests" title="en/Writing_xpcshell-based_un
 >it_tests">xpcshell-based tests</a>.
n32$ cd <b>&lt;OBJ_DIR&gt;</b>n32$ cd <strong>&lt;OBJ_DIR&gt;</strong>
n42      If <tt>make</tt> exits without an error, all the tests passn42      If <code>make</code> exits without an error, all the tests 
>ed.>passed.
n48      To run the whole <a href="en/Mochitest">Mochitest</a> suiten48      To run the whole <a href="/en/Mochitest" title="en/Mochites
> use the following commands:>t">Mochitest</a> suite use the following commands:
n51cd <b>&lt;OBJ_DIR&gt;</b>n51cd <strong>&lt;OBJ_DIR&gt;</strong>
n59      See the individual sections on the <a href="en/Mochitest">Mn59      See the individual sections on the <a href="/en/Mochitest" 
>ochitest</a> page for more information.>title="en/Mochitest">Mochitest</a> page for more information.
n68$ cd <b>&lt;SRC_DIR&gt;</b>n68$ cd <strong>&lt;SRC_DIR&gt;</strong>
69$ <b>OBJ_DIR</b>/dist/MinefieldDebug.app/Contents/MacOS/firefox -69$ <strong>OBJ_DIR</strong>/dist/MinefieldDebug.app/Contents/MacOS
>no-remote \>/firefox -no-remote \
70  -P <b>PROFILE_NAME</b> -reftest layout/reftests/reftest.list 2&70  -P <strong>PROFILE_NAME</strong> -reftest layout/reftests/refte
>gt;&amp;1 | grep UNEXPECTED>st.list 2&gt;&amp;1 | grep UNEXPECTED
n76      <li>SRC_DIR is the top of the mozilla source tree (e.g. <ttn76      <li>SRC_DIR is the top of the mozilla source tree (e.g. <co
>>mozilla/</tt>),>de>mozilla/</code>),
n82      <li>replace <tt>dist/MinefieldDebug.app/Contents/MacOS/firen82      <li>replace <code>dist/MinefieldDebug.app/Contents/MacOS/fi
>fox</tt> with the relative path to firefox executable, which on L>refox</code> with the relative path to firefox executable, which 
>inux and Windows is simply <tt>dist/bin/firefox</tt>>on Linux and Windows is simply <code>dist/bin/firefox</code>
n89      If the command prints any output (<tt>UNEXPECTED FAIL</ttn89      If the command prints any output (<code>UNEXPECTED FAIL</co
>or similar), some reftests have failed.>de> or similar), some reftests have failed.
n95      <li>TODO: crashtest, chrome tests, ...n95      <li>TODO: crashtest, <a href="/en/Chrome_tests" title="en/C
 >hrome_tests">chrome tests</a>, ...
n99      <li>n99      <li>Talos
100        <a class="external" href="http://wiki.mozilla.org/Perform
>ance:Tinderbox_Tests">Talos</a> 
n102      <li>n101      <li>running the above tests with/without leak, assertion ch
 >ecks
103        <a class="external" href="http://wiki.mozilla.org/Perform
>ance:Tinderbox_Tests">running the above tests with/without leak,  
>assertion checks</a> 
t105    </ul><a class="external" href="http://wiki.mozilla.org/Perfort103    </ul>
>mance:Tinderbox_Tests"></a> 

Back to History