]> review.fuel-infra Code Review - openstack-build/neutron-build.git/commit
Fix some issues around tempest in fullstack testing doc
authorMatthew Treinish <mtreinish@kortar.org>
Fri, 14 Aug 2015 15:41:49 +0000 (11:41 -0400)
committerMatthew Treinish <mtreinish@kortar.org>
Fri, 14 Aug 2015 19:16:12 +0000 (15:16 -0400)
commitfdd96e9a00cdb537217de51488aa59890564d0a8
tree56eed8a70a70bbdf883139433960331c5a5d5232
parentf16008b9882cf68eb47b4e5ec2c33214c0d3a32c
Fix some issues around tempest in fullstack testing doc

The why section in the fullstack testing doc gives a good explanation
of the rational behind the testing and where it fits in the testing
pyramid. However, some of the drawbacks of tempest mentioned aren't
accurate or are misleading. This commit attempts to reword that
piece to clear up any potential sources of confusion.

The difficulty in running tempest doesn't change depending on the
nature of the deployment, since tempest is an external test suite that
interacts with any deployment only through the api. The configuration
and run mechanics do not change whether your cloud is 1 or multiple
nodes. The real difficulty lies in setting up a multinode deployment.

For the failure reporting, if you can't figure out why something
failed from a tempest run it's the same for any end user of the API.
It should be treated as a bug in the project if an end user
can't figure out why something failed from logs and what gets
returned by the API. But, since the fullstack tests are a bit lower
level its not necessarily trying to catch bugs like that. This commit
attempts to reword it to make that distinction clear.

Change-Id: Ie5b01047412deb84fe1457100ecd4af48a1d7efc
doc/source/devref/fullstack_testing.rst