Add new line after last key in generate script

Change-Id: I8dcd78b12e7a14bbb35dc49d7526b49189e903f2

Use jenkins hostname instead of local net ip

Change-Id: Icc4a8c0345c27d443855dee1f291216180cba0b3

Merge "Add job for cleaning up CREATE_FAILED stacks"

Add trigger snapshot.params to swarm runner

Change-Id: I376d039533869ca2423d2af966694e8a1713eb3b

Add job for cleaning up CREATE_FAILED stacks

Change-Id: I9e2106a4d4ddcc964d45e6c63150d315d150953b

Allow to use custom iso in mos deploy

Change-Id: I589093edbc8ccd744074efcd59c0fc96f2f8493e

Disable bootmenu via env var

requires https://review.openstack.org/#/c/649903/

Change-Id: I5a2bb603adf05fa77ee0faaa987a14126e864d4d

Add team's public ssh keys from reclass to image

Change-Id: I291b5bb3a3364b7e6328783cf0859ad48584c783

Enable timed trigger for snapshot-params job

Change-Id: I301234f99f8f37967ce6b757e70cffa28bb90d3c

Several minor fixes

Change-Id: I2b7acac31790db210524c55a58d083016d588d2b

Enhance deploy_heat_stack job

Use macro for refspec fetching. Also remove duplicate parameter

Change-Id: Ic6978364411792fd53d704376cc7f5fd87cc8889

Add sshpass package to slave image

Change-Id: Ifd5d38b4589e0f88b659f993ee1e67cd9d0d14ee

Fix dir name typo

Change-Id: If11e6f2e3b036e392bb938caa731565d47b8ecca

Rename staging stack parameter

Change-Id: I3597a7496a9548b60a1e6eac2a67253daa2a5561

Trigger report only for non-aborted swarm threads

Change-Id: Ide4c663c62de2955c863e7986fb5b8cdb2b3f3bb

Update default parameters for mos swarm

Change-Id: I72f0a004e97f48b2ca097967633adc0326d878da

Reverse trigger order in deploy swarm job

Required for proper node allocation throught cloud

Change-Id: Ic1960b8281578236d5f18aed734e0bb5138d1337

Use public torrent file for image downloading

Change-Id: Icbe848c9cd68f345ec1b69204fbc367cd500ba29

Add image promotion job

Change-Id: I994859c8317ba2d85c575f0b1ae5d55275a5b5a4

Use correct parameter for stack deletion

Also use dash instead of underscore in deploy job

Change-Id: I837a78a642a1f150de2dbacb3b9248e9c4463363

Use /dev/urandom for stack name generation

Change-Id: I82deb23f1e263b6d4f5ee2c30026b169ccf794dc

Add full swarm runner

Change-Id: I9af077172ed89a76fc0af50d6ab6bbf7979053a7

Add dev heat template and change default image

Change-Id: Icfa51131f03b49fb124d0d6cfe598a537a79b5b4

Add views to update jenkins jobs job

Change-Id: I84ebf5db2f8d1bb9ed9a32acf92180fd8f33607c

Add devops view

Change-Id: Ia1ebc982dc5b9aac8bbe7402fb1fb50b3b422b62

Use correct JENKINS_LABEL variable in deploy_stack

Change-Id: Icd6a863777b8126611663d945cbcebe6080530cf

9.x tests improvements

- Add "delete stacks" step to runner job
- Allow to pin swarm job to specific label
- Add ability to append suffix to job name (required for non-default
  fuel-devops labs like "8gb RAM per slave" or "multirack")
- Testrail reporter was moved to jenkins-master label
- Add test jobs itself
- Additional fixes around all mos jjb templates

Change-Id: If772ec80b5ceef62874f9e94a7cf7051c7033e0c

Pass STACK_PREFIX from swarm job to deploy job

Change-Id: I0edc4606d49d5d2ef34442b4903dbb5617bd0fa8

Ignore result of temporary reporter command

It should be used later when whole runner will be ready

Change-Id: Ic7b0c0d89c94402fc8574b1e561d8c23b7985150

Initial MOS templates commit

Soul of patching-ci now lives here...

Change-Id: If45d64c506540a4f4edaee9c1c416b93061cc8ba

Update mos build script

- Add devops lock file
- Download MOS image before build

Change-Id: I70c286b43618bf4843b49a78d1a3236ec6009413

Remove quotation mark from shell script

Change-Id: I46a874c363b483c167ca5a6a22b21f25fcbac3e1

Archive stack data as build artifact

At current moment it stores stack name and floating ip

Change-Id: Ic06203d28196b75d13943f9dd5614274101c391d

Use cloud-init services as anchor for jenkins-agent service

Change-Id: Ic3f613f4ab85732a42bccbed286b766a27b08834

Restart service after changing data in heat template

Change-Id: Id432cb4f9819539d18f6415d0e4a12e0a3106722

Add pip installation to base image

Also add pip installation to image builder script

Change-Id: I2f412758f18dc74d47db60e2cc7d2f8827f3e4d9

Pass creds inside mounted image via file

Change-Id: Idac9dc6a36e725ae54dda297e9190dcff1187cdc

Use correct label for build node

Change-Id: I16a4694952d5b5a49a85a8b4dfca6d38873877cf

Create image build multijob

Change-Id: Id86e31341ff6bcb377479a080725b906d40165d1

Drop default value for CUSTOM_UPDATE_SCRIPT

Change-Id: Ib6c4ce9ba8f1835d1f541119e28487d0d9fe3784

Switch UPDATE_SCRIPT to choise paremeter

Change-Id: Ic7e1cd55768dd013bded73654aec0e31a49d2ef5

Initial fixes for build image job

Change-Id: I117d5f1ea8349f955ef2b203df92f02be67ae93a

Add review cherry-picking to build image job

Change-Id: I75e247295d135063ddc0993c37fc685d9fd13287

Add image build job

Change-Id: I513f3526e8b96bc2cecfe85b98a4229776f50eab

Add floating ip to jenkins slave description

Also rename heat template to more precise name

Change-Id: If3f7b69cad27323761b1d7a14c11f0e0d7588626

Add deploy_swarm job

For delpoying several instances using one job.
Currenly contains built-in MOS flavors but it's possible to deploy
"custom flavor"-based several instances.

Change-Id: I279f96425baf5bf4ac6da44ec00312368c6d36f5

Rename macro to macroses

Required for unification with fuel-infra/jenkins-jobs

Change-Id: Ibdbd0c027e5432291e485be77e40b55a75d7ed20

Switch to double-bracket bash's if

Change-Id: Id2814e9da814a096fc5f6eb8372afb1af49d6f8d

Drop OPENSTACK_VENV_PATH

Change-Id: I8bb4d04dfd525a6ed8819e28ecac1a43d218b338

Stop jenkins agent before destroying slave

Change-Id: Ic3197a4130e3ecdc365928dccb9408d85cce7989

Add --wait to stack create command

Change-Id: I63d283001695fe9085992a8db08e7b75444356f9

Add wait condition for stack

Change-Id: Id6b8251cf59d3648374185789032bd8224aa40a3

Post-prototype fixes

Too painful to desrcibe it... Just let it be as is.

Change-Id: If700e91198af6920e9240756351e7b2aea1f2bb9

Cleanup shell scripts

- Remove unused variables
- Invert -z logic

Change-Id: Ie0b53279f641bcc1a108b2d3dfd255737879f939

Allow to update jeknins jobs from gerrit review

Change-Id: I1da521749d78c97921237b244b25284d81d968f1

Ignore heat template while updating jobs

Change-Id: I27ec8f6c9db317f6a7d74783fbb33505737edc30

Switch to include-raw in update-jenkins-job

Change-Id: Ifeec1f95c0def4d785377f0ebfa596875c0a3d7b

Add missing directories to git repo

Git does not allow to commit empty directories§

Change-Id: I39fbf41869b89da1dcf47a81e7a436a9a37dcb7b

Change directory before running tox in update-jenkins-jobs script

Change-Id: I501c64e8ee9f4b261e4e4e8e8e2ae7fbeac1bcde

Fix tox installation in update-jeknins-jobs

Also drop comments from update-jenkins-view script

Change-Id: I5d4c8530cddba4b40711214dcda56949d6584892

Maintenance CI JJB initial commit

The commit introduces new directory for JJB configs for brand new
Maintenance-CI cloud-based Jenkins instance.

First set of jobs includes following prototypes of jobs:
- JJB update mechanism
- Stack create job
- Stack delete job
It also includes very common 1-instance heat stack but it covers
current needs. Also tox configuration file for JJB checks is added.

Change-Id: I5f65ea7331590d51dae94d1c415e34a83a5343d1

Corrected a typo in a call of the upgrade_to_9_1 function

Change-Id: I4fa879c514680828bf5cf54d892943788ebf56d6

Added a deployment tasks synchronization to update_helper.sh

Added a command for deployment tasks synchronization at the end
of Fuel master node update procedure for 8.0.

Change-Id: Ibb786cdd578fd97b316edb0c67c180d71962e527
Related-Bug: #1691124

12.0 version of Fuel added to the new versions list

Change-Id: I2dd8cd3be45a8e5c1c3c8a57beff717abd59d02e

Upgrade procedure to 9.2 in deployment

Add 9.2 upgrade procedure to build_cluster tool.
New parameter UPDATE_TO, that allow to choose target version.

Change-Id: Iba15b4c91c7350e0487fdbd790c0bcb958f218a9

Small features and fixes

* We can add pub keys now
* There is information about ssh access in summary
* Cleanup some garbage from spool

Change-Id: I0b41afe727f318288d3065b7ef4364a5c309e9fc

Fix 8.0 update procedure

There is a bug around lvm, systemd and xfs. So we need
to change update procedure.
Now it reboots master node after update.

Related-Bug: #1642232

Change-Id: Ie59e339d6876264fe463a47061089281acbcdc78

[Jenkins] Add right dns to fuel

Change dns from Google to internal.

Change-Id: I3ee5aaa5dd2557619f0c3b0a83fe62a0d3a4fb9d

Enhansment of build_cluster job

Download code has been refactored. That allow now take exact
commit over TOOLS_COMMIT for testing new version.
ADD_CENT_REPO and UPDATE_FUEL order has been changed
to reflect real order of that operations.

Change-Id: Id34f2e0fb723b677b677653bf8f43a673ba41d4c

[Jenkins] Fix error with empty repolist

Fix NoneType fail when empty centos repolist provided.

Change-Id: I73b728b25238f43e0e6ba758077ce41336d72ba0

[Jenkins] Fixes

Fix url resolution (use moscow dns)
Fix error in config
Fix error in add_repo procedure

Change-Id: I7512bdc24ddd435078dc24619a37ef4ad1c56770

[Jenkins] Allow script to add centos repos.

New parameter for deployment job ADD_CENT_REPO

Change-Id: Ic20b6516c9e987efa511edb6987a74ce9a1d6775

[Jenkins] ssh access refactoring

Add .gitignore and class for common ssh operations.

Change-Id: I01cacf7b0527a849d6ccff1db5d65ca3d6ea689b

Support Fuel 11 by build script

Add Fuel 11 to network interface names hook.

Change-Id: I183e1afd3bdfade501fd6a254cdb018ebe860e0d

[Jenkins] Add upgrade from 9.0 to 9.x

Modify update_helper script to have updates in 9.x

Change-Id: I2293aa2e8ae6c67d0d1640ee47f2d32cd4fba0a7

[Jenkins] Fix racing with puppet and bootstrap

There is a racing between update script and fuel-bootstrap
image builder.

Change-Id: I2941257bf889ee80fed09bb31e496a1d4a1f3e0b

[Jenkins] fix order in do_update procedure

Starting update after api geting ready

Change-Id: Ia484e076f89de1817e465820ce7d9153d890eb16

[Jenkins] Fix error in do_update function

Fix error with sshpass wich block starting of update process
on production environment.

Change-Id: I7b383d55de344f4c2507994c77ee284514bbcb6d

[Jenkins] Allow to autoupdate fuel after install

New checkbox (false by default) that allow to update fuel
to latest MU. MOS7 and MOS8 supported only in current moment.

Change-Id: Ibb009ccbd39a34adddd689d24408ca628892620e

Merge "Script for setting up deployed_before atribute"

Script for setting up deployed_before atribute

MOS versions <=7.0 should prevent `stop deployment` operation when
environment has already deployed. This requires that clusters have
`deployed_before` atribute in generated attributes of environment.

This script sets deployed_before in True value for all environments.
This script should be run on master node.

Change-Id: I554488217759cfedd3ce69af032b0e9426df6fb6
Related-Bug: #1529691

do not overengineer downstream branch creation

Change-Id: I15b6c561fdfb2d3bf1672bdf57b094e61e6b20c3

[jenkins] added an access rule

As starting from 9.0 the access to the Fuel node with SSH is
restricted to the PXE/Admin network only, it is necessary to
add an access rule after the Fuel node bootstrap. This will
let everyone to access Fuel from everywhere. Also updated
the jenkins job configuration.

Change-Id: Ic829b6bdd2c963ca8033450b1483e9050ba28f92

Merge "mos_apply_mu: support of Fuel 8.0"

Merge "Role-based and individual updates"

mos_apply_mu: support of Fuel 8.0

* Added support of updating of Mirantis OpenStack 8.0.
* Added an option to avoid any dialogs during the run of apt-get.

Change-Id: I89042edcb6b0148ed86bd6ed07d88fc7dd21e068

[jenkins] added support for 10.0 to the build_cluster

Change-Id: Ide03ca84e02e1d78b489d8a00091f0b0fcd2528e

Role-based and individual updates

Added functionality to make role-based and particular nodes updates,
i.e. update only computes or ceph-osds. This is needed to divide
update process into stages which is usefull on very big environments.
This could be also useful to rerun the update process on a particular
node. Also the time interval variable is added. Using this variable
it is possible to update some senstive part of a cluster giving a
time to synchronize its states.

Bumped the header and the version.

Change-Id: If638107ec6d4180b4006f7565742687b6f20f2bb

Add config file for neutron

Change-Id: Id3dfcf7f6f63a04fb1d349bf982b9dbae448f595

a bunch of fixes and enhancements to merge_upstream job script

Change-Id: Ieecebb9bd4932d2cf52a186746df66a7ed67feba

jenkins: added merge_upstream job and scripts

Change-Id: I2b73b351d7a5132050e0a6a578971c7386f0f32f

jenkins: generalized jobs deployment

Change-Id: Id51ca910bd021e30ad3215a57955ee423e967fd3

jenkins: patch_environment job fixes and enhancements

Change-Id: Iec434ba6a1c762f6a3465166df16e43344de3f3e

Jenkins' job output fix

sys.stdout.write() does not guarantee that the output will show up,
as buffers need to be explicitly flushed. The more suitable solution is
to use the print_function from __future__.

Change-Id: Ic85e36172377fd21952a5711e2553ef5a803da40

8.0 support (fix)

Fixed the following errors:
 * SSHD is inaccessible in 8.0 as it is only configured to listen ADMIN_NETWORK
 * Mode HA is no longer an option
 * Changed output of some of functions to more informative one

Change-Id: Ie37c323a039f8959aef1f4c7a415c10afa67038a

8.0 support

Added support for predictable interface names (enpXsY)
and a workaround for fuel client not supporting
nova networking anymore.

Also, fixed an error when running `destroy` mode without ISO_URL.

Change-Id: Ic1783a6ffe61878840a180c3bbb33f67d4675882

Jenkins' job reliability and 8.0 support

As this job is used in jenkins as non-stop job
(i.e. it should be running until aborted), there is a possibility
that executor thread will receive more than one interrupt,
and will generate SIGTERM during the cleanup procedure.
This commit adds some signal ignorance to the cleanup
procedure to have a chance of successful completion if
multiple signals are arriving.

Also, the work on 8.0+ support is started.

Change-Id: If78b896b15d87f560d7d26d4da5becfc757658ef

Jenkins job cleanup

Jenkins' job build_cluster is using no database for a while,
as everything is being obtained from libvirt directly.
So this commit gets rid of database usage along with removal
of unnecessary checks. Also fixed grammar and some PEP8 issues.

Change-Id: I9fe9f62aa6043d13a4b84097964f3d7b1201fe81

New job configuration and slight change in XML

New job configuration is introduced to get effective build managment.
Also, changed the order of boot devices for virtual machines, as
sometimes there might be a problem with re-bootstraping slaves that were
provisioned with OS previously.

Change-Id: I407d0524978e1ef97b5844899a2140ea66311551

DNS enhancement

As we hardcode "peerdns=no" in eth0 during master node deployment
a dirty hack is needed to make resolver work. This change introduces new
option "DNS1=$ADMIN_SUBNET_GATEWAY" to ifcfg-eth1, although this address
is not in eth1-network it will work anyway.

Change-Id: I9ed1148b9acbd4e2539186421a31ec7996398ea1