Pass creds inside mounted image via file

Change-Id: Idac9dc6a36e725ae54dda297e9190dcff1187cdc

Use correct label for build node

Change-Id: I16a4694952d5b5a49a85a8b4dfca6d38873877cf

Create image build multijob

Change-Id: Id86e31341ff6bcb377479a080725b906d40165d1

Drop default value for CUSTOM_UPDATE_SCRIPT

Change-Id: Ib6c4ce9ba8f1835d1f541119e28487d0d9fe3784

Switch UPDATE_SCRIPT to choise paremeter

Change-Id: Ic7e1cd55768dd013bded73654aec0e31a49d2ef5

Initial fixes for build image job

Change-Id: I117d5f1ea8349f955ef2b203df92f02be67ae93a

Add review cherry-picking to build image job

Change-Id: I75e247295d135063ddc0993c37fc685d9fd13287

Add image build job

Change-Id: I513f3526e8b96bc2cecfe85b98a4229776f50eab

Add floating ip to jenkins slave description

Also rename heat template to more precise name

Change-Id: If3f7b69cad27323761b1d7a14c11f0e0d7588626

Add deploy_swarm job

For delpoying several instances using one job.
Currenly contains built-in MOS flavors but it's possible to deploy
"custom flavor"-based several instances.

Change-Id: I279f96425baf5bf4ac6da44ec00312368c6d36f5

Rename macro to macroses

Required for unification with fuel-infra/jenkins-jobs

Change-Id: Ibdbd0c027e5432291e485be77e40b55a75d7ed20

Switch to double-bracket bash's if

Change-Id: Id2814e9da814a096fc5f6eb8372afb1af49d6f8d

Drop OPENSTACK_VENV_PATH

Change-Id: I8bb4d04dfd525a6ed8819e28ecac1a43d218b338

Stop jenkins agent before destroying slave

Change-Id: Ic3197a4130e3ecdc365928dccb9408d85cce7989

Add --wait to stack create command

Change-Id: I63d283001695fe9085992a8db08e7b75444356f9

Add wait condition for stack

Change-Id: Id6b8251cf59d3648374185789032bd8224aa40a3

Post-prototype fixes

Too painful to desrcibe it... Just let it be as is.

Change-Id: If700e91198af6920e9240756351e7b2aea1f2bb9

Cleanup shell scripts

- Remove unused variables
- Invert -z logic

Change-Id: Ie0b53279f641bcc1a108b2d3dfd255737879f939

Allow to update jeknins jobs from gerrit review

Change-Id: I1da521749d78c97921237b244b25284d81d968f1

Ignore heat template while updating jobs

Change-Id: I27ec8f6c9db317f6a7d74783fbb33505737edc30

Switch to include-raw in update-jenkins-job

Change-Id: Ifeec1f95c0def4d785377f0ebfa596875c0a3d7b

Add missing directories to git repo

Git does not allow to commit empty directories§

Change-Id: I39fbf41869b89da1dcf47a81e7a436a9a37dcb7b

Change directory before running tox in update-jenkins-jobs script

Change-Id: I501c64e8ee9f4b261e4e4e8e8e2ae7fbeac1bcde

Fix tox installation in update-jeknins-jobs

Also drop comments from update-jenkins-view script

Change-Id: I5d4c8530cddba4b40711214dcda56949d6584892

Maintenance CI JJB initial commit

The commit introduces new directory for JJB configs for brand new
Maintenance-CI cloud-based Jenkins instance.

First set of jobs includes following prototypes of jobs:
- JJB update mechanism
- Stack create job
- Stack delete job
It also includes very common 1-instance heat stack but it covers
current needs. Also tox configuration file for JJB checks is added.

Change-Id: I5f65ea7331590d51dae94d1c415e34a83a5343d1

Corrected a typo in a call of the upgrade_to_9_1 function

Change-Id: I4fa879c514680828bf5cf54d892943788ebf56d6

Added a deployment tasks synchronization to update_helper.sh

Added a command for deployment tasks synchronization at the end
of Fuel master node update procedure for 8.0.

Change-Id: Ibb786cdd578fd97b316edb0c67c180d71962e527
Related-Bug: #1691124

12.0 version of Fuel added to the new versions list

Change-Id: I2dd8cd3be45a8e5c1c3c8a57beff717abd59d02e

Upgrade procedure to 9.2 in deployment

Add 9.2 upgrade procedure to build_cluster tool.
New parameter UPDATE_TO, that allow to choose target version.

Change-Id: Iba15b4c91c7350e0487fdbd790c0bcb958f218a9

Small features and fixes

* We can add pub keys now
* There is information about ssh access in summary
* Cleanup some garbage from spool

Change-Id: I0b41afe727f318288d3065b7ef4364a5c309e9fc

Fix 8.0 update procedure

There is a bug around lvm, systemd and xfs. So we need
to change update procedure.
Now it reboots master node after update.

Related-Bug: #1642232

Change-Id: Ie59e339d6876264fe463a47061089281acbcdc78

[Jenkins] Add right dns to fuel

Change dns from Google to internal.

Change-Id: I3ee5aaa5dd2557619f0c3b0a83fe62a0d3a4fb9d

Enhansment of build_cluster job

Download code has been refactored. That allow now take exact
commit over TOOLS_COMMIT for testing new version.
ADD_CENT_REPO and UPDATE_FUEL order has been changed
to reflect real order of that operations.

Change-Id: Id34f2e0fb723b677b677653bf8f43a673ba41d4c

[Jenkins] Fix error with empty repolist

Fix NoneType fail when empty centos repolist provided.

Change-Id: I73b728b25238f43e0e6ba758077ce41336d72ba0

[Jenkins] Fixes

Fix url resolution (use moscow dns)
Fix error in config
Fix error in add_repo procedure

Change-Id: I7512bdc24ddd435078dc24619a37ef4ad1c56770

[Jenkins] Allow script to add centos repos.

New parameter for deployment job ADD_CENT_REPO

Change-Id: Ic20b6516c9e987efa511edb6987a74ce9a1d6775

[Jenkins] ssh access refactoring

Add .gitignore and class for common ssh operations.

Change-Id: I01cacf7b0527a849d6ccff1db5d65ca3d6ea689b

Support Fuel 11 by build script

Add Fuel 11 to network interface names hook.

Change-Id: I183e1afd3bdfade501fd6a254cdb018ebe860e0d

[Jenkins] Add upgrade from 9.0 to 9.x

Modify update_helper script to have updates in 9.x

Change-Id: I2293aa2e8ae6c67d0d1640ee47f2d32cd4fba0a7

[Jenkins] Fix racing with puppet and bootstrap

There is a racing between update script and fuel-bootstrap
image builder.

Change-Id: I2941257bf889ee80fed09bb31e496a1d4a1f3e0b

[Jenkins] fix order in do_update procedure

Starting update after api geting ready

Change-Id: Ia484e076f89de1817e465820ce7d9153d890eb16

[Jenkins] Fix error in do_update function

Fix error with sshpass wich block starting of update process
on production environment.

Change-Id: I7b383d55de344f4c2507994c77ee284514bbcb6d

[Jenkins] Allow to autoupdate fuel after install

New checkbox (false by default) that allow to update fuel
to latest MU. MOS7 and MOS8 supported only in current moment.

Change-Id: Ibb009ccbd39a34adddd689d24408ca628892620e

Merge "Script for setting up deployed_before atribute"

Script for setting up deployed_before atribute

MOS versions <=7.0 should prevent `stop deployment` operation when
environment has already deployed. This requires that clusters have
`deployed_before` atribute in generated attributes of environment.

This script sets deployed_before in True value for all environments.
This script should be run on master node.

Change-Id: I554488217759cfedd3ce69af032b0e9426df6fb6
Related-Bug: #1529691

do not overengineer downstream branch creation

Change-Id: I15b6c561fdfb2d3bf1672bdf57b094e61e6b20c3

[jenkins] added an access rule

As starting from 9.0 the access to the Fuel node with SSH is
restricted to the PXE/Admin network only, it is necessary to
add an access rule after the Fuel node bootstrap. This will
let everyone to access Fuel from everywhere. Also updated
the jenkins job configuration.

Change-Id: Ic829b6bdd2c963ca8033450b1483e9050ba28f92

Merge "mos_apply_mu: support of Fuel 8.0"

Merge "Role-based and individual updates"

mos_apply_mu: support of Fuel 8.0

* Added support of updating of Mirantis OpenStack 8.0.
* Added an option to avoid any dialogs during the run of apt-get.

Change-Id: I89042edcb6b0148ed86bd6ed07d88fc7dd21e068

[jenkins] added support for 10.0 to the build_cluster

Change-Id: Ide03ca84e02e1d78b489d8a00091f0b0fcd2528e

Role-based and individual updates

Added functionality to make role-based and particular nodes updates,
i.e. update only computes or ceph-osds. This is needed to divide
update process into stages which is usefull on very big environments.
This could be also useful to rerun the update process on a particular
node. Also the time interval variable is added. Using this variable
it is possible to update some senstive part of a cluster giving a
time to synchronize its states.

Bumped the header and the version.

Change-Id: If638107ec6d4180b4006f7565742687b6f20f2bb

Add config file for neutron

Change-Id: Id3dfcf7f6f63a04fb1d349bf982b9dbae448f595

a bunch of fixes and enhancements to merge_upstream job script

Change-Id: Ieecebb9bd4932d2cf52a186746df66a7ed67feba

jenkins: added merge_upstream job and scripts

Change-Id: I2b73b351d7a5132050e0a6a578971c7386f0f32f

jenkins: generalized jobs deployment

Change-Id: Id51ca910bd021e30ad3215a57955ee423e967fd3

jenkins: patch_environment job fixes and enhancements

Change-Id: Iec434ba6a1c762f6a3465166df16e43344de3f3e

Jenkins' job output fix

sys.stdout.write() does not guarantee that the output will show up,
as buffers need to be explicitly flushed. The more suitable solution is
to use the print_function from __future__.

Change-Id: Ic85e36172377fd21952a5711e2553ef5a803da40

8.0 support (fix)

Fixed the following errors:
 * SSHD is inaccessible in 8.0 as it is only configured to listen ADMIN_NETWORK
 * Mode HA is no longer an option
 * Changed output of some of functions to more informative one

Change-Id: Ie37c323a039f8959aef1f4c7a415c10afa67038a

8.0 support

Added support for predictable interface names (enpXsY)
and a workaround for fuel client not supporting
nova networking anymore.

Also, fixed an error when running `destroy` mode without ISO_URL.

Change-Id: Ic1783a6ffe61878840a180c3bbb33f67d4675882

Jenkins' job reliability and 8.0 support

As this job is used in jenkins as non-stop job
(i.e. it should be running until aborted), there is a possibility
that executor thread will receive more than one interrupt,
and will generate SIGTERM during the cleanup procedure.
This commit adds some signal ignorance to the cleanup
procedure to have a chance of successful completion if
multiple signals are arriving.

Also, the work on 8.0+ support is started.

Change-Id: If78b896b15d87f560d7d26d4da5becfc757658ef

Jenkins job cleanup

Jenkins' job build_cluster is using no database for a while,
as everything is being obtained from libvirt directly.
So this commit gets rid of database usage along with removal
of unnecessary checks. Also fixed grammar and some PEP8 issues.

Change-Id: I9fe9f62aa6043d13a4b84097964f3d7b1201fe81

New job configuration and slight change in XML

New job configuration is introduced to get effective build managment.
Also, changed the order of boot devices for virtual machines, as
sometimes there might be a problem with re-bootstraping slaves that were
provisioned with OS previously.

Change-Id: I407d0524978e1ef97b5844899a2140ea66311551

DNS enhancement

As we hardcode "peerdns=no" in eth0 during master node deployment
a dirty hack is needed to make resolver work. This change introduces new
option "DNS1=$ADMIN_SUBNET_GATEWAY" to ifcfg-eth1, although this address
is not in eth1-network it will work anyway.

Change-Id: I9ed1148b9acbd4e2539186421a31ec7996398ea1

Change machine type

Not every qemu supports 'trusty' machine, so changing it to the
more compatible 'pc' type.

Change-Id: Iac941972e3e6b85997adc344321466a2be66bfa3

jenkins job change

fancier output

Change-Id: I57297040ee6808d40440bfdf025cd756e82bea0d

Add parameter for disable ubuntu repos

Added parameter which disables repos in file sources.d
for update and upgrade commants for Ubuntu update.

Change-Id: I00046a9c80c83411cde3c6ee714544b159d6bd21

Add script for get packages

Added script for get package names in fuel mirrors

Change-Id: I341b481953404390df0033a2fb467e66a75e05f7

Refactoring mos_apply_mu.py

Total refactoring of script:

        * Changed structure to classful
        * Got rid of custom packages installation
        * Support for 5.1.1, 6.0, 6.1, 7.0 added
        * Added logging to file
        * Better wording in help message
        * Changed way how multiple repos are handled in apt-get
        * 5.1.1 now uses dist-upgrade as it's necessary for
          the installation of nova and qemu.

Change-Id: I07d8ee3eb8e2e467800c19b4deb2de009aab367f

Testing automation harness using Ansible

Change-Id: I53f5b4ad66dea90c14b21dd6e7e8e98e82133ca3

Tempest logs comparing utility

Change-Id: Id38f42ece2888f6d490ffd606bd99c1724fdd41a

fix all urls by changing their scheme from 'swift+http(s)' to 'swift+config'.

Change-Id: I7eb7d8cd1ab2a7f7bde2fae00c26ec8df93cfc49

Merge "Add support snapshot mirror for update env script"

Add support snapshot mirror for update env script

Added option for enable installation packages from snapshot
mirror to update env script.

Change-Id: Ib67542a73bcbb02ddd29f55658c0e5b28a553c89

Add python validation scripts

Added python script for bug 1393376
Added python script for bug 1486682
Added bash script for bug 1487450

Change-Id: Ia0272d3beb6c55cb5bc10592b13d33564db0454e

[WIP] Adding Fuel 6.1+ support

Added new options:
    - ability to guess fuel version and master ip
    - ability to install more than one repo
    - ability whether to download repos automatically

New repositorie will be used exclusive, e.g. updated packages
will be searched only in selected repositories.

Change-Id: I3f0e425217bb7d6892bd27a465a7998505b622eb

added separate iso location for 'build_vm' job

Change-Id: If497466684c908b99ca49a4f0b579868a1bbec98

Small changes to deploy_cluster

As Fuel 6.1 doesn't work reliable with 'virtio' NICs, changing them
to 'e1000'.
Also small cosmetic change to ifcfg generated config.

Change-Id: I2311ae945cfd957d20d14b3f2dfef19f5f4577cb

Add extra options to apt-get to control conflicts

As there might be a new config files in updated packages,
there is possiblity that apt-get will fail at `upgrade`.

Added 2 apt-get/dpkg options:
    -o Dpkg::Options::="--force-confdef"
    -o Dpkg::Options::="--force-confold"

From now on all conflicts will be resolved with an existing versions
of a config files.

Change-Id: Ia3baf77121aacf416742921fe15bdd8cecc96a31

Added 6.0-mu4 fingerprints, bugfix and format change

Now json data in .dat file is pretty formatted.
Added 6.0-mu4, fixed behaviour of release checking.

Change-Id: I3bda6e4cff02fd7a696d42485426dad9b865b957

Jenkins' job to deploy cluster VMs

Also moved all jobs to separate dirs

Change-Id: I424e59af5f02c71990e8c24a1e375d34f9da3356

Add check for affected packages for erratum file

Added method for search difference between affected
packages in erratum file and compiled packages from
patches.
Closes-bug: #1480986

Change-Id: I575c6526f795a65e3199e0a6ec1886b36d2e57c3

Add PyYAML python lib to erratumvalidation

Change-Id: I1cfce4f4d17d464d1c7769067b011b88279afb96
Related-bug: #1478496

Add requirements file for erratumvalidation.py script

Change-Id: Ic8edb3a7780610d9978527807735b1fc3317d192
Related-bug: #1478496

Add python script for validation erratum files
Closes-Bug: #1477694

Change-Id: Ie3677ceae35e6b9174946a9c3a3dae2ac42df046

Small improvements

Changed the output of `check` in case if updates were never applied.
Now it's not "FAILURE!". Added `version` option, which shows current
version id.

Change-Id: I7bb47e7a72c4a0e4486e5d0848ea1effc915bfac
Closes-Bug: 1461142
Closes-Bug: 1461141

First version of md5checker

This is initial commit, which consists of md5checker.py tool and
md5checker.dat database. Database has checksums from Fuel 6.0,
6.0-mu3, 5.1.1 and 5.1 releases and will be replenished in future.

Change-Id: Ic5003d4cb075320c41ad0d2238b2215327bbf943

Small fix for development releases

Set explicitly showmenu=no, as in some builds the menu is activated
This fixes broken autoinstall of some builds (#425, #433 ...)

Small change in clocksource option, looks like this makes VMs more
stable.

Change-Id: I404e85eefc01f19d513ab6cfa03691a7735f3309

Fix for murano-enabled environments update

As murano uses config injection in settings.py we should
reinject murano settings after openstack-dashboard update.
This patch-set introduces murano check/fix section in update
script.

Small unrelated changes also have been made:

Now script on each node uses `logger` with tag mos_apply_mu to
log messages. This means that output of script from each node
will apear on master-node in

/var/log/remote/$nodename$/mos_apply_mu.log

Also amount of output was reduced. Messages became clearer.
Master IP is a mandatory option now.

Closes-Bug: #1457461

Change-Id: If42004c265e8943365a50a0fc2cb0cf6df82f4a8

First version of jenkins' job to deploy cluster

As for now this script can make VMs, Volumes and Networks
in libvirt. Also it manages subnets in order to achieve
zero crossing between them. Fuel master node gets dynamic
network parameters from script by injection during bootloader
stage. Public network being injected in Fuel-master node,
so it can be accessible from network. Cluster's network
is configured with apropriate values.

Included changes in nailgun network & settings configuration.

All data is visible in the summary message.

Thanks devops team for scancodes.py

Change-Id: Ia8cb28c8197560216b2f7c2d76689286821666b4

Rework of mos_apply_mu.py

Now script generates bash-script, sends it to remote node and executes it.
New options has been added. Totaly renewed help/usage.
Flake8 runs w/o errors.

Change-Id: I15e7fe476fc17c317630ccab9b2b08eacde84faf

Some cosmetic changes

Change-Id: I90d645b1f8a9009242f28ff807a6ad10f52a413e

Initial commit

apply_patches.py - script to patch/revert several nodes
with patches keeping order

mos_apply_mu.py - script to install updates repository into nodes
(still in progress)

fuel_repo_update.py - sketch of script to update Fuel's repository
list via REST-API

Change-Id: Iebf530f77c5eaf167ab8921b4f2ddf786f56310c

Added .gitreview