Merge pull request #349 from wolfspyre/apt_update_tooling
[puppet-modules/puppetlabs-apt.git] / README.md
1 apt
2 ===
3
4 [![Build Status](https://travis-ci.org/puppetlabs/puppetlabs-apt.png?branch=master)](https://travis-ci.org/puppetlabs/puppetlabs-apt)
5
6 Overview
7 --------
8
9 The apt module provides a simple interface for managing APT source, key, and definitions with Puppet.
10
11 Module Description
12 ------------------
13
14 The apt module automates obtaining and installing software packages on \*nix systems.
15
16 ***Note:** While this module allows the use of short keys, we **strongly** recommend that you **do not use short keys**, as they pose a serious security issue by opening you up to collision attacks.
17
18 Setup
19 -----
20
21 **What apt affects:**
22
23 * package/service/configuration files for APT
24     * NOTE: Setting the `purge_preferences` or `purge_preferences_d` parameters to 'true' will destroy any existing configuration that was not declared with Puppet. The default for these parameters is 'false'.
25 * your system's `sources.list` file and `sources.list.d` directory
26     * NOTE: Setting the `purge_sources_list` and `purge_sources_list_d` parameters to 'true' will destroy any existing content that was not declared with Puppet. The default for these parameters is 'false'.
27 * system repositories
28 * authentication keys
29
30 ### Beginning with apt
31
32 To begin using the apt module with default parameters, declare the class.
33
34     include apt
35
36 Puppet code that uses anything from the apt module requires that the core apt class be declared.
37
38 Usage
39 -----
40
41 Using the apt module consists predominantly of declaring classes that provide the desired functionality and features.
42
43 ### apt
44
45 `apt` provides a number of common resources and options that are shared by the various defined types in this module, so you **must always** include this class in your manifests.
46
47 The parameters for `apt` are not generally required and are predominantly for development environment use cases.
48
49     class { 'apt':
50       always_apt_update    => false,
51       apt_update_frequency => undef,
52       disable_keys         => undef,
53       proxy_host           => false,
54       proxy_port           => '8080',
55       purge_sources_list   => false,
56       purge_sources_list_d => false,
57       purge_preferences_d  => false,
58       update_timeout       => undef,
59       fancy_progress       => undef
60     }
61
62 Puppet will manage your system's `sources.list` file and `sources.list.d` directory but will do its best to respect existing content.
63
64 If you declare your apt class with `purge_sources_list`, `purge_sources_list_d`, `purge_preferences` and `purge_preferences_d` set to 'true', Puppet will unapologetically purge any existing content it finds that wasn't declared with Puppet.
65
66 ### apt::builddep
67
68 Installs the build depends of a specified package.
69
70     apt::builddep { 'glusterfs-server': }
71
72 ### apt::force
73
74 Forces a package to be installed from a specific release. This class is particularly useful when using repositories, like Debian, that are unstable in Ubuntu.
75 The cfg_files parameter controls wether newer or older configuration files should be used or only unchanged configuration files should be updated. Cfg_missing forces the provider to install all missing configuration files. Both are optional.
76
77     apt::force { 'glusterfs-server':
78       release     => 'unstable',
79       version     => '3.0.3',
80       cfg_files   => 'unchanged',
81       cfg_missing => true,
82       require     => Apt::Source['debian_unstable'],
83     }
84
85 You can additionally set the following attributes:
86
87  * `cfg_files`: "new", "old", "unchanged" or "none" (default). "new" will overwrite all existing configuration files with newer ones, "old" will force usage of all old files and "unchanged" only updates unchanged config files whereas setting "none" will don't do anything but providing backward-compatability with existing puppet manifests.
88  * `cfg_missing`: "true" or "false". Setting cfg_missing to false will provide backward compatability whereas setting true will add an aptitude/apt-get parameter which checks and installs missing configuration files for the selected package.
89
90 ### apt_key
91
92 A native Puppet type and provider for managing GPG keys for APT is provided by this module.
93
94     apt_key { 'puppetlabs':
95       ensure => 'present',
96       id     => '1054B7A24BD6EC30',
97     }
98
99 You can additionally set the following attributes:
100
101  * `source`: HTTP, HTTPS or FTP location of a GPG key or path to a file on the
102              target host;
103  * `content`: Instead of pointing to a file, pass the key in as a string;
104  * `server`: The GPG key server to use. It defaults to *keyserver.ubuntu.com*;
105  * `keyserver_options`: Additional options to pass to `--keyserver`.
106
107 Because apt_key is a native type, it can be used in and queried for with MCollective.
108
109 ### apt::key
110
111 Adds a key to the list of keys used by APT to authenticate packages. This type uses the aforementioned `apt_key` native type. As such, it no longer requires
112 the `wget` command on which the old implementation depended.
113
114     apt::key { 'puppetlabs':
115       key        => '1054B7A24BD6EC30',
116       key_server => 'pgp.mit.edu',
117     }
118
119     apt::key { 'jenkins':
120       key        => '9B7D32F2D50582E6',
121       key_source => 'http://pkg.jenkins-ci.org/debian/jenkins-ci.org.key',
122     }
123
124 ### apt::pin
125
126 Adds an apt pin for a certain release.
127
128     apt::pin { 'karmic': priority => 700 }
129     apt::pin { 'karmic-updates': priority => 700 }
130     apt::pin { 'karmic-security': priority => 700 }
131
132 Note you can also specifying more complex pins using distribution properties.
133
134     apt::pin { 'stable':
135       priority        => -10,
136       originator      => 'Debian',
137       release_version => '3.0',
138       component       => 'main',
139       label           => 'Debian'
140     }
141
142 If you wish to pin a number of packages you may specify the packages as a space
143 delimited string using the `packages` attribute or pass in an array of package
144 names.
145
146 ### apt::hold
147
148 When you wish to hold a package in Puppet, it should be done by passing in
149 'held' as the ensure attribute to the package resource. However, a lot of
150 public modules do not take this into account and generally do not work well
151 with an ensure of 'held'.
152
153 Moreover, when Puppet is told to hold a package, it holds it at the current version installed; there is no way to tell it to both install a specific version **and** hold that version, unless you use an exec resource that wraps `dpkg --set-selections` or `apt-mark`.
154
155 At first glance, it seems this issue could also be solved by passing the version required to the ensure attribute---but that only means that Puppet will install that
156 version after it processes the package. It does not inform apt that we want
157 this package to be held; that is, should another package want to upgrade this one (because of a version requirement in a dependency, for example), we want apt to refuse.
158
159 To solve this issue, use apt::hold. Implement this by creating a preferences file with a priority of 1001. Under normal circumstances, this preference will always win. Because the priority is > 1000, apt will maintain the required version, downgrading the current package if necessary.
160
161 With this, you can now set a package's ensure attribute to 'latest' but get the version specified by apt::hold:
162
163     apt::hold { 'vim':
164       version => '2:7.3.547-7',
165     }
166
167 Alternatively, if you want to hold Vim at version 7.3.*, you can pass in a version with a glob:
168
169     apt::hold { 'vim':
170       version => '2:7.3.*',
171     }
172
173 ### apt::ppa
174
175 Adds a ppa repository using `add-apt-repository`.
176
177     apt::ppa { 'ppa:drizzle-developers/ppa': }
178
179 ### apt::release
180
181 Sets the default apt release. This class is particularly useful when using repositories, like Debian, that are unstable in Ubuntu.
182
183     class { 'apt::release':
184       release_id => 'precise',
185     }
186
187 ### apt::source
188
189 Adds an apt source to `/etc/apt/sources.list.d/`.
190
191     apt::source { 'debian_unstable':
192       comment           => 'This is the iWeb Debian unstable mirror',
193       location          => 'http://debian.mirror.iweb.ca/debian/',
194       release           => 'unstable',
195       repos             => 'main contrib non-free',
196       required_packages => 'debian-keyring debian-archive-keyring',
197       key               => '8B48AD6246925553',
198       key_server        => 'subkeys.pgp.net',
199       pin               => '-10',
200       include_src       => true,
201       include_deb       => true
202     }
203
204 If you would like to configure your system so the source is the Puppet Labs APT repository:
205
206     apt::source { 'puppetlabs':
207       location   => 'http://apt.puppetlabs.com',
208       repos      => 'main',
209       key        => '1054B7A24BD6EC30',
210       key_server => 'pgp.mit.edu',
211     }
212
213 ### apt::update
214
215 Runs `apt-get update`, updating the list of available packages and their versions without installing or upgrading any packages.
216
217 The update runs on the first Puppet run after you include the class, then whenever `notify  => Exec['apt_update']` occurs---this should happen when config files get updated or other relevant changes occur. If you set the `always_apt_update` parameter, the update will run on every Puppet run.
218
219 ### Facts
220
221 There are a few facts included in the apt module describing the state of the apt system:
222
223 * `apt_updates` --- the number of updates available on the system
224 * `apt_security_updates` --- the number of updates which are security updates
225 * `apt_package_updates` --- the package names that are available for update. In Facter 2.0 and later, this will be a list type; in earlier versions, it is a comma-delimited string.
226 * `apt_update_last_success` --- The date in epochtime that `apt-get update` last ran successfully. This is determined by reading the mtime of the file `/var/lib/apt/periodic/update-success-stamp`. That file is generated by the `/etc/apt/apt.conf.d/15update-stamp` file.
227
228 #### Hiera example
229 <pre>
230 apt::sources:
231   'debian_unstable':
232       location: 'http://debian.mirror.iweb.ca/debian/'
233       release: 'unstable'
234       repos: 'main contrib non-free'
235       required_packages: 'debian-keyring debian-archive-keyring'
236       key: '9AA38DCD55BE302B'
237       key_server: 'subkeys.pgp.net'
238       pin: '-10'
239       include_src: 'true'
240       include_deb: 'true'
241
242   'puppetlabs':
243       location: 'http://apt.puppetlabs.com'
244       repos: 'main'
245       key: '1054B7A24BD6EC30'
246       key_server: 'pgp.mit.edu'
247 </pre>
248
249 ### Testing
250
251 The apt module is mostly a collection of defined resource types, which provide reusable logic that can be leveraged to manage APT. It provides smoke tests for testing functionality on a target system, as well as spec tests for checking a compiled catalog against an expected set of resources.
252
253 #### Example Test
254
255 This test will set up a Puppet Labs APT repository. Start by creating a new smoke test, called puppetlabs-apt.pp, in the apt module's test folder. In this test, declare a single resource representing the Puppet Labs APT source and GPG key:
256
257     apt::source { 'puppetlabs':
258       location   => 'http://apt.puppetlabs.com',
259       repos      => 'main',
260       key        => '1054B7A24BD6EC30',
261       key_server => 'pgp.mit.edu',
262     }
263
264 This resource creates an APT source named puppetlabs and gives Puppet information about the repository's location and the key used to sign its packages. Puppet leverages Facter to determine the appropriate release, but you can set this directly by adding the release type.
265
266 Check your smoke test for syntax errors:
267
268     $ puppet parser validate tests/puppetlabs-apt.pp
269
270 If you receive no output from that command, it means nothing is wrong. Then, apply the code:
271
272     $ puppet apply --verbose tests/puppetlabs-apt.pp
273     notice: /Stage[main]//Apt::Source[puppetlabs]/File[puppetlabs.list]/ensure: defined content as '{md5}3be1da4923fb910f1102a233b77e982e'
274     info: /Stage[main]//Apt::Source[puppetlabs]/File[puppetlabs.list]: Scheduling refresh of Exec[puppetlabs apt update]
275     notice: /Stage[main]//Apt::Source[puppetlabs]/Exec[puppetlabs apt update]: Triggered 'refresh' from 1 events>
276
277 The above example uses a smoke test to lay out a resource declaration and apply it on your system. In production, you might want to declare your APT sources inside the classes where they’re needed.
278
279 Implementation
280 --------------
281
282 ### apt::backports
283
284 Adds the necessary components to get backports for Ubuntu and Debian. The release name defaults to `$lsbdistcodename`. Setting this manually can cause undefined behavior (read: universe exploding).
285
286 By default this class drops a Pin-file for Backports, pinning it to a priority of 200. This is lower than the normal Debian archive, which gets a priority of 500 to ensure that packages with `ensure => latest` don't get magically upgraded from Backports without your explicit permission.
287
288 If you raise the priority through the `pin_priority` parameter to *500*, identical to the rest of the Debian mirrors, normal policy goes into effect and the newest version wins/becomes the candidate apt will want to install or upgrade to. This means that if a package is available from Backports it and its dependencies will be pulled in from Backports unless you explicitly set the `ensure` attribute of the `package` resource to `installed`/`present` or a specific version.
289
290 Limitations
291 -----------
292
293 This module should work across all versions of Debian/Ubuntu and support all major APT repository management features.
294
295 Development
296 ------------
297
298 Puppet Labs modules on the Puppet Forge are open projects, and community contributions are essential for keeping them great. We can’t access the huge number of platforms and myriad of hardware, software, and deployment configurations that Puppet is intended to serve.
299
300 We want to keep it as easy as possible to contribute changes so that our modules work in your environment. There are a few guidelines that we need contributors to follow so that we can have a chance of keeping on top of things.
301
302 You can read the complete module contribution guide [on the Puppet Labs wiki.](http://projects.puppetlabs.com/projects/module-site/wiki/Module_contributing)
303
304 License
305 -------
306
307 The original code for this module comes from Evolving Web and was licensed under the MIT license. Code added since the fork of this module is licensed under the Apache 2.0 License like the rest of the Puppet Labs products.
308
309 The LICENSE contains both licenses.
310
311 Contributors
312 ------------
313
314 A lot of great people have contributed to this module. A somewhat current list follows:
315
316 * Ben Godfrey <ben.godfrey@wonga.com>
317 * Branan Purvine-Riley <branan@puppetlabs.com>
318 * Christian G. Warden <cwarden@xerus.org>
319 * Dan Bode <bodepd@gmail.com> <dan@puppetlabs.com>
320 * Daniel Tremblay <github@danieltremblay.ca>
321 * Garrett Honeycutt <github@garretthoneycutt.com>
322 * Jeff Wallace <jeff@evolvingweb.ca> <jeff@tjwallace.ca>
323 * Ken Barber <ken@bob.sh>
324 * Matthaus Litteken <matthaus@puppetlabs.com> <mlitteken@gmail.com>
325 * Matthias Pigulla <mp@webfactory.de>
326 * Monty Taylor <mordred@inaugust.com>
327 * Peter Drake <pdrake@allplayers.com>
328 * Reid Vandewiele <marut@cat.pdx.edu>
329 * Robert Navarro <rnavarro@phiivo.com>
330 * Ryan Coleman <ryan@puppetlabs.com>
331 * Scott McLeod <scott.mcleod@theice.com>
332 * Spencer Krum <spencer@puppetlabs.com>
333 * William Van Hevelingen <blkperl@cat.pdx.edu> <wvan13@gmail.com>
334 * Zach Leslie <zach@puppetlabs.com>
335 * Daniele Sluijters <github@daenney.net>
336 * Daniel Paulus <daniel@inuits.eu>
337 * Wolf Noble <wolf@wolfspyre.com>