В разрезе: новостной агрегатор на Android с бэкендом. Система контроля конфигураций (Puppet)

• серверы
  
  
  • настройки безопасности (пользователи, группы, права, межсетевые экраны);
  • установленные приложения и библиотеки;
  • настройки работы приложений (лимиты по дискрипторам, памяти, времени CPU и т.д.);
  • резервное копирование;
  
  
• системы мониторинга за работой прикладного и системного ПО;
• конфигурационные файлы самого продукта, его компонентов, вспомогательных системных и прикладных приложений
• ...

• очень длительному процессу развёртывания/дублирования (все вспоминают, что и как настроено по мере возникновения сбоев и часто сверяют настройки с имеющимся стендом);
• неожиданно возникают проблемы при эксплуатации развёрнутого продукта (забывают выполнить какие-то настройки, которые на тестовом стенде внесли в последний момент, а на продуктив не перенесли);
• замедляется процесса тестирования (каждая публикация новой сборки, даже для внутренних тестировщиков, — подвиг как по времени, так и по сложности);
• и наконец – появляется страх у разработчиков перед выпуском новой версии и как результат – оттягивание выкладки нового релиза (реально серьёзная проблема о которой открыто никто не скажет, но её эффект будет чувствоваться постоянно).

Мотивация

Мотивация для разработчика-одиночки

• т.к. разработка осуществляется не ежедневно, как результат некоторые особенности развёртывания плавно улетучиваются по прошествии пары дней;
• автоматизация для одиночки – самый надёжный напарник;
• скорость выполнения работ, обеспечиваемая автоматизацией, позволяет не потерять «запал» и желание развивать проект (это очень важный специфичный момент).

Важная оговорка про ITIL

Puppet

Немного о Puppet

class apache (String $version = 'latest') {
  package {'httpd':
    ensure => $version, # Using the class parameter from above
    before => File['/etc/httpd.conf'],
  }
  file {'/etc/httpd.conf':
    ensure  => file,
    owner   => 'httpd',
    content => template('apache/httpd.conf.erb'), # Template from a module
  }
  service {'httpd':
    ensure    => running,
    enable    => true,
    subscribe => File['/etc/httpd.conf'],
  }
}

node 'www1.example.com', 'www2.example.com', 'www3.example.com' {
  include common
  include apache, squid
}

node /^(foo|bar)\.example\.com$/ {
  include common
}

Варианты развёртывания

• Централизованное хранение конфигурации: преимущества явно прослеживаются при наличии БОЛЬШОГО количества серверов. В этом случае на клиентские машины передаётся информация, касающиеся только самой машины, что так же обеспечивает некоторый уровень безопасности и минимизирует траффик.
• Децентрализованное хранение конфигурации: обосновано при небольшом количестве серверов, при этом на машин должен быть полный комплект конфигурационных скриптов и файлов и при запуске агентов будет выполнена их компиляция и выполнения части касающейся данной машины. Реализуется обычной cron-задачей, запускаемой каждые 15 минут.

#!/bin/sh

PUPPET_BIN='/opt/puppetlabs/bin/puppet'

# Ставим необходимые пакеты для старта
apt-get update &&  apt-get -y install git mc htop apt-transport-https nano wget lsb-release apt-utils curl python

# Первоначально осуществляем установку `puppet-agent`
if [ ! -d /etc/puppetlabs ]; then
  	rm *.deb.* *.deb # possible trash
	wget https://apt.puppetlabs.com/puppetlabs-release-pc1-xenial.deb && dpkg -i puppetlabs-release-pc1-xenial.deb
	apt-get update && apt-get -y install puppet-agent
fi

# Определяем тип `environment`
/opt/puppetlabs/bin/puppet config set environment $PUPPET_ENV
if [ ! -d /etc/puppetlabs/code/environments/$PUPPET_ENV ]; then
  cp -r /etc/puppetlabs/code/environments/production /etc/puppetlabs/code/environments/$PUPPET_ENV
fi

# Install puppet modules
$PUPPET_BIN module install puppetlabs-ntp
$PUPPET_BIN module install aco-oracle_java
$PUPPET_BIN module install puppetlabs-firewall
$PUPPET_BIN module install saz-ssh
$PUPPET_BIN module install saz-sudo
$PUPPET_BIN module install saz-limits
$PUPPET_BIN module install thias-sysctl
$PUPPET_BIN module install yo61-logrotate
$PUPPET_BIN module install puppetlabs-apt
$PUPPET_BIN module install puppet-archive

# git pull "deployment" project and go in it only if POVISION_NO_GIT_CLONE set to "true"
if [ ${POVISION_NO_GIT_CLONE:-"false"} = "true" ];
then
	echo "do nothing"
else
	LOCAL_REV=""
	if [ -f local_latest.sha1 ]; then
	  LOCAL_REV=`cat local_latest.sha1`
	fi
	REMOTE_REV=`git ls-remote --tags | grep "latest" | awk '{print $1}'`
	if [ $LOCAL_REV = $REMOTE_REV ]; then
	 exit 0
	fi
	 git fetch --all --tags --prune
	 git checkout -f tags/latest
fi

# replace puppet configs
cp puppet_config/hiera.yaml  /etc/puppetlabs/code/environments/$PUPPET_ENV/

# replace hiera db
rm /etc/puppetlabs/code/environments/$PUPPET_ENV/hieradata/*
cp -r $PUPPET_ENV/hieradata/*  /etc/puppetlabs/code/environments/$PUPPET_ENV/hieradata

# replace storyline_* modules
rm -r /etc/puppetlabs/code/environments/$PUPPET_ENV/modules/storyline_*
cp -r modules/*  /etc/puppetlabs/code/environments/$PUPPET_ENV/modules

# copy site.pp
cp $PUPPET_ENV/site.pp /etc/puppetlabs/code/environments/$PUPPET_ENV/manifests/site.pp

#echo "hostname:"
#hostname
$PUPPET_BIN apply /etc/puppetlabs/code/environments/$PUPPET_ENV/manifests/site.pp

echo $REMOTE_REV > local_latest.sha1

1. устанавливается сам клиент Puppet и необходимые пакеты
2. инсталлируются необходимые модули Puppet
3. сверяется изменение номера коммита для метки «latest» (делается при успешном интеграционном тестировании новой версии)
4. заменяется конфигурация (hiera.yaml) БД Hiera Puppet в текущем окружении (переменная $PUPPET_ENV);
5. заменяются YAML-файлы с данными для БД Hiera Puppet;
6. копируются с заменой описания моих модулей;
7. копируется конфигурация с узлами (серверами моей системы);
8. вызывается применение всех тех настроек, что были скопированы/установлены ($PUPPET_BIN apply ….)

• выставляются лимиты на открытые файлы, задействованный объем памяти, свапирование и количество соединений;
• настраивается ротация логов (как для системы, так и для моего приложения и необходимых ему сервисов);
• создаются необходимые учётные записи для администрирования с необходимыми группами и полномочиями;
• устанавливается и настраивается NTP-сервер;
• устанавливается и настраивается SSH-сервер;
• устанавливается Oracle JDK;
• настраивается брандмауэр;
• устанавливается и настраивается большое количество компонентов, необходимых для функционирования проекта или его компонента на данном конкретном узле.

Примеры из жизни

class storyline_infra::nginx () {
	$params = lookup({"name" => "storyline_infra.nginx",
	    "merge" => {"strategy" => "deep"}})
	$reverse_port = $params['reverse_port']
	$reverse_url = $params['reverse_url']
	$pid_file = $params['pid_file']
	$init_script = $params['init_script']
	$dir_data = $params['dir_data']
	$dir_logs = $params['dir_logs']
	$version = $params['version']
	$enabled_startup = $params['enabled_startup']
	$enabled_running = $params['enabled_running']
	# topology_configuration
	$enabled_topology_configuration = $params['enabled_topology_configuration']
	$topology_configuration_port = $params['topology_configuration_port']

	# создать соотвествующего пользователя  (при необходимости)
	user { 'nginx':
		ensure => "present",
		managehome => true,
	}
	# создать необходимые каталоги  (при необходимости)
	exec { "nginx-mkdir":
		command => "/bin/mkdir -p /data/db && /bin/mkdir -p /data/logs",
		cwd => "/",
		unless => '/usr/bin/test -d /data/db -a -d /data/logs',
	} ->
	# working dir
	file { [ $dir_logs, $dir_data] :
		ensure => "directory",
		recurse => "true",
		owner => "nginx",
		group=> "nginx",
		require => Exec['nginx-mkdir'],
	}

	# добавить необходимые ключи в менеджер пакетов  (при необходимости)	
	# see by "gpg --verify keyfile"
	apt::key { 'nginx-key':
		id => '573BFD6B3D8FBC641079A6ABABF5BD827BD9BF62',
		source  => 'http://nginx.org/keys/nginx_signing.key',
	} ->
	
	# добавить источник  (при необходимости)
	# deb http://nginx.org/packages/ubuntu/ xenial nginx
	apt::source { 'nginx-repo':
		comment  => 'nginx repo',
		location => "http://nginx.org/packages/ubuntu/",
		release => "xenial",
		repos    => "nginx",
		include  => {
	   		'deb' => true,
			'deb-src' => true,
		},
	} ->

	# осуществить установку пакета (при необходимости)
	package {  'nginx':
		ensure => $version,
		# notify => Exec['disable_nginx'],
	} →
	# выполнить копирование конфигурационного файла из данных модуля (при необходимости). При этом сам файл шаблона содержит подстановочные знаки, которые заменяются переменными класса. Крайне удобный функционал!!!
	file { "/etc/nginx/nginx.conf":
		replace => true,
		content => epp('storyline_infra/nginx.epp'),
		owner => "nginx",
		group=> "nginx",
		notify => Service['nginx'],
	}->
	# выполнить копирование конфигурационного файла из данных модуля (при необходимости)
	file { "/etc/nginx/conf.d/default.conf":
		replace => true,
		content => epp('storyline_infra/nginx_default.epp'),
		owner => "nginx",
		group=> "nginx",
		notify => Service['nginx'],
	}→
	# выполнить копирование конфигурационного файла из данных модуля (при необходимости)
	file { $init_script:
		replace => true,
		content => epp('storyline_infra/nginx_startup.epp'),
		mode=>"ug=rwx,o=r",
		notify => Service['nginx'],
	}→
	#  настроить службу/скрипты запуска (при необходимости)
	service { 'nginx':
  		ensure => $enabled_running,
		enable    => $enabled_startup,
		start 		=> "${init_script} start",
		stop 		=> "${init_script} stop",
		status 		=> "${init_script} status",
		restart 	=> "${init_script} restart",
		hasrestart => true,
		hasstatus => true,
	}
	#  дополнительные настройки nginx (при необходимости)
	if $enabled_topology_configuration {
		file { "/etc/nginx/conf.d/topology.conf":
			replace => true,
			content => epp('storyline_infra/nginx_topology.epp'),
			mode=>"ug=rwx,o=r",
			notify => Service['nginx'],
		}
	}
	#  отключение автозапуска встроенными средствами (при необходимости)
	if $enabled_startup != true {
		exec { "disable_nginx":
			require => Package['nginx'],
			command => "/bin/systemctl disable nginx",
			cwd => "/",
		}
	}

}

---
version: 5
defaults:
  datadir: "hieradata"
  data_hash: yaml_data

hierarchy:
  - name: "1"
    path: "nodes/%{trusted.certname}.yaml"
  - name: "2"
    path: "version.yaml"
  - name: "3"
    path: "common.yaml"

---
limits::entries:
  '*/nofile':
    both: 1048576
  '*/memlock':
    both: unlimited
logrotate::config:
    su_user: root
    su_group: syslog
    compress: true
# sysctl
sysctl::base::purge: false
sysctl::base::values:
  net.core.somaxconn:
    value: '65536'
  vm.swappiness:
    ensure: absent
  fs.file-max:
    value: '500000'
  vm.max_map_count:
    value: '262144'
storyline_base:
  oracle_java:
    version: "8u92"
storyline_infra:
  collectd:
    server_address: "XXX.nlp-project.ru"
    pid_file: '/data/logs/collectd/collectd.pid'
    init_script: '/etc/init.d/collectd'
    dir_data:  '/data/db/collectd'
    dir_logs:  '/data/logs/collectd'
    version: "1.2.0-1"
    enabled_mongodb: false
    mongodb_user: "collectd"
    mongodb_password: "######"
    enabled_storm: false
    enabled_elasticsearch: false
    elasticsearch_port: "####"
    elasticsearch_cluster: "elastic_storyline"
    enabled_startup: false
    enabled_running: true
  influxdb:
    port_http: "####"
    port_rpc: "####"
    pid_file: '/data/logs/influxdb/influxdb.pid'
    init_script: '/etc/init.d/influxdb'
    dir_data:  '/data/db/influxdb'
    dir_logs:  '/data/logs/influxdb'
    version: "present"
    enabled_auth: true
    enabled_startup: false
    enabled_running: true
….

node "XXX.nlp-project.ru"  {
	include ::limits

	include ::sysctl::base
	include ::logrotate
	include storyline_base::ntp
	include storyline_base::srv_oper
	include storyline_base::ssh
	include storyline_base::oracle_java
…..
	include storyline_infra::monit
	include storyline_base::firewall
}

node "YYYY.nlp-project.ru"  {
	include ::limits
	include ::sysctl::base
	include ::logrotate

	include storyline_base::ntp
	include storyline_base::srv_oper
	include storyline_base::ssh
	include storyline_base::oracle_java
….
	include storyline_infra::zookeeper
	include storyline_components::server_storm

	include storyline_infra::monit
	include storyline_base::firewall
}

Tips

• При разработке модуля не забывать писать код не только для добавления функции, но и для её отключения. При отсутствии такого функционала при переносе компонента на другой сервер у вас их будет 2: на новом и на старом месте — на старом потребуется удалять руками, что противоречит основной задаче по автоматизации управления конфигурациями;
• Хорошие книги по Puppet для начинающих – Learning Puppet и Puppet 4 Essentials;
• Хороший модуль для получения артефактов из nexus sonatype (https://github.com/cescoffier/puppet-nexus);
• Максимальное количество параметров выносите в файлы-данные Hiera для легкости конфигурации узлов и достижения универсальности кода самих модулей.