Docker

Docker ist eine Open-Source-Software zur Isolierung von Anwendungen mit Containervirtualisierung.

Docker vereinfacht die Bereitstellung von Anwendungen, weil sich Container, die alle nötigen Pakete enthalten, leicht als Dateien transportieren und installieren lassen. Container gewährleisten die Trennung und Verwaltung der auf einem Rechner genutzten Ressourcen. Das beinhaltet laut Aussage der Entwickler: Code, Laufzeitmodul, Systemwerkzeuge, Systembibliotheken – alles was auf einem Rechner installiert werden kann.

Quelle Wikipedia

Vorteile:

• Docker zieht eine Abstraktionsebene ein, d.h. die darunterliegende Struktur (LAN, Storage, Distribution und Paketabhängigkeiten) muss bei der Anwendung nicht betrachtet werden. Überall lauffähig, nur die docker-version muss beachtet werden
• Ressourceneinsatz (Massenhosting)
  • Disk: VM (Debian): ~500-800MB (je nach installierter Komponenten), Container: je nach Basisimage
  • Arbeitsspeicher
    • Kernel: VM: ~60MB je VM (incl. rsyslog), Container: kernel vom Betriebssystem wird genutzt
    • Applikationsprozess nimmt genauso viel
    • Cache: VM → RAM muss reserviert werden, Virtualisierung kann aber ungenutzen Speicher neu verteilen; Container → Cache kann gemeinsam von allen Containern benutzt werden (auf dem gleichen Host)
• Skalierbarkeit (Lastspitzen abfangen)
• Deployment kann schnell, häufig und stufenweise erfolgen

Nachteile:

• in Hochsicherheitsumgebungen nicht einsetzbar
  • nicht zertifizierbar, da Isolierung der Anwendungen nur durch den docker-daemon erfolgt (gleicher Kernel für alle etc.)
  • zur Abschottung wird eine VM außendrum benötigt (oder halt kubernetes mit seinen pods)
  • Angriffsvektoren durch alpine Distribution
  • extern gebaute Images sind ein Risiko, Einzelfallprüfung vom wem ein image gebaut wird (Signierung wäre nötig…)
  • Rootless Containers oft schwierig
• monolitische Software (mehrere Dienste in einem Container …) lassen Vorteile ungenutzt
• Anwendungen die stateful sind (Datenbanken, Storagecluster)
• umfangreiche Umgebungsabhängigkeiten (Repository, docker registry, CI/CD-Pipeline, Orchestrierung wie docker swarm oder kubernetes)
• debugging wird komplexer:
  • Zusammenspiel der microservices
  • networking
  • in Container hinein gehen, teilweise stehen dort debugging tools nicht zur Verfügung

geeignet:

1. eigenprogrammierte Software mit CI/CD-Deployment
2. microservice-Architektur
3. stateless services

eher nicht

1. Drittanbietersoftware ohne microservices
2. stateful-software wo Skalierung unerwünscht oder kontraproduktiv ist

1. config via environment… boolean parsing … keine komplexen configs (nur key-value) → mount-points mit komplexer Config → Clusterdateisystem?
2. cron (logging)
3. container bestehen nicht nur aus der app sondern auch die Laufzeit-umgebung: wer anderen Leuten docker-container baut ist auch für das environment (=die base-Images) verantwortlich!
4. Alpine veröffentlich nur Daten zu bereits zu gefixten Problemen! Updategeschwindigkeit eher schlecht: Liste

siehe auch DevOps Disasters.

Bevorzugte Methode ist die Einbindung via repo, fast immer ist die bei Distributionen mitgelieferte Version zu alt.

Siehe Installationshandbuch, z.B. Ubuntu oder Debian.

https://docs.docker.com/compose/install/

Aktuellen Benutzer zur Gruppe docker hinzufügen

sudo usermod -aG docker $USER

→ ausloggen und einloggen nötig

Docker braucht mindestens die Kernel Version 3.10. Ob die richtigen Konfiguration aktiviert ist, lässt sich mit dem Skript check-config.sh überprüfen:

curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh
bash ./check-config.sh

bei Ubuntu 18.04 nötig:

/etc/default/grub:

GRUB_CMDLINE_LINUX_DEFAULT="quiet splash cgroup_enable=memory swapaccount=1"

sudo update-grub

Optional:

• CONFIG_MEMCG_SWAP_ENABLED: missing (cgroup swap accounting is currently enabled) → OK
• CONFIG_RT_GROUP_SCHED: missing https://stackoverflow.com/questions/46563332/docker-daemon-container-real-time-scheduling-with-ubuntu-linux-host

docker run -m=4096000000 -d  -t busybox sleep 3600

cat /sys/fs/cgroup/memory/docker/$ID/memory.limit_in_bytes

…mit tatsächlichem Prozess (Quelle https://stackoverflow.com/questions/20096632/limit-memory-on-a-docker-container-doesnt-work):

sudo docker -m 512M -it ubuntu /bin/bash
sudo apt-get update && apt-get install -y build-essential vim

→ vim foo.c:

#include <stdlib.h>
#include <stdio.h>

int main(void) {
    int i;
    for (i=0; i<65536; i++) {
        char *q = malloc(65536);
        printf ("Malloced: %ld\n", 65536*i);
    }
    sleep(9999999);
}

Compile the file

gcc -o foo foo.c
./foo

Beispiel: lokal nur noch das Netz 10.254.0.1/16 benutzen:

(als root) echo '{"bip": "10.254.0.1/16"}' > /etc/docker/daemon.json
sudo systemctl restart docker.service

• ggf. Netzwerke aufräumen:

  docker network prune

• routen checken
• docker0 bridge da?

  sudo brctl show

Netze die sich mit Docker überlappen (172.17., …) sind ein Problem. Die Config „bip“: „10.4.0.1/16“ in der /etc/docker/daemon.json funktioniert nur auf swarm korrekt.

Bei docker standalone wird diese Einstellung beim Anlegen weiterer docker networks ignoriert. Auch andere Einstellungen wie default-address-pools oder fixed-cidr funktioniered in dieser Beziehung nicht.

Es gibt nur einen funktionierenden workaround: explizit eine route im System setzen:

Beispiel Redhat (ens192 mit Standard-GW 172.17.0.1) z.B. mit /etc/sysconfig/network-scripts/route-ens192 (ip-Befehlssyntax)):

172.17.0.0/16 via 172.17.0.1 dev ens192

​ Bei Swarm muss initial die docker_gwbridge angepasst werden - funktioniert nur wenn docker nicht bereits Teil eines swarm-clusters ist (er behält die Einstellungen bei wenn bereits vorhanden):

1. löschen der vorhandene bridge (falls noch vorhanden):

   docker network rm docker_gwbridge

2. neu anlegen mit anderem Netz (muss vor join erfolgen!):

   docker network create \
   --subnet 10.4.0.0/16 \
   --opt com.docker.network.bridge.name=docker_gwbridge \
   --opt com.docker.network.bridge.enable_icc=false \
   --opt com.docker.network.bridge.enable_ip_masquerade=true \
   docker_gwbridge

https://docs.docker.com/v17.09/engine/swarm/networking/#customize-the-docker_gwbridge

docker wendet für Gäste das Profil docker-default an.

Dazu wird beim Starten eines Containers ein docker-default template in tmpfs abgelegt und von dort in den Kernel geladen.

Oder es wird das Profil benutzt, das via security-opt angegeben wurde:

docker run --rm -it --security-opt apparmor=docker-default hello-world

.

Für den docker daemon selbst wird aktuell kein apparmor-Profil geladen.

Doku: AppArmor security profiles for Docker

• Version anzeigen:

  docker -v

Container:

• start: docker start $ID
• stop Container: docker stop $ID
• restart: docker restart $ID
• Befehle in einem Container mit $ID bash ausführen:

  docker exec -ti $ID bash

• attach: docker attach $ID
• detach (funktioniert nur wenn -ti angegeben wurde!): STRG-P STRG-Q ¹⁾

Container exposen via Netzwerk:

docker run -d -p host_ip:host_port:container_port --name NAME image_name

Beispiel (offizielles redis-image):

docker run -d -p 6379:6379 --name redis redis

Netzwerke

• anzeigen:

  docker network ls

• anlegen:

  docker network create my_network

• informationen:

  docker network inspect my_network

• container in das Netzwerk integrieren: Parameter

  --net my_network

  oder über yml-Datei

Wenn Container nach Außen exposed werden, legt Docker entsprechende Iptables-Regeln an. Diese lassen sich leider nicht anpassen, nur das anlegen von iptables-Regeln abschalten mit –iptables=false.

Docker (ab Version 17.06) hat aber für iptables die chain DOCKER-USER erdacht. Dort hinterlegte Regeln werden zuerst durchlaufen und von docker in Ruhe gelassen. Dort können also Regel hinterlegt und permanent gemacht werden (mittels mit iptables-persistent).

Beispiel für Port 9200 (Elasticsearch):

iptables -I DOCKER-USER 1 -i eth0 -s 91.213.91.0/24 -p TCP --dport 9200 -j ACCEPT
iptables -I DOCKER-USER 2 -i eth0 -p TCP --dport 9200 -j LOG --log-prefix "Port9200ExtBlock:" --log-level 6
iptables -I DOCKER-USER 3 -i eth0 -p TCP --dport 9200 -j REJECT

Löschen wäre (hier Regel nr.1):

iptables -D DOCKER-USER 1 usw.

Auflistung aktuell gültiger Regeln:

iptables -L -n --line-numbers

Container auflisten:

• laufende: docker container ls
• alle: docker container ls –all

• ID anzeigen:

  docker ps --no-trunc

  • ID des zuletzt gestarteten containers anzeigen:

    docker ps -l -q

    ²⁾

• ausführliche Informationen anzeigen: docker inspect $ID
• Ressourcenverbrauch laufende Container: docker stats
• Prozesse eines Containers anzeigen: docker top $ID

Logging ist bei docker vielfältig konfigurierbar.

docker logs $ID

„docker logs“ funktioniert abwer nicht mit anderen loggin driver als json-file und journald.

überschreibt den entrypoint aus dem image, einloggen mit bash ist möglich:

docker-compose.yml:

entrypoint:
  - "/usr/bin/tail"
  - "-f"
  - "/dev/null"

compose-File liegt hier: /srv/compose-files/meinDocker-service.yml unitfile: /etc/systemd/system/meinDocker.service :

[Unit]
Description=meinDockerService
Requires=docker.service
After=docker.service

[Service]
Restart=always
#User=root
#Group=docker
# add group to user: usermod -a -G docker <user>
# Shutdown container (if running) when unit is stopped
ExecStartPre=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml down -v
# Start container when unit is started
ExecStart=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml up
# Stop container when unit is stopped
ExecStop=/usr/bin/docker-compose -f /srv/compose-files/meinDocker-service.yml down -v
[Install]
WantedBy=multi-user.target

Dienst laden, starten und autostart aktivieren:

systemctl daemon-reload
systemctl start docker-datadog.service
systemctl enable docker-datadog.service

Docker images anzeigen:

docker image ls

Dockerfile ↔ Docker Compose file image bauen ↔ image deployen

Beispiele:

1. Image „ubuntu“ holen + starten (-d im Hintergrund):

   docker run -d -ti ubuntu /bin/sh -c "while true; do echo hello world; sleep 1; done"

2. docker run -d ubuntu /bin/sh -c "apt-get install -y hello"

1. docker run hello/world

image erstellen (mit Dockerfile):

image aus docker-compose-file erstellen:

docker-compose -f $COMPOSE-FILE.yaml up

image aus Dockerfile erstellen:

1. Dockerfile anlegen und ins Verzeichnis wechseln (tag latest wird angehängt)

   FROM base
   RUN apt-get install hello
   CMD hello

   docker build $USER/$IMAGENAME .

2. oder Pfad zu meinDockerfile angeben: → docker build -t meineHalloApp -f meinDockerfile

3. docker build -t meineHalloApp .

image aus laufendem container erstellen

• docker run -d ubuntu /bin/sh -c "apt-get install -y hello"

• docker commit -m "1st container" $ID blindguardian/hallo

1. allgemein bei docker images: Prozess sollte als PID 1 laufen damit es die Signale bekommt (SIGTERM, …)
2. möglichst wenige RUNs: (neue files, neue layers)
3. tini als init-system damit die bash nicht uid 1 wird (und damit nicht loggt weil sie denkt init zu sein):
   1. NOTE: If you are using Docker 1.13 or greater, Tini is included in Docker itself. This includes all versions of Docker CE. To enable Tini, just pass the –init flag to docker run.
4. ReadMe.md anlegen im git-Repo

Schlecht:

1. config-file ins image und dann kein vollwertiges base-linux drinhaben (nur per export auslesbar)
2. config-file extern als volume einhängen (liegt auf host rum…)

gut:

1. config als extra layer einbauen das das install-Image aus einer registry benutzt und dann schnell neu gebaut werden kann
2. jedes image kommt aus einem eigenen repository (erleichert automatisierten image neubau, was wurde wann zuletzt benutzt, gebaut?)

neben der öffentluchen Standard-registry von hub.docker.com können weitere registries verwendet werden. Insbesondere wenn die images privat sein sollen und um zu verhindern das durch externe Fehler Applikationen ihren Betrieb einstellen.

1. offizielle registry (öffentlich): https://hub.docker.com/explore/
2. privates Repo auf docker hub mit Anmeldung:
   1. eigene Registry:

      docker login https://meine.registry.de

   2. mehr als ein privates Repo erfordert Geldeinsatz
4. Docker Trusted Registry enthalten in Docker Enterprise Edition
5. Docker Registry als Dienst
6. Registry 2.0 (Roadmap) soll der Nachfolger werden
7. weitere Software
   1. z.B. gitlab container registry (ab v.8.8): https://about.gitlab.com/2016/05/23/gitlab-container-registry/ https://docs.gitlab.com/ee/administration/container_registry.html

unsichere registries sollten nicht benutzt werden, aber falls weder verschlüsselung noch Login gewünscht ist:

Datei /etc/docker/daemon.json:

{    "insecure-registries": ["unsicher.registry.de:80"] }

Restart Docker:

sudo systemctl restart docker.service

• docker commit -m "Beschreibung" $ID user/repo1

• image auf private registry hochladen:
  • Login:

    docker login $URL

  • push:

    docker push Benutzer/projekt

docker rm $short_id

Methode 1 (docker save):

docker save --output="registry-cleanup.tar" $IMAGE

$IMAGE z.B. hello/world, das tar-archiv enthält aber „nur“ die einzelnen layer (in jeweils tar-Archiven)

Methode 2 (docker export) (laufendes image exportieren):

• in tar-Archiv:

  docker export --output="latest.tar" $NAME

• in tar.gzip-Archiv:

  docker export $NAME | gzip > NAME.tar.gz

aus tar.gz-Archiv:

zcat NAME.tar.gz | docker import - NAME

• Apache allein: https://hub.docker.com/_/httpd/
• PHP mit Apache: https://hub.docker.com/_/php/ (Langversion: https://github.com/docker-library/docs/blob/master/php/README.md)

  • docker pull php:5.6-apache-jessie

  • docker pull php

• Nginx: https://hub.docker.com/_/nginx/
• wordpress: https://hub.docker.com/_/wordpress/

  • docker pull 4.9-php7.0-apache

  • docker pull 4-php7.0

• ceph: https://hub.docker.com/r/ceph/daemon/

Im Gegensatz zu den flüchtigen Containern sind volumes geeignet permanente Daten aufzunehmen („persistent storage“).

-v /tmp/data:/data

• erzeugen:

  docker volume create --name vol1

• mounten:

  docker run -d -v vol1:/container/pfad/für/das/volume container_image my_Befehl

• auflisten:

  docker volume ls

• details:

  docker volume inspect volume_name

• unbenutzte volumes anzeigen:

  docker volume ls -f dangling=true

• unbenutzte volumes löschen ³⁾:

  docker volume prune

• bestimmtes Volume löschen:

  docker volume rm <volume name>

• Backup, restore, oder migrieren von data volumes

• docker daemon immer noch als root (→ podman mit systemd unit + port >1024 expose)
• podman → restart polic via systemd-unit
• ggf. rootless container in einen pod (namespace für ipc, net, cgroups) packen (teilen sich einen network namespace)
• compose files nicht vorhanden, Alternativen:
  • https://github.com/containers/podman-compose
  • oder minikube, k3d, .k8s, …
• CNI vs. Netavark/Aardvark-stack (ab podman 4.0) https://www.redhat.com/sysadmin/podman-new-network-stack
  • Netavark: A network setup tool that configures network bridges, firewall rules, and system settings to give containers access to external networks
  • Aardvark: An authoritative DNS server for A and AAAA container records, enabling containers to resolve connections to other containers by their names or aliases.

networking:

1. bridge (Standard für rootful container) → internes Interface mit NAT
2. macvlan (bridge mit eigener mac + IP auf interface, erfordert rootful
3. slirp4netns (Standard für rootless containers) → Tunnel durch TAP device (containers are completely isolated from each other! no virtual network

v4/v6/dualstack:

1. podman macht IPv4, v6 oder Dualstack (v4 + v6)
2. docker does ipv4 OR (ipv4 and ipv6), nur v6 geht nicht!

• https://github.com/containers/podman/blob/main/docs/tutorials/basic_networking.md/
• https://www.redhat.com/sysadmin/container-networking-podman
• https://developers.redhat.com/articles/2022/08/10/how-conifgure-podman-40-ipv6

• docker swarm join-token manager
• docker swarm join-token worker
• Node entfernen:
  • docker swarm leave
  • auf manager node: docker node rm $Name -f
  • manager müssen zuerst heruntergestuft werden: docker node demote $Name
• Nodes
  • anzeigen: docker node ls
  • detaillierter: docker node inspect $Node
  • laufende Dienste auf §node: docker node ps $Node
• Debugging
  • container-ID finden: docker service ps
  • docker exec -it $ContainerID /bin/sh
  • als root: docker exec -ti -u root $ContainerID bash

docker secret ls

mkfs.xfs -f -n ftype=1 $disk

• Infos über alle laufenden dienste auf: docker service ls
• Übericht der stacks: docker stack ls
• Übersicht über einzelne Services eines Stacks: docker stack ps $stackname
• Ausführliche Infos über einen gestarteten Service (geht auch für Container, Storage, Networks…): docker inspect $name
• Logoutput einzelner Dienste ansehen: docker service logs $name

docker vsphere plugin⁴⁾:

docker plugin install --grant-all-permissions --alias vsphere vmware/vsphere-storage-for-docker:latest

• Deployment:

  docker stack deploy -c stack-compose.yml $stackname --with-registry-auth

  • gucken ob der stack bereits fertig aktualisiert ist:

    docker stack ps $stackname -f 'desired-state=Running' | grep Running

• Rollback eines services:

  docker service rollback $service-name

• löschen
  • stack:

    docker stack rm $stackname

  • service:

    docker service rm $service-name

• update
  • eines services:

    docker service update --image $docker-registry/path/to/image:$TAG $service-name --with-registry-auth

  • --force : auch ohne Änderungen container neu deployen
  • --update-parallelism 1 –update-delay 30s: nur eine Instanz gleichzeitg, mit Verzögerung 30s

traeffik

• skalieren:

  docker service scale $service=4

Leider nimmt docker keine automatischen Aufräumarbeiten vor. Deshalb muss manuell (ggf. via cronjobs) nachgeholfen werden:

/etc/cron.d/cleanimages

0 4 * * * root docker rmi $(docker images -q) > /dev/null

etwas radikaler ist der folgende Befehl:

docker system prune -a
WARNING! This will remove:
  - all stopped containers
  - all networks not used by at least one container
  - all images without at least one container associated to them
  - all build cache
 
Are you sure you want to continue? [y/N] y

Docker hat beim Design IPv6 nicht berücksichtigt und daher schlagen dessen Simplifizierungen (Ports durch NAT via iptables nach Außen geben und interne DNS-Auflösung) in Nachteile um. docker unterstützt kein SLAAC oder DHCPv6 und kann daher nicht selbstständig Präfixe beziehen, d.h. es müssen statische IPs zugewiesen werden und diese via DNS propagiert werden (DNS auf die öffentliche IP des docker-Hosts reicht nicht mehr!). Hiermit werden jedoch sämtliche Ports öffentlich zugänglich gemacht (nicht nur diese via EXPOSE) und müssen daher via firewall abgesichert werden.

NAT66 (analog zu v4) mit Adressen aus dem Unique Local Addresses (ULA)-Bereich fd00::/8 Adressen ist eine schlechte Idee und führt zu Problemen, auch der userland-proxy ist Mist.

Funktionierende Lösungen:

• ein öffentliches /64 v6-Netz mit manueller Zuweisungen von Adressen an Container. Beispiel mit 2001:db8:1::/64: /etc/docker/daemon.json:

  {
    "ipv6": true,
    "fixed-cidr-v6": "2001:db8:1::/64"
  }

  Quellen: https://docs.docker.com/network/drivers/macvlan/#use-ipv6

• Container direct auf die Netzwerkkarte bridgen: Macvlan

Siehe auch: https://heikorichter.name/post/123/docker-und-ipv6/

Für IPv6-only ist dank der Rückständigkeit bei Dritten (Docker registry, Github etc.) Krücken wie DNS64 + NAT64 nötig.

Zum orchestrieren von docker container steht das integrierte docker swarm zur Verfügung. Mittlerweile hat sich Kubernetes für diese Aufgaben etabliert, da es deutlich mehr Funktionen (aber auch mehr Komplexität) mit sich bringt.

Initialiseren:

docker swarm init

"Swarm initialized: current node (n352jdg9eoml9nh5ak574izs5) is now a manager.

To add a worker to this swarm, run the following command:

<code bash>docker swarm join --token SWMTKN-1-4a8ilhha4g652ll28ecg7z4pyxdvglnicufxlj2mh5l5ly5nm3-7s7yvbki7m9pfi2yzafter6l6 10.10.0.23:2377</code>

To add a manager to this swarm, run 'docker swarm join-token manager' and follow the instructions."

In diesem Beispiel reicht zum Beitritt

1. als node:

   docker swarm join --token SWMTKN-1-4a8ilhha4g652ll28ecg7z4pyxdvglnicufxlj2mh5l5ly5nm3-7s7yvbki7m9pfi2yzafter6l6 10.10.0.23:2377

2. oder als weiteren manager die folgende Ausgabe auszuführen:

   docker swarm join-token manager

Aus dem docker swarm austreten:

• docker swarm leave

• wenn manager:

  docker swarm leave --force

*Informationen über sich selbst anzeigen:

docker node inspect self

Nodes sind

1. Active (neue tasks können zugewiesen werden)
2. Pause (keine neuen, aber bestehende tasks bleiben)
3. Drain (keine neuen, und existiere task werden heruntergefahren.

   docker node update --availability drain node1

Nodes managen:

• Nodes auflisten:

  docker node ls

Manager sind

1. Reachable
2. Unavailable
3. Leader

docker stack ls

NAME                SERVICES
content-sync        2

• global: 1x pro Node
• replicated: x Instanzen

Labels: (wo fährt was hoch?), Beispiel: nur hochfahren wenn label db1 auf der node vorhanden ist:

   deploy:
      placement:
        constraints:
          - node.labels.db1 == TRUE

1. Label hinzufügen:

   docker node update --label-add LABEL1

2. Label updaten:

   docker node update --label-add LABEL2=TEST node1

docker-machine ist ein tool um docker-Hosts zu provisionieren (auf denen dann docker container laufen können).