====== DRBD ======
DRBD ist eine Art [[server:RAID]] 1 über Netzwerk und ist seit [[linux:Kernel]]-version 2.6.33 in [[linux:Linux]] integriert. Man kann damit in vielen Fällen teure "shared storage"-Lösungen ersetzen. Durch eine Kernelmodul wird von DRBD ein virtuelles Device zur Verfügung gestellt, das für die Verteilung der Daten über ein Netzwerk sorgt. Dafür wird einer der Rechner als "primary", der zweite als "secondary" eingestellt. Lesezugriffe werden lokal, Schreibzugriffe zusätzlich auf den jeweils anderen Rechner syncronisiert.
In Kombination mit [[wpde>Heartbeat]] bzw. Pacemaker kann eine automatische Übernahme der Serveraufgaben durch einen bereitstehenden Ersatzrechner übernommen werden.
:!: der Artikel ist aus 2014 und veraltet. Alternativen sind Lösungen wie der [[software:ceph storage cluster]] um stärker in die Breite zu skalieren.
^ Kernel-Version ^ enthaltene drbd-Version ^
| 2.6.33 | 8.3.7 |
| 2.6.34 | 8.3.7 |
| 2.6.35 | 8.3.8 |
| 2.6.36 | 8.3.8.1 |
| 2.6.37 | 8.3.9 |
| 2.6.38 | 8.3.9 |
| 2.6.39 | 8.3.10 |
| 3.0 - 3.4 | 8.3.11 |
| 3.5 - 3.7 | 8.3.13 |
| 3.8 | 8.4 |
===== Links =====
* [[http://www.drbd.org/|drbd.org]]
* [[http://hensoko.gssws.de/2013/03/26/debian-wheezy-drbd-ocfs2-corosync-pacemaker-und-kvm-teil-1-drbd/|Debian wheezy: DRBD, OCFS2, Corosync, Pacemaker und KVM Teil 1: DRBD]] [[http://hensoko.gssws.de/2013/07/03/debian-wheezy-drbd-ocfs2-corosync-pacemaker-und-kvm-teil-2-ocfs2/|Teil2]] [[http://hensoko.gssws.de/2013/07/03/debian-wheezy-drbd-ocfs2-corosync-pacemaker-und-kvm-teil-3-corosync-pacemaker/|Teil3]]
* [[http://www.tecchannel.de/server/linux/1741277/|Linux-Cluster mit Open-Source-Tools - DRBD: RAID1 über das Netzwerk]]
* [[http://www.pro-linux.de/work/virtual-ha/virtual-ha5.html|DRBD, Xen und Heartbeat]]
* [[http://www.online-tutorials.net/internet-netzwerk/drbd/tutorials-t-29-289.html|drbd tutorial]]
* [[http://www.slackworks.com/~dkrovich/DRBD/heartbeat.html|Integrating with the heartbeat package]]
* [[http://wiki.debianforum.de/XenDrbdHeartbeat#head-a3c6673bfae1a3cfaf013655021f5b13b5cb5ce6|XEN, LVM, Cryptdevice, DRBD und Heartbeat]]
* [[http://www.looony.de/index.php/archives/11|DRBD - Netzwerk raid 1 unter Linux mit Heartbeat]]
* [[http://www.linux-magazin.de/heft_abo/ausgaben/2004/07/reservespieler/(kategorie)/0%22| Linux-HA-Cluster mit Heartbeat und DRBD]]
* [[http://searchenterpriselinux.techtarget.com/tip/0,289483,sid39_gci1320334,00.html|Build your own iSCSI SAN appliances, save money Part1]] [[http://searchenterpriselinux.techtarget.com/tip/0,289483,sid39_gci1321524,00.html|Part 2]] [[http://searchenterpriselinux.techtarget.com/tip/0,289483,sid39_gci1320352,00.html|Part 3]] [[http://searchenterpriselinux.techtarget.com/tip/0,289483,sid39_gci1320407,00.html|Part 4]]
* [[http://pronetworkconsulting.com/linux/scripts/add_drbd_resource.html|add_drbd_resource.sh]]
===== drbd und Xen =====
==== Links ====
* [[drbd]]
* [[http://swik.net/Xen+drbd|Xen + drbd Linksammlung]]
* [[http://fghaas.wordpress.com/2007/09/03/drbd-806-brings-full-live-migration-for-xen-on-drbd/|DRBD 8.0.6 brings full live migration for Xen on DRBD]]
* [[http://fghaas.wordpress.com/2007/06/05/high-availability-virtualization-with-xen-and-drbd/|High-availability virtualization with Xen and DRBD]]
===== Installation unter Debian Etch =====
In Etch ist lediglich drbd Version 0.7 enthalten die mittels dem module-assistant als Modul passend zum kernel kompiliert wird. D. h. bei Updates von drbd oder dem Kernel muss das Kernelmodul neu übersetzt werden.
Weiterhin werden die Kernelquellen (linux-header) benötigt, diese sind für Xen im Paket
''linux-headers-2.6-xen-686'' bzw. für den "normalen" Kernel in ''linux-headers-2.6-686'' .
Beim Aufruf von module-assistant werden diese benötigen Komponenten jedoch dazu installiert.
aptitude install module-assistant build-essential drbd0.7-module-source
m-a a-i drbd0.7
* die 2 Warnungen scheinen keine Auswirkungen zu haben: WARNING: /lib/modules/2.6.18-6-xen-686/kernel/arch/i386/kernel/microcode.ko needs unknown symbol sys_munlock
WARNING: /lib/modules/2.6.18-6-xen-686/kernel/arch/i386/kernel/microcode.ko needs unknown symbol sys_mlock
Das Modul kann erstmal testweise mit dem Befehl
modprobe drbd geladen werden.
* Die beiden Hosts sind erstmal inkonsistent, was auch drbdadm state r0 bestätigt, dort werden beide Gegenstellen als secondary angegeben.
* Also müssen wir auf dem Master die Ressource aktivieren.
drbdadm -- --do-what-I-say primary all Die fortschreitende Syncronisation ist mit
cat /proc/drbd zu beobachten.
master:~# cat /proc/drbd
version: 0.7.21 (api:79/proto:74)
SVN Revision: 2326 build by root@file, 2008-10-01 17:29:19
0: cs:SyncSource st:Primary/Secondary ld:Consistent
ns:5656576 nr:0 dw:0 dr:5656576 al:0 bm:345 lo:0 pe:0 ua:0 ap:0
[==>.................] sync'ed: 11.7% (42033/47557)M
finish: 0:31:01 speed: 23,060 (20,492) K/sec Nach der Syncronisation ist der Zustand konsistent und die Rollen sind verteilt: xeon:~# cat /proc/drbd
version: 0.7.21 (api:79/proto:74)
SVN Revision: 2326 build by root@file, 2008-10-01 17:29:19
0: cs:Connected st:Primary/Secondary ld:Consistent
ns:48698492 nr:0 dw:0 dr:48698492 al:0 bm:2973 lo:0 pe:0 ua:0 ap:0
^ Kürzel ^ Bedeutung ^
| cs | connection state |
| st | node state (local/remote) |
| ld | local data consistency |
| ds | data consistency |
| ns | network send |
| nr | network receive |
| dw | disk write |
| dr | disk read |
| pe | pending (waiting for ack) |
| ua | unack'd (still need to send ack) |
| al | access log write count |
* Der Ressource fehlt jetzt noch ein Dateisystem, dies kann mit den verbreiteten (nicht clusterfähigen) Dateisystemen wie ext3/xfs/reiserfs nur auf einem Host gemounted werden.
===== Installation unter Debian Lenny =====
In Lenny ist drbd Version 8.0.14 enthalten.
Für AMD64:
aptitude install drbd8-modules-2.6.26-2-amd64 drbd8-utils
Die Version 8.3 kann über [[http://packages.debian.org/lenny-backports/drbd8-source|lenny-backports]] bezogen werden.
===== Rollen manuell umschalten =====
Falls der primary neu startet, wird beim starten gesynct und der status ist secondary/secondary.
* auf dem aktuellen primary (wird secondary): umount /mnt/drbd0 && drbdadm secondary all
* auf dem aktuellen secondary (wird neuer primary):drbdadm primary all && mount /dev/drbd0
==== Links ====
* [[http://www.calivia.com/blog/mike/drbd-on-ubuntu-dapper-drake-and-gentoo|DRBD on Ubuntu Dapper Drake and Gentoo]]
===== Begriffe =====
* **syncronitäts-Bitmap**: dient für Prüfung ob ein Block auf einem Knoten mit dem des anderen syncron sind. Fällt ein Knoten aus wird beim Beschreiben des verbleibenden Knotens diese Bit gesetzt, so dass schnell wiederhergestellt werden kann.
* **activity-log**: hier werden beschriebene Blöcke festgehalten. Beim Ausfall eines Knoten werden die Blöcke die im activity-log stehen überprüft/syncronisiert. Andernfalls müssten alle Blöcke überprüft werden.
===== Konfiguration =====
Konfigurationsdatei erstellen und exakt gleich :!: auf beide hosts verteilen. Siehe auch man 5 drbd.conf
===== Beispiel =====
#
# drbd-conf - SYNC CHANGES ALWAYS BETWEEN ALL NODES!
#
global {
#
}
#
# 50G mirrored partition
#
resource r50g {
# C is: data has reached _both_ local and remote DISK
protocol C;
incon-degr-cmd "echo '!DRBD! pri on incon-degr' | wall ; sleep 60 ; halt -f";
# incon-degr-cmd "halt -f";
startup {
# Wait for connection timeout if this node was a degraded cluster.
# In case a degraded cluster (= cluster with only one node left)
# is rebooted, this timeout value is used.
degr-wfc-timeout 120; # 2 minutes.
}
disk {
# if the lower level device reports io-error you have the choice of
# "pass_on" -> Report the io-error to the upper layers.
# Primary -> report it to the mounted file system.
# Secondary -> ignore it.
# "panic" -> The node leaves the cluster by doing a kernel panic.
# "detach" -> The node drops its backing storage device, and
# continues in disk less mode.
#
on-io-error detach;
}
net{
#
}
syncer {
# Limit the bandwith used by the resynchronisation process.
# default unit is kByte/sec; optional suffixes K,M,G are allowed.
rate 20M;
}
on xeon {
device /dev/drbd0;
disk /dev/vg_daten/lv_drbd;
address 172.16.0.1:7788;
meta-disk internal;
}
on debfail {
device /dev/drbd0;
disk /dev/sdb3;
address 172.16.0.2:7788;
meta-disk internal;
}
}
* Es gibt also zwei Hosts (xeon und debfail)
* diese haben jeweils 2 Netzwerkkarten
* eine für das normale Intranet
* eine direkte cross-over Verbindung (172.16.0.1 und 172.16.0.2) zum jeweils anderen um split-brain durch defekten Switch zu vermeiden.
==== drbdadm ====
drbdadm BEFEHL RESSOURCE
also z.B. ''drbdadm cstate r50g''
* **Befehle** (commands):
* attach / detach
* connect / disconnect
* up / down
* primary / secondary
* invalidate / invalidate_remote
* resize / syncer
* adjust / wait_connect
* **state** (master/slave) / **cstate** (Verbindungsstatus)
* dump / wait_con_int
Version: 0.7.21