DailyStuff » Linux

BtrFS and readonly snapshots

Hans — Sat, 21 Jan 2012 07:20:55 +0000

In a previous posting I started with BtrFS and as mentioned BtrFS supports snapshotting. With this you can create a point in time copy of a subvolume and even create a clone that can be used as a new working subvolume. To start we first need the BtrFS volume which can and must always be identified as subvolid 0. This as the default volume to be mounted can be altered to a subvolume instead of the real root of a BtrFS volume. We start with updating /etc/fstab so we can mount the BtrFS volume.

LABEL=datavol	/home	btrfs	defaults,subvol=home	0	0
LABEL=datavol	/media/btrfs-datavol	btrfs	defaults,noauto,subvolid=0	0	0

As /media is a temporary file system, meaning it is being recreated with every reboot, we need to create a mountpoint for the BtrFS volume before mounting. After that we create two read-only snapshots with a small delay in between. As there is currently no naming guide for how to call snapshots, I adopted the ZFS naming schema with the @-sign as separator between the subvolume name and timestamp.

$ sudo mkdir -m 0755 /media/btrfs-datavol
$ sudo mount /media/btrfs-datavol
$ cd /media/btrfs-datavol
$ sudo btrfs subvolume snapshot -r home home\@`date "+%Y%M%d-%H%m%S-%Z"`
Create a readonly snapshot of 'home' in './home@20124721-080109-CET
...
$ sudo btrfs subvolume snapshot -r home home\@`date "+%Y%M%d-%H%m%S-%Z"`
Create a readonly snapshot of 'home' in './home@20124721-080131-CET'
$ ls -l
totaal 0
drwxr-xr-x 1 root root 52 nov 21  2010 home
drwxr-xr-x 1 root root 52 nov 21  2010 home@20124721-080109-CET
drwxr-xr-x 1 root root 52 nov 21  2010 home@20124721-080131-CET

We now have two read-only snapshots and lets test to see if they are real read-only subvolumes. The creation a new file shouldn’t be possible.

$sudo touch home@20124721-080109-CET/test.txt
touch: cannot touch `home@20124721-080109-CET/test.txt': Read-only file system

Creating snapshots is fun and handy for migrations or as on disk backup solution, but they do consume space as the delta’s between snapshots is being kept on disk. Meaning that changes between the snapshots are being keept on disk even when you remove them. Freeing diskspace will not only be removing them from the current snapshot, but also removing previous snapshots that include the removed data.

$ sudo btrfs subvolume delete home@20124721-080109-CET
Delete subvolume '/media/btrfs-datavol/home@20124721-080109-CET'
$ ls -l 
totaal 0
drwxr-xr-x 1 root root 52 nov 21  2010 home
drwxr-xr-x 1 root root 52 nov 21  2010 home@20124721-080131-CET

As last step we unmount the BtrFS volume again. This is where ZFS and BtrFS differ too much for my taste. To create and access snapshots on ZFS the zpool doesn’t needs to be mounted, but then again with the first few release of ZFS the zpool needed to mounted as well. So there is still hope as BtrFS is still under development.

$ sudo umount /media/btrfs-datavol

Seeing what is possible with BtrFS, Sun’s TimeSlider becomes an option. Also the option of Live Upgrades with rollbacks as is possible with Solaris 11, but for that BtrFS with read-write snapshots needs to be tested in the near future.

First steps with BtrFS

Hans — Wed, 18 Jan 2012 07:47:05 +0000

After using ZFS on Solaris, I missed the ZFS features on Linux and with no chance of ZFS coming to Linux I had to do with MD and LVM. Or at least until BtrFS became mature enough and since the Linux 3.0 that time slowly has come. With Linux 3.0 BtrFS supports autodefragmentation and scrubbing of volumes. The second is maybe the most important feature of both ZFS and BtrFS as it can be used to actively scan data on disk for errors.

The first tests with BtrFS where in a virtual machine already a longtime ago, but the userland tools where still in development. Now the command btrfs follows the path set by Sun Microsystems and basically combines the commands zfs and zpool for ZFS. But nothing compares to a test in the real world and so I broke a mirror and created a BtrFS volume with the name datavol:

$ sudo mkfs.btrfs -L 'datavol' /dev/sdb2

Now we can mount the volume and create a subvolume on it which we are going to be using as our new home volume for users homedirectories.

$ sudo mount /dev/sdb2 /mnt
$ sudo btrfs subvolume create /mnt/home
$ sudo umount /dev/sdb2

When updating /etc/fstab we can tell mount to use the volumename instead of a physical path to a device or some obscure UUID number. Also you can tell which subvolume you want to mount.

LABEL=datavol	/home	btrfs	defaults,subvol=home	0	0

After unmounting and disabling the original volume for /home we can mount everything and copy all the data with rsync for example to see how BtrFS is working in the real world.

$ sudo mount -a

As hinted before scrubbing is important as you can verify that all your data and metadata on disk is still correct. You can do a read-write test by default or only read test to see if all data can be accessed. There is even an option to read parts of the volume that are still unused. In the example below the subvolume for /home is being scrubbed and with success.

$ sudo btrfs scrub status /home
scrub status for afed6685-315d-4c4d-bac2-865388b28fd2
	scrub started at Sat Jan 17 15:11:58 2012, running for 106 seconds
	total bytes scrubbed: 5.77GB with 0 errors
...
$ sudo btrfs scrub status /mnt
scrub status for afed6685-315d-4c4d-bac2-865388b28fd2
	scrub started at Sat Jan 17 15:11:58 2012 and finished after 11125 seconds
	total bytes scrubbed: 792.82GB with 0 errors

The first glances of BtrFS in the real world are a lot better with kernel 3.1 then somewhere with kernel 2.6.30 and I’m slowly starting to say it becomes ready to be included in RHEL 7 of Debian 8 for example as default storage solution. The same as ZFS became in Solaris 11. But it is not all glory as still a lot of work needs to be done.

The first is encryption as the LUKS era ends with BtrFS as it is not smart to put it between your disks and BtrFS. You lose the advantage of balancing data between disks when you do mirroring for example. But then again LVM has the same issue where you then also first need to setup software raid with MD with LUKS on top of it and LVM on top of that. For home directories EncFS maybe an option, but it still leaves a lot of area’s uncovered that would be covered by LUKS out of the box.

The second issue is the integration of BtrFS in distributions and the handling of snapshots. As for now you first need to mount the volume before you can make a snapshot of a subvolume. The same for access a snapshot and for that I think ZFS still has an advantage with the .zfs directory accessible for everyone who has access to the filesystem. But time will tell and for now the first tests look great.

Tux moet aan de Sonja Bakker

Hans — Fri, 10 Dec 2010 06:02:37 +0000

Waar is de tijd gebleven dat zeg 64MB nog voldoende was of dat een Pentium MMX op 233 MHz nog je hele digitale wereld kon voortduwen. Die tijd lijkt ver achter ons te liggen, maar is dat echt zo? De 8GB in mijn huidige workstation lijkt in sommige gevallen amper nog voldoende te zijn om de machine van geheugen te voorzien en het lijkt alleen maar erger te worden over de jaren.

Waar vroeger KDE 2.2 nog gerust drie maanden kon draaien lijkt het nu soms onmogelijk te zijn om KDE of GNOME gewoon een week te laten draaien zonder echte gevolgen. Helaas lijkt het bij het inloggen niet veel beter te worden, want er moeten veel caches worden nagelopen, extra daemons worden opgestart en vele andere dingen.

Misschien wordt het tijd dat Tux echt een naar de Weight Watchers gaat of een boek van Sonja Bakker voor kerst krijgt, want het “lichte” karakter is al jaren verdwenen. De vraag is misschien wat je er aan doet zonder vele vrijwilligers die hun kostbare tijd investeren voor het hoofd te stoten. Misschien een aardig punt om zo meteen 2011 mee te beginnen?

Ubuntu 10.10

Hans — Sun, 03 Oct 2010 19:27:05 +0000

Zondag 10 oktober 2010 is het weer zover, dan ziet Ubuntu 10.10 het daglicht. Enkele weken voor de gebruikelijke datum in de releasecycle, maar de vreugde zal er misschien niet minder om zijn. De release candidate is afgelopen week beschikbaar gekomen dus werd het tijd om te kijken hoe Ubuntu er voor staat. Ik kan al wel vast verklappen dat ik gemengde gevoelens heb, maar toch mogelijkheden zie voor Ubuntu.

Jarenlang heeft Canonical getracht om Ubuntu op een CD te persen en out of te box alles aan de praat te hebben voor de gebruiker. Dit lukte al jaren redelijk goed door oa opties te beperken, maar nu is de installatiemethode nog verder te zijn versimpelt. De vraag blijft alleen waarom Ubuntu niet standaard voor /home een apart volume aanmaakt en machines standaard niet laat synchroniseren via NTP.

Verder zie lijkt Canonical met Ubuntu goed te hebben gekeken naar Google en Apple, want Ubuntu lijkt langzaam het appliancemodel te volgen waarbij data wordt opgeslagen bij bv Ubuntu One. Muziek is daar een voorbeeld van, maar ook contactgegevens uit oa Evolution. Dit is wel een punt wat mij doet twijfelen of dat wel een goed idee is. Zeker met de speeches over de freedom-box nog in het achterhoofd.

Het andere punt is dat Ubuntu prettige verschijning moet worden. Het nieuwe Ubuntu font is tegenwoordig standaard actief en hoewel er toch iets mis mee lijkt te zijn geeft het wel een prettig beeld om naar te kijken. Maar dit geldt ook voor het standaard thema welke bij de vorige release de standaard is geworden. Veel punten zijn aangepakt waardoor het geen donkere brei meer lijkt te zijn en meer contrast heeft. Helaas is er nog veel te verbeteren op zowel het gebied van de interface als de interactie met gebruiker, maar hier in een latere posting meer over.

De technische verbeteringen bij deze release zijn een update naar GNOME 2.32 en Linux 2.6.35. Ook wordt bij deze release een applicatie ingeruild voor een andere applicatie en dat is deze keer F-Spot die wordt vervangen door Shotwell. Het is te hopen dat bij de volgende release van Ubuntu Tomboy wordt ingeruild voor Gnote zodat er ruimte vrij komt op de installatie CD doordat dan de noodzaak voor Mono op de installatie CD ontbreekt. Hopelijk worden de plannen voor 11.04 in de komende maanden definitief en kunnen we zien wat de toekomst gaat brengen.

Toch ben ik wel te spreken over deze Ubuntu release en doet me mogelijk Debian Testing toch inruilen voor Ubuntu op de desktop. Het is een redelijke balans tussen recente software, weinig wijzigingen, maar ook goed bruikbaar voor iedereen op vele hardware combinaties. Dit is misschien ook het sterke punt van Ubuntu, elke zes maanden een release met duidelijke plannen vooraf waar de gemeenschap aan kan meewerken. We zullen zien hoe de release volgende week zondag verloopt.

MD en een nieuwe disk

Hans — Sun, 06 Jun 2010 06:59:58 +0000

Op Sun Solaris was en is het nog steeds met SVM redelijk makkelijk om een RAID1 opstelling van de boot-disken te herstellen. Je kopieert het disklabel over van de ene disk naar de andere, maakt de metadevices aan en koppelt deze weer. En met ZFS is het zelfs nog minder werk, maar hoe op Linux?

Op Linux is het gelukkig niet veel anders en met sfdisk kan snel de partitietabel worden overgezet.
$ sudo sfdisk -d /dev/sda | sudo sfdisk /dev/sdb
De tweede stap is om de partities weer in het array te hangen en een flinke tijd te wachten.
$ sudo mdadm --add /dev/md0 /dev/sdb1 $ sudo mdadm --add /dev/md1 /dev/sdb2
De derde stap voor boot-disken is om de code voor de boot-loader te installeren. Zoals GRUB in dit voorbeeld.
$ sudo grub-install /dev/sdb Installation finished. No error reported.
Vanaf dit moment is de RAID1 configuratie voor de boot-disken weer operationeel.

GNOME, MD en DeviceKit

Hans — Thu, 08 Apr 2010 20:39:18 +0000

Met de introductie van DeviceKit werden dingen zoals notificatie van defecten aan harddisks ineens mogelijk geworden. Hardware werd toegankelijk voor userland zonder smerige hacks of setuid executables. Voorzieningen om deze notificaties weer te geven werden onderdeel van GNOME bij release 2.28.

Alleen wanneer zie je die notificaties? Achter deze vraag ben ik recentelijk gekomen, want hoewel de RAID weer in orde was besloot een disk om toch een paar extra herallocaties van sectoren. MD besloot om de disk weer uit de RAID-set te gooien en DeviceKit zag dat de threshold van de leverancier voor deze disk werd overschreden. Zolang de disk zichtbaar is blijft de waarschuwing zichtbaar voor de gebruiker tenzij hij of zij deze notificatie uitzet.

Gebruikers krijgen tegenwoordig tijdig een waarschuwing als er structurele fouten optreden en geeft ze een kans om preventief aan de slag te gaan. Zeker met veel disken die je gewoon kan laten omruilen als ze binnen de garantieperiode zitten. Sommige mensen kiezen daar blijkbaar niet voor, maar daar heb ik aan het einde van de dag ook geen medelijden meer mee.

Hoewel de data op de disk was geencrypt met LUKS loopt er nu toch een wipe sessie om de disk een aantal keer te overschrijven met random data. Hierna kan deze terug naar de leverancier en is het wachten op een nieuwe. Dit heeft me ook aan het denken gezet of er plugins voor Nagios zijn of dat ze nog geschreven moeten worden.

MD in degraded mode, deel 2

Hans — Sat, 03 Apr 2010 14:06:19 +0000

In een vorige posting liep er nog een zelftest op een harddisk. De zelftest was na enige tijd klaar en smartmontools leek geen fouten te hebben gevonden of toch wel? Want als het onderstaande ziet dan ziet het er goed uit.
=== START OF READ SMART DATA SECTION === SMART overall-health self-assessment test result: PASSED
Maar zodra je verder kijkt in de output van smartctl dan blijken dat er drie sectoren waren die moesten worden vervangen. Nu deze zijn intern zijn vervangen accepteert de RAID-software weer de disk na een volledige synchronisatie.
5 Reallocated_Sector_Ct 0x0033 100 100 036 Pre-fail Always - 3
Voor de zekerheid toch eens bij de leverancier eens op de website gekeken en die boden een applicatie voor onder DOS aan of als live CD. Bij controle blijkt die software exact hetzelfde te doen als wat smartmontools doet en werkt ook met S.M.A.R.T. De vraag is dan misschien wanneer Windows deze functionaliteit standaard aan boord krijgt nu dit al jaren bij de Unix’en standaard is.

De vraag die nog wel overbleef was of er ook een interface was die geen root-privileges vereiste, want smartctl moet nu direct met de disk kunnen praten. Gelukkig kan met behulp van DeviceKit ook worden uitgevraagd naar de status van een disk. En ook hier lijkt zoals bij dmidecode er een duidelijke verbetering te komen in de benodigde privileges die nodig zijn.
$ udisks --show-info /dev/sdb ... ATA SMART: Updated at za 03 apr 2010 15:17:51 CEST overall assessment: Disk has a few bad sectors
Zal Linux dan toch langzaam aan volwassen worden? Maar tot die tijd blijft smartmontools nog regelmatig de status van de disken controleren om zo problemen snel te detecteren.

Vaarwel, /etc/mtab?

Hans — Tue, 30 Mar 2010 07:35:41 +0000

Op BSD heb je /etc/mtab en op SVR heb je /etc/mnttab. Vreemd genoeg heeft men bij Linux gekozen voor de BSD oplossing terwijl de rest in de richting van SVR is. De andere vraag is of beide oplossingen nog wel nodig zijn nu ook alle informatie wordt aangeboden via /proc/mounts.

Nu steeds meer informatie netjes via /proc beschikbaar komt op Linux wordt het misschien tijd om oude gewoonten achter ons te laten. Het gebruik van dmidecode is al niet meer nodig en met bugreports worden scripts bij Debian nu omgeschreven om de kernel interface te gebruiken. Hopelijk volgen andere onderdelen ook en wordt /etc weer echt voor configuratie en niet ook voor semi-statische confirgutatie items.

MD in degraded mode

Hans — Thu, 25 Mar 2010 22:00:53 +0000

Soms krijg je meldingen die je niet wilt zien. De volgende in de logfiles na een reboot is er z’n eentje:
md: md1 stopped. md: bind md: bind md: kicking non-fresh sdb2 from array! md: unbind md: export_rdev(sdb2) raid1: raid set md1 active with 1 out of 2 mirrors
Op het eerste gezicht lijkt er geen fout te zijn en met md –re-add ging de disk weer terug de array in. En dan wachten totdat de resync klaar was, maar het was sneller klaar dan verwacht. De volgende melding gaf te raden waarom.
ata3.00: exception Emask 0x10 SAct 0x0 SErr 0x40c0202 action 0xe frozen ata3.00: irq_stat 0x00000040, connection status changed ata3: SError: { RecovComm Persist CommWake 10B8B DevExch } ata3.00: failed command: FLUSH CACHE EXT ata3.00: cmd ea/00:00:00:00:00/00:00:00:00:00/a0 tag 0 res 50/00:00:00:00:00/00:00:00:00:00/a0 Emask 0x10 (ATA bus error) ata3.00: status: { DRDY } ata3: hard resetting link ata3: softreset failed (device not ready) ata3: applying SB600 PMP SRST workaround and retrying ata3: SATA link up 1.5 Gbps (SStatus 113 SControl 300) ata3.00: configured for UDMA/133 ata3.00: device reported invalid CHS sector 0 end_request: I/O error, dev sdb, sector 0 raid1: Disk failure on sdb2, disabling device. raid1: Operation continuing on 1 devices.
Er zijn duidelijk issues, maar wat precies blijft de vraag. Onder Linux kan met behulp van smartmontools worden gekeken naar de status van een disk en testen doen. Dus het wordt tijd om een long selftest te doen en ook wat informatie op de vragen.
$ sudo smartctl -t long /dev/sdb $ sudo smartctl -l error /dev/sdb $ sudo smartctl -l selftest /dev/sdb $ sudo smartctl -a /dev/sdb
Dit is een redelijk lange testcycle en wachten is voorlopig het enige wat kan gebeuren, maar er lijkt een disk wissel aan te komen binnenkort.

File auditing in Linux

Hans — Wed, 24 Feb 2010 07:09:52 +0000

Controle krijgen over een machine en behouden begint door te weten wat er allemaal speelt. Een van de aspecten is om te weten wat er met bepaalde bestanden gebeurt. Windows NT heeft deze functionaliteit al jaren, maar met de komst van de 2.6 kernel is Linux nu ook in staat om auditing op bestanden en directories vast te leggen.

Op veel Linux-distributies is tegenwoordig al de audit-daemon geïnstalleerd en actief, maar vaak ontbreekt er nog een configuratie. Toch beginnen we met het installeren om zeker te zijn dat onze Debian-machine de juiste software heeft.
$ sudo apt-get install auditd audispd-plugins
Nu de machine voorzien is van de juiste software wordt het tijd om aan te geven welke bestanden we willen monitoren voor wijzigingen. In het voorbeeld hieronder gaan we /etc/passwd monitoren op schrijfacties en /etc/shadow op schrijf- en leesacties. En bij controle zien we wat de configuratie is waarmee de auditing draait op het systeem.
$ sudo auditctl -w /etc/shadow -p wa $ sudo auditctl -w /etc/passwd -p w $ sudo auditctl -l LIST_RULES: exit,always watch=/etc/shadow perm=rw LIST_RULES: exit,always watch=/etc/passwd perm=w
Door nu bv met cat de inhoud van /etc/shadow te tonen kan worden gezien in /var/log/audit/audit.log wat er gebeurt, maar ook wie het doet inclusief welke inode dit is. Het wordt dus tijd om elk bestand met een username/password te gaan monitoren wat er precies gebeurt.