ZFS краткие заметки

zdb zfs_arc_max zfs encryption zfs magic number

ZFS краткие заметки

Установка ограничения по используемой RAM

### Limit ZFS memory consumption to 1/8 total RAM
TRAM=`cat /proc/meminfo | head -n 1 | awk '{ print $2}'`
ZRAM=`expr totram / 8`
echo "options zfs zfs_arc_max=$ZRAM" | sudo tee -a /etc/modprobe.d/zfs.conf

https://blog.programster.org/zfs-on-linux-running-out-of-memory

Зависимости для установки в Debian/Ubuntu

sudo apt-get install build-essential autoconf libtool gawk alien fakeroot linux-headers-$(uname -r)
sudo apt-get install zlib1g-dev uuid-dev libattr1-dev libblkid-dev libselinux-dev libudev-dev libssl-dev
sudo apt-get install parted lsscsi ksh

Шифрованная ZFS

Шифрование на собственном уровне поддерживается только с 7-ой версии zfs

Ее нет в репозиториях даже для последней версии Debian 9.7 проверено 27.01.19

Соответственно, надо компилировать из исходников.

Официальное рабочее описание процедуры здесь: 

https://github.com/zfsonlinux/zfs/wiki/Building-ZFS 

cd /opt
git clone https://github.com/zfsonlinux/zfs
cd ./zfs
git checkout master
sh autogen.sh
./configure
make -s -j$(nproc)

После make надо выполнить от root

make install
modprobe zfs

27.01.18 установил версию 0.8.0-rc3_24_gc853f382d

Если не запускается - проверить и удалить модуль spl - он не нужен.

Еще надо отметить, что начиная с версии 7.1 библиотека SPL входит в единый пакет исходников, вместе с ZFS. Для версий \<= 7.0 эти пакеты шли по отдельности.

rmmod /lib/modules/4.9.0-8-amd64/extra/spl/spl.ko

Создание шифрованной файловой системы:

zfs create -o encryption=on -o keyformat=passphrase -o keylocation=prompt -o utf8only=on -o atime=off -o compression=lz4 sigma/encrypted

Монтирование шифрованной ФС:

zfs mount -l sigma/encrypted

Алиасы дисковых устройств

Использовать уникальные длинные имена дисковых устройств из каталогов /dev/disk/by-* вовсе не обязательно каждый диск знает состав пула по wwn. 

Для удобства можно определить алиасы в файле /etc/zfs/vdev_id.conf :

alias disk1      wwn-0x5000c50045957af3-part2
alias disk2      wwn-0x50004cf20b0d7fa0-part2

Если используете multipath, в том же файле добавьте следующие опции:

multipath yes
#       PCI_ID  HBA PORT  CHANNEL NAME
channel 85:00.0 1         A
channel 85:00.0 0         B
channel 86:00.0 1         A
channel 86:00.0 0         B

Добавление зеркала к существующему пулу

Смотрим текущее состояние пула:

# zpool status tank
  pool: tank
state: ONLINE
scrub: none requested
config:
        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c1t2d0  ONLINE       0     0     0
errors: No known data errors

Добавляем:

# zpool add tank mirror c0t3d0 c1t3d0
# zpool status tank
  pool: tank
state: ONLINE
scrub: none requested
config:
        NAME        STATE     READ WRITE CKSUM
        tank        ONLINE       0     0     0
          mirror-0  ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c1t1d0  ONLINE       0     0     0
          mirror-1  ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c1t2d0  ONLINE       0     0     0
          mirror-2  ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
            c1t3d0  ONLINE       0     0     0
errors: No known data errors

https://blog.fosketts.net/2017/12/11/add-mirror-existing-zfs-drive/

Проверка и лечение отказавшего пула

Для проверки состояния пула можно использовать утилиту zdb  Display zpool debugging and consistency information.

zdb gamma | grep txg

и попробовать импортировать раннюю группу в режиме чтения

zpool -T txg -o readonly=on gamma

#покажет «лишние» блоки
zdb -bb gamma
#покажет, если остались какие следы файлов
zdb -dd gamma

Если на помогает ключ -f,  то для задействования дисков надо переписать “magic number” на них.

Например так:

dd if=/dev/zero of=/dev/sda bs=512 count=1 conv=notrunc

https://serverfault.com/questions/842955/restoring-data-after-zfs-destroy

Репликация снепшота в другую ФС:

Реплицирование набора данных на другую машину выполняется так:

# zfs send datapool/docs@today | ssh server_other zfs recv backuppool/backup

А если на той же машине - в другой пул, то так:

zfs send datapool/docs@today | zfs receive backuppool/backup