目录

Gentoo on OpenZFS:全盘加密与远程解锁

电脑加上书,一个包快 30 斤(两台 16 寸的“板砖”),实在背不动。最近看到 Kasm Workspace,这套基于容器的 Web 应用平台挺适合拿 iPad 开个浏览器接上现在的工作流。

平时用到的软件比较多,客户端的内存到 32-64G 基本就够;不够再连服务器。

挑来挑去,最后选了 Hetzner 的独立服务器。型号是 AX41-NVMe,AMD Ryzen 5 3600、64G 内存、两块 NVMe SSD,默认带一个 IPv4 地址,上下行 1G。

系统选自己更顺手的 Gentoo。Hetzner 不提供 Gentoo 的自动安装,但可以进 Rescue System 手动装。

Gentoo 的 stage3 有 OpenRC 和 systemd 两种 init。我日常用 systemd,省事;OpenRC 留到虚拟机里测服务。

存储用 OpenZFS(ZoL 是它以前的名字),根文件系统开原生加密,/boot 除外。

/boot 不加密,能接触磁盘的人就可以改内核或 initramfs,等你下次启动时套出 ZFS 密码,也就是 Evil Maid 攻击。公网机器可以再开 UEFI Secure Boot 缓解;要求更高的话,得研究 GRUB 从加密分区引导的方案。

机器放在公网上,没法假设它一定安全,加密至少能保证磁盘或备份泄漏后数据不会直接被人读走。加密之后的问题是:开机时怎么解锁 zpool?

用 keyfile 的话,key 放哪儿都不合适;我最后用密码,借助 genkernel 做一个带 zfs、ssh 和网络组件的 initramfs。启动时它先把网络拉起来、跑一个 dropbear,等我 SSH 进去解锁 zpool,再继续正常引导。

Hetzner 的 Rescue System 默认不带 ZFS 工具。直接运行 zpool,它会提示安装,同意许可(输入 y)后等它装完就行。当时没留截图。

zpool

再建一个目录放 ZFS 的 cache 文件:

mkdir -pv /etc/zfs

zpool.cache 记录着池和 vdev 的信息,系统启动时 zfs-import-cache.service 靠它导入存储池,所以 ZFS 根文件系统不用写进 fstab。/boot 这种非 ZFS 分区还是得写,后面会配置。

原本打算分两个 zpool,装系统时先用一块盘,第二块怎么用还没想好。

AX41-NVMe 配了两块 NVMe,做 mirror 能多一层冗余和校验。我没做,是因为想把第二块盘留着单独做数据池。如果你更看重数据安全,建池时直接做 mirror 更省事。

用 fdisk 或 gdisk 分区。这里用 GPT:NVMe 盘上不建议用 MBR,GPT 支持更大的磁盘和更多分区,UEFI 引导一般也是配 GPT。

gdisk /dev/nvme1n1

分区表:

当时没注意选的是第二块盘,第一块空着没用。不影响后面的操作,但别学我。

分区 大小 类型/文件系统 挂载点
nvme1n1p1 512M EFI System Partition (ef00) /boot/efi
nvme1n1p2 500M ext4 (8300) /boot
nvme1n1p3 剩余所有 Solaris Root (bf00) zpool

初始化 EFI 分区和引导分区的文件系统:

mkfs.vfat -F32 /dev/nvme1n1p1
mkfs.ext4 /dev/nvme1n1p2

查看磁盘的 ID:

ls -l /dev/disk/by-id/

创建 zpool:

zpool create -f -o ashift=12 -o cachefile=/etc/zfs/zpool.cache \
-O compression=zstd \
-O xattr=sa \
-O relatime=on \
-O acltype=posixacl \
-O dedup=off \
-O dnodesize=auto \
-O normalization=formD \
-O encryption=aes-256-gcm \
-O keyformat=passphrase \
-m none \
-R /mnt/gentoo rock /dev/disk/by-id/nvme-SAMSUNG_MZVL2512HCJQ-00B00_S675NX0T618385-part3

参数逐个说:

  • ashift=12:ashift 一般按磁盘报告的扇区大小自动设置,但报告值不一定准。这里直接设成 12,也就是 4K 对齐。细节见 ZFS Tuning Guide 和 zpoolprops(7)
  • compression=zstd:压缩用 zstd,速度和压缩比比较均衡,实测对比见 这个帖子
  • xattr=sa:把扩展属性存进 inode,省掉 Linux 下频繁查找 xattr 的开销,原因见 openzfs/zfs#443
  • relatime=on:类似 ext4/XFS 的 relatime
  • acltype=posixacl:启用 POSIX ACL
  • dedup=off:去重打开后,相同的数据块只存一份,但去重表要吃掉大量内存,生产环境一般不推荐,这里直接关掉
  • dnodesize=auto:让 ZFS 自动选 dnode 大小,对容器镜像这种 metadata 多的负载有好处
  • normalization=formD:做 Unicode 文件名规范化,避免同名的不同编码形式对不上。这个属性创建后改不了
  • encryption=aes-256-gcm:开原生加密。encryption=on 默认也是 AES-256-GCM,这里写全
  • keyformat=passphrase:用密码解锁
  • rock:池名

回车后按提示输入两遍密码。

创建 dataset:

zfs create -o mountpoint=none -o canmount=off rock/os
zfs create -o mountpoint=/ rock/os/gentoo

创建挂载点并挂载引导分区:

mkdir -pv /mnt/gentoo/boot
mount /dev/nvme1n1p2 /mnt/gentoo/boot
mkdir -pv /mnt/gentoo/boot/efi
mount /dev/nvme1n1p1 /mnt/gentoo/boot/efi

到这里分区就完成了,用 lsblk 看一眼分区大小和挂载点对不对。

上游的 stage3 分 merged-usr 和传统布局两种,这里直接下 amd64-systemd-mergedusr 这一版。用几个命令从 latest-stage3.txt 里取文件名和路径:

MIRRORS='https://bouncer.gentoo.org/fetch/root/all/releases/amd64/autobuilds'
ZIPFILENAME=`curl -L $MIRRORS/latest-stage3.txt |grep amd64-systemd-mergedusr|grep ^[0-9] |awk -F '[/ ]'  '{if (NR==1) {print $2}}'`
FILENAME=`curl -L $MIRRORS/latest-stage3.txt  2>/dev/null|grep amd64-systemd-mergedusr |grep ^[0-9]|awk '{if (NR==1) {print $1}}'`
FILEURL="$MIRRORS/$FILENAME"
wget -T 3 -c -O /mnt/gentoo/$ZIPFILENAME $FILEURL

解压 stage3。先 cd 到 /mnt/gentoo,或者给 tar 加 -C,别解到别处去了:

cd /mnt/gentoo
tar xpvf stage3-*.tar.xz --xattrs-include='*.*' --numeric-owner

MAKEOPTS 和 EMERGE_DEFAULT_OPTS 控制编译并行度。Portage 一般由 root 调用,所以这两个变量写在 root 的 shell 配置里;换别的用户跑 Portage,就写到那个用户自己的配置里。

先把 /etc/skel 里的 .bash_profile 拷过来。创建用户时 skel 里的文件也会被复制到新用户家目录,这里手动给 root 来一份:

cp -v /mnt/gentoo/etc/skel/.bash_profile /mnt/gentoo/root/

创建并编辑文件:

nano -w /mnt/gentoo/root/.bashrc

内容如下:

export NUMCPUS=$(nproc)
export NUMCPUSPLUSONE=$(( NUMCPUS + 1 ))
export MAKEOPTS="-j${NUMCPUSPLUSONE} -l${NUMCPUS}"
export EMERGE_DEFAULT_OPTS="--jobs=${NUMCPUSPLUSONE} --load-average=${NUMCPUS}"

/etc/portage/make.conf 里加了这几项:

# 接受所有许可证
ACCEPT_LICENSE="*"
# 全局不加额外 USE
USE=""
# 使用 stable 分支
ACCEPT_KEYWORDS="amd64"

接受所有许可证,用 stable 分支;我需要一套稳定的环境,不想天天追 testing。全局也不开额外的 USE,需要什么在单个包上开。

创建 Portage tree 的目录,把默认配置拷过来:

mkdir -p -v /mnt/gentoo/etc/portage/repos.conf
cp -v /mnt/gentoo/usr/share/portage/config/repos.conf /mnt/gentoo/etc/portage/repos.conf/gentoo.conf

改一下 sync-type:

nano -w /mnt/gentoo/etc/portage/repos.conf/gentoo.conf

把 sync-type 改成 webrsync:

webrsync 走 HTTPS 下载快照,不走 rsync,所以 sync-uri 这行在 webrsync 模式下用不到。留着是为了以后切回 rsync。

[DEFAULT]
main-repo = gentoo

[gentoo]
location = /var/db/repos/gentoo
sync-type = webrsync
sync-uri = rsync://rsync.gentoo.org/gentoo-portage
auto-sync = yes
sync-rsync-verify-jobs = 1
sync-rsync-verify-metamanifest = yes
sync-rsync-verify-max-age = 24
sync-openpgp-key-path = /usr/share/openpgp-keys/gentoo-release.asc
sync-openpgp-keyserver = hkps://keys.gentoo.org
sync-openpgp-key-refresh-retry-count = 40
sync-openpgp-key-refresh-retry-overall-timeout = 1200
sync-openpgp-key-refresh-retry-delay-exp-base = 2
sync-openpgp-key-refresh-retry-delay-max = 60
sync-openpgp-key-refresh-retry-delay-mult = 4
sync-webrsync-verify-signature = yes

拷贝 DNS 配置,挂载必要的文件系统:

cp -v -L /etc/resolv.conf /mnt/gentoo/etc/
mount -v -t proc none /mnt/gentoo/proc
mount -v --rbind /sys /mnt/gentoo/sys
mount -v --rbind /dev /mnt/gentoo/dev
mount -v --make-rslave /mnt/gentoo/sys
mount -v --make-rslave /mnt/gentoo/dev

不是用 Gentoo LiveCD 启动的话,/dev/shm 可能是个指向 /run/shm 的符号链接,还要处理一下:

test -L /dev/shm && rm /dev/shm && mkdir /dev/shm
mount --types tmpfs --options nosuid,nodev,noexec shm /dev/shm
chmod 1777 /dev/shm

进入 chroot:

chroot /mnt/gentoo /bin/bash

如果命令都执行不了,先 source 一下环境:

source /etc/profile

再改一下 PS1,方便区分当前环境:

export PS1="(chroot) $PS1"
emaint sync --auto

进 chroot 后先完整更新一遍。第一次会编译不少东西,耐心等:

emerge -uDN @world

设置时区(以 Asia/Shanghai 为例):

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

编辑 /etc/locale.gen,取消注释需要的 locale:

nano -w /etc/locale.gen

内容中至少取消注释以下行:

en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8

生成 locale:

locale-gen

设置系统默认 locale:

eselect locale set en_US.utf8

重新加载环境变量:

env-update && source /etc/profile && export PS1="(chroot) $PS1"

常用软件用 Portage 的 set 来管。set 就是一个文本文件,一行一个包,放在 /etc/portage/sets/ 下,emerge @名字 就能整组装。我分了这几个:

  • bootloader
  • common-utils
  • dev-utils
  • filesystem
  • kernel

对应关系如下:

包 sets 用途
sys-boot/grub bootloader 引导器
app-portage/gentoolkit common-utils 简化管理portage的工具
net-analyzer/mtr common-utils 链路测试工具
sys-apps/lm-sensors common-utils 系统传感器温度
net-misc/networkmanager common-utils 网络管理
app-admin/sysklogd common-utils 日志管理
sys-process/cronie common-utils 定时任务
sys-apps/mlocate common-utils 索引
net-misc/chrony common-utils 时间同步
app-portage/pfl common-utils 按文件反查它属于哪个包
dev-util/pkgdev common-utils Gentoo 开发流程的工具集
app-eselect/eselect-repository common-utils overlay 管理
app-admin/sudo common-utils sudo工具
net-dns/avahi common-utils 网络发现
app-shells/bash-completion common-utils bash 补全
app-misc/fastfetch common-utils 系统信息展示(neofetch 已经归档,换成了还在维护的 fastfetch)
sys-process/htop common-utils 查看系统负载
sys-apps/usbutils common-utils USB 设备管理
sys-fs/e2fsprogs common-utils ext 文件系统工具,默认已经包含在@system 里
sys-process/btop common-utils 查看系统负载
sys-apps/edac-utils common-utils EDAC 驱动的用户空间工具
app-containers/docker dev-utils 容器
app-containers/docker-compose dev-utils 容器编排
app-editors/vim dev-utils vim 编辑器
www-client/pybugz dev-utils Bugzilla 的命令行客户端
app-emulation/virt-manager dev-utils 虚拟机管理
sys-apps/ripgrep dev-utils 更快的 grep 替代品
dev-vcs/git dev-utils git 工具
app-admin/ansible dev-utils 节点管理
app-containers/incus dev-utils 容器和虚拟机管理(Canonical 接管 LXD 后,原社区维护者分出来的 fork)
app-misc/tmux dev-utils 会话管理
dev-libs/libisoburn dev-utils virt-install 装 ISO 时需要
acct-group/libvirt dev-utils libvirtd 用的用户组
www-servers/nginx dev-utils Web 服务器
app-crypt/certbot dev-utils 申请 SSL 证书
www-apps/hugo dev-utils 静态站点生成器
sys-fs/zfs filesystem ZFS 工具
sys-kernel/gentoo-kernel-bin kernel 内核
sys-kernel/genkernel kernel 生成 initramfs

创建 set 目录:

mkdir -pv /etc/portage/sets

/etc/portage/sets/common-utils:

app-portage/gentoolkit
net-analyzer/mtr
sys-apps/lm-sensors
net-misc/networkmanager
app-admin/sysklogd
sys-process/cronie
sys-apps/mlocate
net-misc/chrony
app-portage/pfl
dev-util/pkgdev
app-eselect/eselect-repository
app-admin/sudo
net-dns/avahi
app-shells/bash-completion
app-misc/fastfetch
sys-process/htop
sys-apps/usbutils
sys-fs/e2fsprogs
sys-process/btop
sys-apps/edac-utils

/etc/portage/sets/dev-utils:

app-containers/docker
app-containers/docker-compose
app-editors/vim
www-client/pybugz
app-emulation/virt-manager
sys-apps/ripgrep
dev-vcs/git
app-admin/ansible
app-containers/incus
app-misc/tmux
dev-libs/libisoburn
acct-group/libvirt
www-servers/nginx
app-crypt/certbot
www-apps/hugo

/etc/portage/sets/filesystem:

sys-fs/zfs

/etc/portage/sets/kernel:

sys-kernel/gentoo-kernel-bin
sys-kernel/genkernel

/etc/portage/sets/bootloader:

sys-boot/grub

安装 common-utils:

emerge -av @common-utils

安装 dev-utils:

emerge --autounmask-write=y --autounmask -av @dev-utils

如果提示有配置文件要更新,用 etc-update 处理,选 -5 让它自动更新。

内核直接用二进制的 gentoo-kernel-bin。这个包的 initramfs USE 默认会调用 dracut 生成 initramfs,而这里要用 genkernel 自己生成,所以先关掉:

mkdir -p /etc/portage/package.use
echo 'sys-kernel/gentoo-kernel-bin -initramfs' > /etc/portage/package.use/gentoo-kernel-bin

安装内核:

emerge -av @kernel

zfs 的模块要针对已经装好的内核编译,所以放在内核之后装:

emerge -av @filesystem

生成 hostid:

zgenhostid

ZFS 靠 /etc/hostid 里的主机 ID 判断池是不是被别的机器导走过。这个文件丢了,池可能导不进来,记得备份。

systemd 还要做一些初始化:

ln -sf /proc/self/mounts /etc/mtab
systemctl daemon-reexec
# 按预设启用 zfs 相关服务,省得手动 enable
systemctl preset-all
systemd-machine-id-setup

交互式设置主机名、时区等基本信息:

systemd-firstboot --prompt --setup-machine-id

ZFS dataset 由 zfs-import-cache.service 导入、zfs-mount 挂载,不用写 fstab;但 /boot 和 /boot/efi 是 ext4 和 vfat,必须写进去,否则启动后不会自动挂载:

nano -w /etc/fstab

添加以下内容(请根据实际的 UUID 或分区路径调整):

# /boot - ext4 partition
/dev/nvme1n1p2    /boot        ext4    defaults,noatime    0 2
# /boot/efi - EFI System Partition
/dev/nvme1n1p1    /boot/efi    vfat    defaults            0 2

建议用 blkid 查一下 UUID,把 /dev/nvmeXnXpX 换成 UUID=xxx,磁盘顺序变了也不影响挂载。

genkernel 的 --ssh 默认读取 /etc/dropbear/authorized_keys,把公钥放进去:

mkdir -pv /etc/dropbear/
vi /etc/dropbear/authorized_keys

生成 initramfs。--zfs 带上 ZFS 工具和脚本,--ssh 把 dropbear 打进去:

genkernel --zfs --ssh initramfs

initramfs 里的 dropbear 只认这个公钥,密码登录是关的。它监听在公网端口上,最好在 Hetzner Firewall 里限制来源 IP,别让扫描器天天来敲门。这个阶段系统自己的防火墙还没起来,只能靠机房侧的网络防火墙。

给 root 设个密码。SSH 那边禁了密码登录,但单用户模式和紧急修复时还得靠它:

passwd root

创建常用的管理用户:

chris 是我的用户名,换成你自己的。

useradd -m -G users,wheel,portage,usb,video,tty chris

设置密码:

passwd chris

切换到该用户:

su - chris

创建 .ssh 目录并收紧权限:

mkdir -pv .ssh
chmod 700 .ssh

把公钥写进 .ssh/authorized_keys,然后设成 600:

vi .ssh/authorized_keys
chmod 600 .ssh/authorized_keys

退出该用户:

exit

这里 /boot 是独立的 ext4 分区,GRUB 读内核和 initramfs 用不到 ZFS;不过给 GRUB 打开 libzfs 不碍事,以后要是把 /boot 挪进池里也能用:

echo 'sys-boot/grub libzfs' > /etc/portage/package.use/grub

安装 GRUB:

emerge -av @bootloader

编辑 /etc/default/grub,改 GRUB_CMDLINE_LINUX:

下面的 IP 和网关是示例值,换成你服务器的公网地址。在 Rescue System 里用 ip addr 和 ip route 可以看到。

GRUB_CMDLINE_LINUX="dozfs root=ZFS=rock/os/gentoo ip=203.0.113.10/24 gk.net.gw=203.0.113.1 dosshd gk.sshd.port=2222 init=/lib/systemd/systemd net.ifnames=0"
  • dozfs:启动时扫描可导入的 zpool
  • dosshd:在 initramfs 里启动 dropbear
  • root=ZFS=rock/os/gentoo:指定根 dataset
  • ip=203.0.113.10/24:initramfs 阶段的 IP(换成真实地址)
  • gk.net.gw=203.0.113.1:initramfs 阶段的网关(换成真实网关)
  • gk.sshd.port=2222:dropbear 监听端口
  • init=/lib/systemd/systemd:切到真实系统后使用的 init
  • net.ifnames=0:网卡用 eth0、eth1 这种传统命名。单网卡没问题,多网卡时名字可能不稳定

安装 GRUB(UEFI):

grub-install --target=x86_64-efi --efi-directory=/boot/efi --bootloader-id=gentoo

amd64 profile 默认会把 efi-64 编进去。如果 grub-install 报找不到 x86_64-efi,在 make.conf 里加上 GRUB_PLATFORMS="efi-64",重新 emerge --newuse sys-boot/grub 再装。

老机器只能用 BIOS 的话,GPT 上还得有一个 1M 左右、类型为 ef02(BIOS boot)的分区,然后 grub-install /dev/nvme1n1。当前分区表里没有这个分区,直接照搬会失败。

生成 GRUB 配置:

grub-mkconfig -o /boot/grub/grub.cfg

关掉密码登录,只留密钥。编辑 /etc/ssh/sshd_config:

PasswordAuthentication no
PermitEmptyPasswords no
PermitRootLogin prohibit-password

prohibit-password 的意思是 root 不能用密码登录,但密钥可以。这样紧急情况下还能直接以 root 进去;想更严格就改成 no,平时用普通用户加 sudo。

还可以顺手加几项:

# 最多尝试 3 次认证
MaxAuthTries 3
# 未认证连接达到 10 个开始随机拒绝,60 个全拒
MaxStartups 10:30:60
# 60 秒内没认证完就断开
LoginGraceTime 60

开机自启:

systemctl enable sshd

这台机器 DHCP 就能拿到地址,不用额外配置:

systemctl enable NetworkManager
systemctl enable docker
usermod -aG docker chris

docker 组的权限基本等同 root,能挂载宿主机目录就能提权,只加可信用户。

根文件系统是 ZFS,Docker 用 ZFS 存储驱动更合适:

mkdir -p /etc/docker

/etc/docker/daemon.json:

{
  "storage-driver": "zfs"
}

ZFS 驱动下每个镜像层和容器层都是 dataset/snapshot,压缩、快照、校验都能直接用。overlay2 跑在 ZFS 上要多叠一层联合文件系统,性能不划算,很多 ZFS 特性也用不上。

用 visudo 编辑 /etc/sudoers,保存时会检查语法,改错了不至于把 sudo 锁死:

visudo

让 wheel 组可以提权:

%wheel ALL=(ALL:ALL) ALL

这样每次 sudo 都要输自己的密码。真需要免密,也只对具体命令开 NOPASSWD,不要整组放开。

退出 chroot:

exit

卸载挂载点,把池导出:

重启前先 zpool export,让 ZFS 把缓存刷盘、把池标记为已导出。不然新系统导入时可能得多加 -f,cache 文件也可能对不上。

umount -R /mnt/gentoo/boot/efi
umount -R /mnt/gentoo/boot
umount -R /mnt/gentoo
zpool export rock

重启:

reboot

重启后先一直 ping 公网 IP。能 ping 通,说明 initramfs 已经把网络拉起来了,这时 SSH 连 dropbear:

ssh root@203.0.113.10 -p2222

换成你的真实 IP。

连上后解锁池:

unlock-zfs

按提示输入创建池时设的密码。解锁完继续引导:

resume-boot

这条命令会断开 SSH,属于正常现象。等系统起来,再用普通用户登录:

ssh chris@203.0.113.10

进去后确认一下加密状态:

zpool status
zfs get -r encryption,keystatus rock

keystatus 应该是 available,zpool status 里池和 vdev 都应该是 ONLINE。

需要备份的有:

  • /etc/sudoers
  • /etc/default/grub
  • /etc/portage 整个目录
  • /etc/hostid(zgenhostid 生成的,ZFS 导入要用)
  • /etc/dropbear/authorized_keys(initramfs 远程解锁用的公钥)
  • /etc/ssh/(SSH 主机密钥,重装后指纹不变,少一次报警)
  • /etc/zfs/zpool.cache(池缓存)
  • /etc/fstab
  • /etc/docker/daemon.json
  • 各用户的 ~/.ssh/authorized_keys

备份方式随意。根 dataset 可以定期做 ZFS 快照,再用 zfs send 送到别的机器;/boot 是 ext4,不在快照里,得单独备份。

  • 配 UEFI Secure Boot 和自签名密钥,挡住对 /boot 的篡改
  • 用 fail2ban 或 nftables 限制 SSH 爆破;initramfs 阶段的 dropbear 只能靠 Hetzner Firewall 限制来源 IP
  • 把第二块 NVMe 做成 mirror,或者单独建一个数据池
  • 用 sanoid 之类的工具做自动快照,再用 zfs send 把快照送到别的机器