在 CentOS 上安装和配置 NFS 4.0

NFS 网络文件系统协议最早是于1984年由 SUN 公司开发的,NFSv4 是最新的修订版本,2003年4月发布(RFC 3530)。由于 NFS 是一个开放的协议和标准,所以各个系统上的实现不同,所表现出来就是稳定性和性能差异,VPSee 的经验是 NFS 在 Solaris 上最稳定、功能最丰富;在 FreeBSD 上的性能最好,但是缺少一些功能,比如 FreeBSD 8.0 内核才增加了 NFS 文件锁的支持;NFS 在 Linux 上表现最一般了,所以我们至今仍有部分服务器低调地运行着古老的 Solaris 2.5 和 NFSv3,相比 NFSv3 来说 NFSv4 做了一些重大改进,比如:性能的提升、安全性的增强和 ACL,更容易与防火墙集成等。下面地操作在 CentOS 5.5 上完成。

安装 NFS 服务器

安装 NFS 服务器所需的软件包:

# yum install nfs-utils nfs4-acl-tools portmap

配置 NFS 共享

和安装任何其他服务器软件一样,安装完 NFS 服务后就需要对 NFS 服务进行配置。输出服务器端的某个目录,以便 NFS 客户端能挂载和访问到这个目录:

# vi /etc/exports
/bak              172.16.20.11(rw,sync,fsid=0) 172.16.20.12(rw,sync,fsid=0)

172.16.20.11 和 172.16.20.12 上面的用户可以挂载 NFS 服务器(172.16.20.1)上的 /bak 目录到自己文件系统里;rw 在这里表示可读可写。

把 NFS 服务加入系统启动脚本并且手动启动 NFS 服务:

# chkconfig nfs on
# chkconfig portmap on

# /etc/init.d/portmap start
# /etc/init.d/nfs start

确认 NFSv4 服务器成功运行:

# rpcinfo -p
   program vers proto   port
    100000    2   tcp    111  portmapper
    100000    2   udp    111  portmapper
    100003    2   udp   2049  nfs
    100003    3   udp   2049  nfs
    100003    4   udp   2049  nfs
    ...
    100005    3   tcp    750  mountd

检查 NFS 服务器是否输出我们想共享的目录 /bak:

# exportfs
/bak          	172.16.20.11
/bak          	172.16.20.12

注意 NFS 使用 portmap,而且新版本的 portmap 使用 hosts.deny 和 hosts.allow 文件来控制访问源,修改这2个配置文件以便 NFS 客户端能正常连接到服务器:

# vi /etc/hosts.deny
portmap:ALL

# vi /etc/hosts.allow
portmap:172.16.38.0/255.255.254.0

使用 NFS 客户端

首先启动 portmap:

# /etc/init.d/portmap start

检查 NFS 服务器端是否有目录共享:

# showmount -e 172.16.20.1
Export list for 172.16.20.1:
/bak 172.16.20.11,172.16.20.12

使用 mount 挂载服务器端的目录 /bak 到客户端某个目录下:

# mkdir /home/vpsee/bak
# mount -t nfs4 172.16.20.1:/ /home/vpsee/bak/

# df -H
Filesystem             Size   Used  Avail Use% Mounted on
...
172.16.39.1:/        232G    23G   198G  11% /home/vpsee/bak

在 /etc/fstab 中挂载 nfs 文件系统:

# vi /etc/fstab
172.16.20.1:/    /bak  nfs4   soft,intr,rsize=8192,wsize=8192,nosuid

# chkconfig netfs on

在成功挂载服务器端的 /bak 后就可以在客户端里操作了,这时候写文件或者拷贝文件的时候会遇到一个权限问题报错 : Permission denied,这是因为上面我们在服务器端建立了 /bak 但是 /bak 的 owner 是 root:root,而客户端的正在访问 NFS 的用户是 vpsee,NFS 要求服务器端和客户端的 UID 和 GID 必须一致,所以要在 NFS 服务器端修改 /bak 的权限和所属:

# chown -R vpsee:vpsee /bak

注意使用 NFS 的时候,客户端的用户 UID 和 GID 必须和服务器端的 UID 和 GID 完全符合,否则会造成权限错误。在小规模用户的情况下,我们可以偷懒通过在客户和服务器两端同时建立相同的用户和组来解决这个问题,但是在大规模用户情况下最好的办法是利用 NIS 或者 OpenLDAP 来统一管理用户,做到一次登录,到处访问。

Troubleshooting

1、在上面的操作过程中,如果你不幸遇到下面这个问题的话,可以尝试更新 Linux kernel 或通过打开 IPv6 来解决这个问题,这是1个 bug

# mount -t nfs4 172.16.20.1:/ /home/vpsee/bak/
mount.nfs4: Cannot allocate memory

2、如果遇到如下问题,可能是因为你的 mount -t nfs 使用的是 nfsv3 协议,需要明确指出使用 nfsv4 协议挂载 mount -t nfs4:

# mount -t nfs 172.16.20.1:/ /home/vpsee/bak/
mount: mount to NFS server '172.16.20.1' failed: RPC Error: Program not registered.

# mount -t nfs4 172.16.20.1:/ /home/vpsee/bak/

评论 (6 Comments)

  1. NFS 在 Solaris 上最稳定、功能最丰富;在 FreeBSD 上的性能最好,但是缺少一些功能,比如 FreeBSD 8.0 内核才增加了 NFS 文件锁的支持;NFS 在 Linux 上表现最一般了

    vpsee,你这个是什么时候的测试结果,我近期测得结果NFS下Linux里写入速度最快,千兆网络中SAS硬盘RAID1能达到90M/s,基本达到网卡极限,而Solaris只能跑到50M/s左右,FreeBSD最低只有38M/s左右,另外BSD在本地硬盘的读写也较慢。 不知道是不是UFS文件系统效率问题。

  2. 请问你是模拟单用户拷贝或者 dd 一个大文件到 NFS 分区上来测试速度的吗?如果你这样测试的话那么这个结果就是 Linux > Solaris > FreeBSD 的,但是如果你模拟多用户高并发多种方式读写测试的话,结果就会反过来。NFS 的性能测试很复杂,不管 NFS 服务端性能怎样,测试结果还和不同的 NFS 客户端有很大关系,下面4种搭配性能都有差异:
    linux nfs client + linux nfs server
    linux nfs client + freebsd nfs server
    freebsd nfs client + linux nfs server
    freebsd nfs client + freebsd nfs server

    测试很复杂,测试环境(硬件、软件、网络、操作系统内核、内核参数)、用到哪些测试工具、模拟多少用户、多少并发、测试的是随机写还是顺序写、读还是写、用的是哪个版本的 NFS、每次测试用的是哪个 NFS 客户端和服务器搭配、NFS 用的参数都一样吗、用的是什么文件系统、测试工具是不是都是一个版本、每台测试机器配置都一样吗、也许刚好 FreeBSD 对某个网卡的驱动不是很好,……

  3. vpsee,你是以什么方式测试的,在不使用NFS单机测试读写BSD下的读写速度也没有Linux快

  4. 对啊,单机情况下 FreeBSD 读写速度本来就没有 Linux 快,大家都知道啊,可是这里讨论的不是单机啊。FreeBSD 的优势地方在于好的 VM 和网络,如果你测试100个人通过网络访问 NFS 的话,FreeBSD 速度要稳定而且要好一些。

  5. vpsee
    你好!
    我想问下,你的这个测试,使用什么软件测试的??

  6. SPECsfs97(Education 版本)

发表评论