我们使用 Xen 虚拟机的时候一般都是用桥接（bridging）的方式把虚拟机（domU）直接暴露在网络上，就像网络上单独的一台服务器一样，这种方式简单好用，不用在 dom0 做任何的端口转发也不用任何 iptable 规则。不过除了 bridging 以外，Xen 还支持 routing 和 NAT 的方式配置虚拟机网络。比如我们想在一台物理服务器上安装5个虚拟机，这5个虚拟机能彼此访问也可以访问外网，但是外网不能直接访问这5个虚拟机，或者我们只有一个公网 IP 地址，但是需要5个虚拟机都能上网，这时候就可以用到 Xen 的 NAT 模式。

首先确认系统的网络配置干净，上面没有复杂的网络设置，也没有以前配置留下来的网络桥接，因为 Xen 自带的脚本 network-nat 不是那么聪明，无法在复杂一点的网络设置里面正确配置。

修改 Xen 的配置文件，确认下面几项配置后重启 xend，必要的话重启系统：

# vi /etc/xen/xend-config.sxp
...
#(network-script network-bridge)
(network-script network-nat)
...
#(vif-script vif-bridge)
#(vif-script     vif-route)
(vif-script     vif-nat)
...

# /etc/init.d/xend restart
Stopping xend daemon:                                      [  OK  ]
Starting xend daemon:                                      [  OK  ]

修改虚拟机 domU 的配置文件，加上或者修改 vif 这行配上对应的内部网 IP 地址，这个内部网 IP 是自己随意设定的：

# vi /etc/xen/domu01
...
vif = [ "ip=10.0.0.1" ]
...

启动虚拟机后修改网络配置，如果虚拟机是 Ubuntu 的话，网络配置在 /etc/network/interfaces，修改后重启：

# vi /etc/network/interfaces
auto lo
iface lo inet loopback

auto eth0
iface eth0 inet static
address 10.0.0.1
gateway 10.0.0.254
netmask 255.255.255.0

# reboot

本来还需要在 dom0 设定内核转发的（echo 1 > /proc/sys/net/ipv4/ip_forward），还记得上面修改 xend-config.sxp 时碰到的脚本 network-nat 吗？是的，那个脚本已经帮我们设置好 NAT 转发了，我们不用再添足了，也不用自己设置 iptable 规则了～

# vi /etc/xen/scripts/network-nat
...
op_start() {
        echo 1 >/proc/sys/net/ipv4/ip_forward
        iptables -t nat -A POSTROUTING -o ${netdev} -j MASQUERADE
        [ "$dhcp" != 'no' ] && dhcp_start
}
...

有时候我们客户会发现服务器或 VPS 网络慢，进一步发现大量带宽被占用，一些客户到这里为止就不知道怎么办了。有什么简单办法能找出哪个程序（或者进程）占用了带宽呢？Linux 监控流量的小工具不少，如 iftop, iptraf, ifstat, darkstat, bwm-ng, vnstat 等，大都是统计和监控网卡流量的。今天介绍的 NetHogs 有点特别，可以监控每个进程的网络带宽占用情况。

在 Ubuntu/Debian 上安装 nethogs：

$ sudo apt-get install nethogs

在 CentOS/RHEL 上安装 nethogs：

# yum install nethogs

运行 nethogs：

# nethogs

# nethogs eth0

制作完 OpenNebula 的 Ubuntu 虚拟机镜像后需要对镜像配置一下以适应所在的网络运行环境，因为我们的 OpenNebula 虚拟机使用的是网桥的方式，所以虚拟机启动后会使用现有网络，并企图从 DHCP 服务器那里获得 IP 地址，如果 DHCP 服务器不做绑定的话这样随便获得的 IP 地址并不符合我们在 small_network.net (onevnet create small_network.net) 定义的要求，我们希望虚拟机启动后能从 small_network.net 这个网络配置文件中获得相应的 IP 地址。OpenNebula 里面的 Contextualizing 部分就是用来对付这种情况的，不过 VPSee 在这里介绍一个更简单的偷懒办法：直接用一个启动脚本来搞定。OpenNebula 已经为我们准备了类似的脚本，只需要根据自己的要求调整一下就可以了，这里介绍 for ubuntu 和 for centos 两个版本的脚本，还有 for debian 和 opensuse 的。

Ubuntu 虚拟机

下载 for ubuntu 的 context 文件后放在合适的地方，这个脚本有点问题需要在下载的 vmcontext.sh 文件最后加上重启网络（/etc/init.d/networking restart）这行：

$ wget http://dev.opennebula.org/attachments/download/378/vmcontext.sh 

$ sudo -i

# mv vmcontext.sh /etc/init.d/vmcontext
# chmod +x /etc/init.d/vmcontext
# ln -sf /etc/init.d/vmcontext /etc/rc2.d/S01vmcontext

# echo "/etc/init.d/networking restart" >> /etc/init.d/vmcontext

CentOS 虚拟机

下载 for centos 的 context 文件后放在合适的地方：

# wget http://dev.opennebula.org/projects/opennebula/repository/revisions/master/raw/share/scripts/centos-5/net-vmcontext/vmcontext

# mv vmcontext.sh /etc/init.d/vmcontext
# chmod +x /etc/init.d/vmcontext
# chkconfig --add vmcontext

# reboot

还记得上次说的给 OpenNebula 虚拟机增加 swap 分区的问题吗，直接把激活 swap 的部分放在 vmcontext 里就不必每次创建虚拟机后再增加 swap 的繁琐工作了。

# echo "swapon /dev/sdb" >> /etc/init.d/vmcontext

这篇在 Ubuntu 上安装和配置 OpenStack Nova 的评论比较多，至少有6位网友遇到 ping 不通的问题，说实话 ping 不通的原因有很多（最常见的是 euca-authorize 授权问题），如果没有提供有用信息只是留下一句“ping 不通”很难判断问题所在，建议大家以后留言的时候尽量把自己的情况说清楚，尽量多的提供一些信息。OpenStack Nova 的网络设置很复杂，controller 上可以有多个网卡，compute 上也可以有多网卡，controller 和 compute 的网络设置还可以不同，并且每个设置还可以分为 FlatManager, FlatDHCPManager, VlanManager，每个 project 允许不同的网络设置，并且每个 user 可以创建多个 project 和 network，晕了吧-～

这里只介绍最简单的一种情况，只有一个网卡、一个 user 创建一个 project 和 network、直接使用现有的局域网 IP 地址不干扰现有网络。就是说把安装好的 OpenStack Nova Controller/Compute 并入到现有的局域网里，在 Nova 上创建的 instance 通过 bridge 使用现有局域网的 IP（而不是另建一个私有网络）。比如 VPSee 实验室现在已经有了 172.16.38.0/23 这个网络，如何利用这个网络和配置 OpenStack Nova 呢？

先检查一下 Nova 的配置文件：

$ sudo vi /etc/nova/nova.conf
--logdir=/var/log/nova
--state_path=/var/lib/nova
--lock_path=/var/lock/nova
--verbose
--s3_host=172.16.39.111
--rabbit_host=172.16.39.111
--cc_host=172.16.39.111
--ec2_url=http://172.16.39.111:8773/services/Cloud
--FAKE_subdomain=ec2
--sql_connection=mysql://root:vpsee@172.16.39.111/nova
--glance_host=172.16.39.111
--image_service=nova.image.glance.GlanceImageService
--my_ip=172.16.39.111
--network_manager=nova.network.manager.FlatManager
--fixed_range=172.16.38.0/23
--num_networks=1
--flat_injected=true

看看 bridge 网卡配置是否正确：

$ sudo vi /etc/network/interfaces
auto lo
iface lo inet loopback

auto br100
iface br100 inet static
address 172.16.39.111
netmask 255.255.254.0
gateway 172.16.38.1
bridge_ports eth0
bridge_stp off
bridge_maxwait 0
bridge_fd 0

如果修改了上面的配置需要重启 Nova 的各个模块和 Ubuntu 的网络，怕麻烦的话还是直接重启系统吧：

$ sudo reboot

如果 nova-manage network list 发现有以前留下的网络需要 delete 掉，删除所有以前残留的网络然后重新创建一个 172.16.38.0/23 新网络：

$ sudo nova-manage network delete 192.168.3.0/24 1 255

$ sudo nova-manage network create 172.16.38.0/23 1 512

$ sudo nova-manage network list
network           	netmask        	start address  	DNS            
172.16.38.0/23    	255.255.254.0  	172.16.38.2    	8.8.4.4

因为有些 IP 地址是我们局域网正在用的，新建的 VM 不能占用这些 IP，所以需要划分一些 IP 留给 OpenStack Nova 用，需要进入数据库后修改 fixed_ips 这个表的 reserved 为 0，比如我们想把 172.16.39.222-226 这5个 IP 留给 OpenStack Nova instances：

$ mysql -u root -p
Enter password: 
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 135
Server version: 5.1.54-1ubuntu4 (Ubuntu)

Copyright (c) 2000, 2010, Oracle and/or its affiliates. All rights reserved.
This software comes with ABSOLUTELY NO WARRANTY. This is free software,
and you are welcome to modify and redistribute it under the GPL v2 license

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> use nova;
Database changed

mysql> update fixed_ips set reserved = '1';
Query OK, 6 rows affected (0.00 sec)
Rows matched: 1448  Changed: 6  Warnings: 0

mysql> update fixed_ips set reserved = '0' where address='172.16.39.222';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.223';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.224';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.225';
mysql> update fixed_ips set reserved = '0' where address='172.16.39.226';

重启 OpenStack Nova 的各个模块，然后新建一个 ubuntu instance 测试一下是否得到了正确的 IP 并能 ping 通网关（172.16.38.1）。

我们在工作中用到了大量的虚拟机，至少一半的物理服务器都被虚拟化了。VPSee 正在考虑用一个虚拟机来替代一台物理机器来监测网络上的主机情况。前不久我们小组拉了一根自己的 ADSL，建了一个自己的网，这样加上工作网络就有2个不同的网，我们希望能在一个虚拟机上用 Cacti 等工具同时监测2个网络上的多台关键服务器、路由器和交换机的实时情况。这就需要在我们的虚拟机上连接到另一个网络，Xen 默认安装后在 dom0 和 domU 上只有一个虚拟网络接口，现在我们需要在 Xen 虚拟机（domU）上添加另一个虚拟网络接口，并和物理服务器上新添加的网卡和网络配置对应起来。

配置

打开 Xen 的配置文件，注释掉 (network-script network-bridge) 一行，然后加上下面一行：

# vi /etc/xen/xend-config.sxp

#(network-script network-bridge)
(network-script network-multi-bridge)

然后创建一个 network-multi-bridge 脚本，用来2次执行 network-bridge 脚本：

# vi /etc/xen/scripts/network-multi-bridge

#!/bin/sh
dir=$(dirname "$0")
"$dir/network-bridge" "$@" vifnum=0 bridge=xenbr0 netdev=eth0  
"$dir/network-bridge" "$@" vifnum=1 bridge=xenbr1 netdev=eth1

重启 Xen 服务使配置生效：

# /etc/init.d/xend restart

打开 Xen 虚拟机的配置文件，加入一个虚拟网卡：

# vi /etc/xen/vpsee

vif = [ "mac=00:16:3E:58:FF:AB,bridge=xenbr0",
        "mac=00:16:3E:58:FF:AD,bridge=xenbr1" ]

重启虚拟机后，查看网络适配器的配置就会发现多了一个 eth1：

# /sbin/ifconfig -a
eth0      Link encap:Ethernet  HWaddr 00:16:3E:58:FF:AB  
          inet addr:172.16.38.200  Bcast:172.16.39.255  Mask:255.255.254.0
          inet6 addr: fe80::216:3eff:fe58:ffab/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:801 errors:0 dropped:0 overruns:0 frame:0
          TX packets:209 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:93950 (91.7 KiB)  TX bytes:42427 (41.4 KiB)

eth1      Link encap:Ethernet  HWaddr 00:16:3E:58:FF:AD  
          BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

给 eth1 配置 IP 地址、掩码、网关等：

# vi /etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
TYPE=Ethernet
IPADDR=192.168.10.200
GATEWAY=
NETMASK=255.255.255.0

配置好虚拟机的网卡后启动网卡：

# /etc/sysconfig/network-scripts/ifup eth1

这样就给运行在一台物理机器上的 Xen 虚拟机增加了一个新网卡，并连接到了物理服务器所在的新网络，虚拟机上的2个网卡和物理服务器上的2个网卡一一对应。

配置路由表

如果想在服务器上同时访问2个网络和其子网络的话，需要修改默认网关和配置路由表：

# vi /etc/sysconfig/network-scripts/ifcfg-eth0
IPADDR=172.16.39.200
GATEWAY=172.16.38.1
NETMASK=255.255.254.0

# vi /etc/sysconfig/network-scripts/ifcfg-eth2
IPADDR=192.168.10.200
GATEWAY=
NETMASK=255.255.255.0

# vi /etc/sysconfig/network-scripts/route-eth0
192.102.5.0/24 via 172.16.38.1 dev eth0

# vi /etc/sysconfig/network-scripts/route_eth1
192.168.0.0/23 via 192.168.10.2 dev eth1

关于 Ceph 的介绍网上一大堆，这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统，最初是奔着高性能分布式文件系统去的，结果云计算风口一来，Ceph 重心转向了分布式块存储（Block Storage）和分布式对象存储（Object Storage），现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案，据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.

Ceph 提供3种存储方式：对象存储，块存储和文件系统，下图很好的展示了 Ceph 存储集群的架构：

我们主要关心的是块存储，将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本，Ceph 现在已经比较成熟了，有个同事已经在生产环境里运行 Ceph 了两年多，他曾遇到很多问题，但最终还是解决了，可见 Ceph 还是非常稳定和可靠的。

硬件环境准备

准备了6台机器，其中3台物理服务器做监控节点（mon: ceph-mon1, ceph-mon2, ceph-mon3），2台物理服务器做存储节点（osd: ceph-osd1, ceph-osd2），1台虚拟机做管理节点（adm: ceph-adm）。

Ceph 要求必须是奇数个监控节点，而且最少3个（自己玩玩的话，1个也是可以的），ceph-adm 是可选的，可以把 ceph-adm 放在 monitor 上，只不过把 ceph-adm 单独拿出来架构上看更清晰一些。当然也可以把 mon 放在 osd 上，生产环境下是不推荐这样做的。

• ADM 服务器硬件配置比较随意，用1台低配置的虚拟机就可以了，只是用来操作和管理 Ceph；
• MON 服务器2块硬盘做成 RAID1，用来安装操作系统；
• OSD 服务器上用10块 4TB 硬盘做 Ceph 存储，每个 osd 对应1块硬盘，每个 osd 需要1个 Journal，所以10块硬盘需要10个 Journal，我们用2块大容量 SSD 硬盘做 journal，每个 SSD 等分成5个区，这样每个区分别对应一个 osd 硬盘的 journal，剩下的2块小容量 SSD 装操作系统，采用 RAID1.

配置列表如下：

| Hostname  | IP Address    | Role  |                                           Hardware Info |
|-----------+---------------+-------|---------------------------------------------------------|
| ceph-adm  | 192.168.2.100 | adm   |                             2 Cores, 4GB RAM, 20GB DISK |
| ceph-mon1 | 192.168.2.101 | mon   |                         24 Cores，64GB RAM, 2x750GB SAS |
| ceph-mon2 | 192.168.2.102 | mon   |                         24 Cores，64GB RAM, 2x750GB SAS |
| ceph-mon3 | 192.168.2.103 | mon   |                         24 Cores，64GB RAM, 2x750GB SAS |
| ceph-osd1 | 192.168.2.121 | osd   | 12 Cores，64GB RAM, 10x4TB SAS，2x400GB SSD，2x80GB SSD |
| ceph-osd2 | 192.168.2.122 | osd   | 12 Cores，64GB RAM, 10x4TB SAS，2x400GB SSD，2x80GB SSD |

软件环境准备

所有 Ceph 集群节点采用 CentOS 7.1 版本（CentOS-7-x86_64-Minimal-1503-01.iso），所有文件系统采用 Ceph 官方推荐的 xfs，所有节点的操作系统都装在 RAID1 上，其他的硬盘单独用，不做任何 RAID.

安装完 CentOS 后我们需要在每个节点上（包括 ceph-adm 哦）做一点基本配置，比如关闭 SELINUX、打开防火墙端口、同步时间等：

关闭 SELINUX
# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
# setenforce 0

打开 Ceph 需要的端口
# firewall-cmd --zone=public --add-port=6789/tcp --permanent
# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent
# firewall-cmd --reload

安装 EPEL 软件源：
# rpm -Uvh https://dl.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-5.noarch.rpm
# yum -y update
# yum -y upgrade

安装 ntp 同步时间
# yum -y install ntp ntpdate ntp-doc

# ntpdate 0.us.pool.ntp.org
# hwclock --systohc
# systemctl enable ntpd.service
# systemctl start ntpd.service

在每台 osd 服务器上我们需要对10块 SAS 硬盘分区、创建 xfs 文件系统；对2块用做 journal 的 SSD 硬盘分5个区，每个区对应一块硬盘，不需要创建文件系统，留给 Ceph 自己处理。

# parted /dev/sda
GNU Parted 3.1
Using /dev/sda
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt
(parted) mkpart primary xfs 0% 100%
(parted) quit

# mkfs.xfs /dev/sda1
meta-data=/dev/sda1              isize=256    agcount=4, agsize=244188544 blks
         =                       sectsz=4096  attr=2, projid32bit=1
         =                       crc=0        finobt=0
data     =                       bsize=4096   blocks=976754176, imaxpct=5
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=0
log      =internal log           bsize=4096   blocks=476930, version=2
         =                       sectsz=4096  sunit=1 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
...

上面的命令行要对10个硬盘处理，重复的操作太多，以后还会陆续增加服务器，写成脚本 parted.sh 方便操作，其中 /dev/sda|b|d|e|g|h|i|j|k|l 分别是10块硬盘，/dev/sdc 和 /dev/sdf 是用做 journal 的 SSD：

# vi parted.sh
#!/bin/bash

set -e
if [ ! -x "/sbin/parted" ]; then
    echo "This script requires /sbin/parted to run!" >&2
    exit 1
fi

DISKS="a b d e g h i j k l"
for i in ${DISKS}; do
    echo "Creating partitions on /dev/sd${i} ..."
    parted -a optimal --script /dev/sd${i} -- mktable gpt
    parted -a optimal --script /dev/sd${i} -- mkpart primary xfs 0% 100%
    sleep 1
    #echo "Formatting /dev/sd${i}1 ..."
    mkfs.xfs -f /dev/sd${i}1 &
done

SSDS="c f"
for i in ${SSDS}; do
    parted -s /dev/sd${i} mklabel gpt
    parted -s /dev/sd${i} mkpart primary 0% 20%
    parted -s /dev/sd${i} mkpart primary 21% 40%
    parted -s /dev/sd${i} mkpart primary 41% 60%
    parted -s /dev/sd${i} mkpart primary 61% 80%
    parted -s /dev/sd${i} mkpart primary 81% 100%
done

# sh parted.sh

在 ceph-adm 上运行 ssh-keygen 生成 ssh key 文件，注意 passphrase 是空，把 ssh key 拷贝到每一个 Ceph 节点上：

# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:

# ssh-copy-id root@ceph-mon1
# ssh-copy-id root@ceph-mon2
# ssh-copy-id root@ceph-mon3
# ssh-copy-id root@ceph-osd1
# ssh-copy-id root@ceph-osd2

在 ceph-adm 上登陆到每台节点上确认是否都能无密码 ssh 了，确保那个烦人的连接确认不会再出现：

# ssh root@ceph-mon1
The authenticity of host 'ceph-mon1 (192.168.2.101)' can't be established.
ECDSA key fingerprint is d7:db:d6:70:ef:2e:56:7c:0d:9c:62:75:b2:47:34:df.
Are you sure you want to continue connecting (yes/no)? yes

# ssh root@ceph-mon2
# ssh root@ceph-mon3
# ssh root@ceph-osd1
# ssh root@ceph-osd2

Ceph 部署

比起在每个 Ceph 节点上手动安装 Ceph，用 ceph-deploy 工具统一安装要方便得多：

# rpm -Uvh http://ceph.com/rpm-hammer/el7/noarch/ceph-release-1-1.el7.noarch.rpm
# yum update -y
# yum install ceph-deploy -y

创建一个 ceph 工作目录，以后的操作都在这个目录下面进行：

# mkdir ~/ceph-cluster
# cd ~/ceph-cluster

初始化集群，告诉 ceph-deploy 哪些节点是监控节点，命令成功执行后会在 ceph-cluster 目录下生成 ceph.conf, ceph.log, ceph.mon.keyring 等相关文件：

# ceph-deploy new ceph-mon1 ceph-mon2 ceph-mon3

在每个 Ceph 节点上都安装 Ceph：

# ceph-deploy install ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

初始化监控节点：

# ceph-deploy mon create-initial

查看一下 Ceph 存储节点的硬盘情况：

# ceph-deploy disk list ceph-osd1
# ceph-deploy disk list ceph-osd2

初始化 Ceph 硬盘，然后创建 osd 存储节点，存储节点:单个硬盘:对应的 journal 分区，一一对应：

创建 ceph-osd1 存储节点
# ceph-deploy disk zap ceph-osd1:sda ceph-osd1:sdb ceph-osd1:sdd ceph-osd1:sde ceph-osd1:sdg ceph-osd1:sdh ceph-osd1:sdi ceph-osd1:sdj ceph-osd1:sdk ceph-osd1:sdl

# ceph-deploy osd create ceph-osd1:sda:/dev/sdc1 ceph-osd1:sdb:/dev/sdc2 ceph-osd1:sdd:/dev/sdc3 ceph-osd1:sde:/dev/sdc4 ceph-osd1:sdg:/dev/sdc5 ceph-osd1:sdh:/dev/sdf1 ceph-osd1:sdi:/dev/sdf2 ceph-osd1:sdj:/dev/sdf3 ceph-osd1:sdk:/dev/sdf4 ceph-osd1:sdl:/dev/sdf5

创建 ceph-osd2 存储节点
# ceph-deploy disk zap ceph-osd2:sda ceph-osd2:sdb ceph-osd2:sdd ceph-osd2:sde ceph-osd2:sdg ceph-osd2:sdh ceph-osd2:sdi ceph-osd2:sdj ceph-osd2:sdk ceph-osd2:sdl

# ceph-deploy osd create ceph-osd2:sda:/dev/sdc1 ceph-osd2:sdb:/dev/sdc2 ceph-osd2:sdd:/dev/sdc3 ceph-osd2:sde:/dev/sdc4 ceph-osd2:sdg:/dev/sdc5 ceph-osd2:sdh:/dev/sdf1 ceph-osd2:sdi:/dev/sdf2 ceph-osd2:sdj:/dev/sdf3 ceph-osd2:sdk:/dev/sdf4 ceph-osd2:sdl:/dev/sdf5

最后，我们把生成的配置文件从 ceph-adm 同步部署到其他几个节点，使得每个节点的 ceph 配置一致：

# ceph-deploy --overwrite-conf admin ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

测试

看一下配置成功了没？

# ceph health
HEALTH_WARN too few PGs per OSD (10 < min 30)

增加 PG 数目，根据 Total PGs = (#OSDs * 100) / pool size 公式来决定 pg_num（pgp_num 应该设成和 pg_num 一样），所以 20*100/2=1000，Ceph 官方推荐取最接近2的指数倍，所以选择 1024。如果顺利的话，就应该可以看到 HEALTH_OK 了：

# ceph osd pool set rbd size 2
set pool 0 size to 2

# ceph osd pool set rbd min_size 2
set pool 0 min_size to 2

# ceph osd pool set rbd pg_num 1024
set pool 0 pg_num to 1024

# ceph osd pool set rbd pgp_num 1024
set pool 0 pgp_num to 1024

# ceph health
HEALTH_OK

更详细一点：

# ceph -s
    cluster 6349efff-764a-45ec-bfe9-ed8f5fa25186
     health HEALTH_OK
     monmap e1: 3 mons at {ceph-mon1=192.168.2.101:6789/0,ceph-mon2=192.168.2.102:6789/0,ceph-mon3=192.168.2.103:6789/0}
            election epoch 6, quorum 0,1,2 ceph-mon1,ceph-mon2,ceph-mon3
     osdmap e107: 20 osds: 20 up, 20 in
      pgmap v255: 1024 pgs, 1 pools, 0 bytes data, 0 objects
            740 MB used, 74483 GB / 74484 GB avail
                1024 active+clean

如果操作没有问题的话记得把上面操作写到 ceph.conf 文件里，并同步部署的各节点：

# vi ceph.conf
[global]
fsid = 6349efff-764a-45ec-bfe9-ed8f5fa25186
mon_initial_members = ceph-mon1, ceph-mon2, ceph-mon3
mon_host = 192.168.2.101,192.168.2.102,192.168.2.103
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
filestore_xattr_use_omap = true
osd pool default size = 2
osd pool default min size = 2
osd pool default pg num = 1024
osd pool default pgp num = 1024

# ceph-deploy admin ceph-adm ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2

如果一切可以从来

部署过程中如果出现任何奇怪的问题无法解决，可以简单的删除一切从头再来：

# ceph-deploy purge ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
# ceph-deploy purgedata ceph-mon1 ceph-mon2 ceph-mon3 ceph-osd1 ceph-osd2
# ceph-deploy forgetkeys

Troubleshooting

如果出现任何网络问题，首先确认节点可以互相无密码 ssh，各个节点的防火墙已关闭或加入规则：

# ceph health
2015-07-31 14:31:10.545138 7fce64377700  0 -- :/1024052 >> 192.168.2.101:6789/0 pipe(0x7fce60027050 sd=3 :0 s=1 pgs=0 cs=0 l=1 c=0x7fce60023e00).fault
HEALTH_OK

# ssh ceph-mon1
# firewall-cmd --zone=public --add-port=6789/tcp --permanent
# firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent
# firewall-cmd --reload

# ceph health
HEALTH_OK

初次安装 Ceph 会遇到各种各样的问题，总体来说排错还算顺利，随着经验的积累，今年下半年将会逐步把 Ceph 加入到生产环境。

使用 Django 或 Flask 这种框架开发 web app 的时候一般都会用内建服务器开发和调试程序，等程序完成后再移交到生产环境部署。问题是这些内建服务器通常都不支持 HTTPS，我们想在开发的时候就能够使用和测试 HTTPS，不想还没测试就部署到生产环境，所以我们需要内建服务器能支持 HTTPS.

这个问题可以通过一个外部程序 stunnel 来解决，stunnel 的作用是通过 OpenSSL 库对 TCP 会话进行加密，建立起一个安全通道，保护没有加密功能或未加密的程序。其主要功能有两个：

• 接收未加密的数据流，进行 SSL 加密，然后把加密后的数据流通过网络发送出去；
• 对已加密的数据流进行解密，并将解密后的数据流其通过网络发送给另一个程序。

了解了 stunnel 的功能后我们很容易就能想到利用 stunnel 建立一个 SSL 加密通道绑定到 Django/Flask 内建服务器上，stunnel 启动 443 端口接受用户的 HTTPS 请求，解密后发送给内建服务器的 8000 端口处理，内建服务器处理完后发送数据给 stunnel 然后加密后返回给浏览器用户。

好吧，上面说了一堆貌似很复杂，其实使用 stunnel 很简单。

在 Django/Flask 开发服务器所在的机器上安装 stunnel:

# yum install stunnel（在 CentOS 上）

或者

$ sudo apt-get install stunnel4（在 Ubuntu 上）

如果没有购买 SSL 证书的话自己生成一个，对了，这个文件的权限必须是 600 哦：

# openssl req -new -x509 -days 365 -nodes -out vpsee.pem -keyout vpsee.pem

# chmod 600 vpsee.pem

新建一个配置文件叫做 https，然后用 stunnel 执行这个配置文件，启动 443 端口连接到 Django/Flask 内建服务器的 8000 端口：

# vi https
pid =
cert = vpsee.pem
debug = 7
foreground = yes

[https]
accept = 443
connect = 8000

# stunnel https

启动 Django 内建服务器绑定到上面配置文件提到的 8000 端口：

# HTTPS=1 python manage.py runserver 0.0.0.0:8000

启动 Flask 内建服务器不需要特别的，改变端口到 8000，按照正常的方式启动就可以了：

# vi run.py
#!flask/bin/python
from app import app
app.run(host='0.0.0.0', port=8000, debug = True)

# ./run.py
 * Running on http://0.0.0.0:8000/
 * Restarting with reloader

几天前答应过一位新 VPS 客户，推荐一点 Linux 书，今天静下来写文才发现推荐书其实不是这么容易，至少应该知道一点读书人的背景，是入门、进阶还是高级，阅读习惯啊、方式啊；有人喜欢看例子书，边看边操作学得快；有的人喜欢先读原理，后操作。

现在每年增加的信息量比过去几百年还要多，不过好书还是那么少，经过历史考验的经典书就更少了，每个领域的经典书就那么几本，作为初学者应该首先看完该领域的经典书，然后再看其他的流行好书。

选择经典书是因为，我们实在没有时间花在烂书上，好书能更快更好的帮助我们理解内容，好书是一种享受，你不会觉得读书是一种辛苦。选择英文书是因为，这些经典书的英文都写得朴实、简单，不超过大学四级的阅读水平，长时间侵淫英文书可以为自己以后学习和工作打好基础。在工作中，最新最好最权威的资料都是英文的，翻译过来的二手资料不放心，做技术这行迟早要用英语混日子～

下面是 vpsee 看过的一些好书，有些书至今还放在桌头翻阅，这些经典不管怎么过分推荐和转载都不过分。

Linux 入门

Running Linux 和 Linux in a Nutshell 都是很棒的 Linux 入门书，如果你是计算机专业出身，只需要这两本书就可以了，这两本书都包括一些初级系统管理内容，Linux in a Nutshell 稍微难一点，建议阅读顺序是先 Running Linux 后 Linux in a Nutshell.

系统管理和网络

UNIX System Administration Handbook 可能是系统管理方面最权威的的一本大部头百科全书式著作，第一版本是1989年发行的，以后一直是 Unix 系统管理的方面的经典，其作者在2002年发布了对应的 Linux Administration Handbook 第一版，然后又成了 Linux 系统管理的必读，终于在2010年的时候作者把这两本书合为一本 UNIX and Linux System Administration Handbook.

Essential System Administration 是另一个 Unix/Linux 系统管理的经典书，可以替代 UNIX and Linux System Administration Handbook，不过建议两本都看看。

TCP/IP Illustrated, Volume 1: The Protocols 是理解 TCP/IP 协议的必读经典，书的内容不涉及具体的网络管理命令，也不讨论如何架设各种服务器，主要讨论 TCP/IP 各层协议是如何工作的，不管你是 System Administrator, Network Administrator, DevOps 还是 System Programmer 这本书都必读，就算今天用 Django, Ruby on Rails 之类的框架编程也应该了解一下底层 HTTP 协议是如何工作的，网络包是如何一层一层的封装、解封的。TCP/IP Illustrated 三部曲的另外两本也很经典，不过太窄太具体，除非你是 TCP/IP 协议设计者或网络栈码农，看 TCP/IP Illustrated, Volume 2: The Implementation 的用处不是很大。

系统编程

The UNIX Programming Environment 是两位 UNIX 大师 Brian W. Kernighan 和 Rob Pike 的合著，UNIX/Linux 编程入门的最好读物，字里行间里浸透了 UNIX 的哲学和设计思想。

The C Programming Language 可能有人会问为啥学 Unix/Linux 要懂 C 语言，C 是 Unix/Linux 的核心，想继续深入理解 Unix/Linux 必须懂点 C 语言，不然下面一些书没法继续读，C 语言还是一种优美、高效的语言，每个程序员都应该会（个人观点）。

Advanced Programming in the Unix Environment 是 Unix/Linux 编程的经典必读书，Unix 大师级作者 Richard Stevens 的巨著，事实上 Richard Stevens 的每本书都是巨著。

Unix Network Programming 是 Richard Stevens 另一巨著，这本经典 Unix 网络编程书可看作上面那本的补充。

编程还应该包括 shell 编程，这里没有单独拿出来推荐是因为因为上面推荐的入门和系统管理书里面都或多或少包括了一些 shell 编程基础知识。

操作系统原理和内核

Operating Systems: Design and Implementation 是操作系统原理的经典书，讲系统原理的还有另一本经典恐龙书 Operating System Concepts，我个人更喜欢前一本一些，理论加实践，书的作者在大学教书的时候没能找到满意的操作系统来教学自己写了一个 Minix，Linus Torvalds 发现 Minix 太简单不实用自己写了一个 Linux，貌似牛人都有共同的特点，不满意就自己造一个～，修改 Minix 内核是很有趣的事情，换工作后一直没机会再玩 Minix.

Linux Device Drivers 是内核编程的入门读物，难得这本经典书还是免费的。

Understanding the Linux Kernel 是 Linux 内核方面的经典，看这本书之前最好看过一些上面讲操作系统原理的书，不要指望看一遍就把这本书都搞懂，理解内核难点的地方在于内核之间的子系统是独立又是交叉的，又缺少实际可运行可修改的例子，不像 web 编程，改几行代码就可以立刻看到效果，所以内核学习是个痛苦的过程，这本书有助于建立一幅完整的 Linux 内核图景。

SmokePing 是一款开源网络延迟监控工具，其作者 Tobi Oetiker 还开发了一些我们熟悉的 MRTG 和 RRDtool. SmokePing 能采用多种方式对网络延迟（性能）进行监测和警告，支持插件的方式对网络的其他指标进行监控，并且支持 Matser/Slave 分布式架构，多节点监控数据可以汇集到一起并通过颜色和阴影来展现网络延迟和丢包。以下操作在 FreeBSD 10.0 上测试通过。

在开始之前，最好升级一下系统：

# freebsd-update fetch
# freebsd-update install

现在 FreeBSD 有了一套新的软件包管理工具 pkg，目的是用来替代老的 pkg_info/pkg_create/pkg_add. 这里用新工具 pkg 来安装 smokeping，并把 smokeping 加到系统启动文件里：

# pkg install smokeping
# echo 'smokeping_enable="YES"' >> /etc/rc.conf

修改 smokeping_secrets 文件权限后启动 smokeping：

# chmod 600 /usr/local/etc/smokeping/smokeping_secrets
# /usr/local/etc/rc.d/smokeping start

smokeping 是 Perl 写的，还需要安装几个 perl 模块：

# perl -MCPAN -e shell
Terminal does not support AddHistory.

cpan shell -- CPAN exploration and modules installation (v1.9800)
Enter 'h' for help.

cpan[1]> install FCGI
cpan[1]> install CGI

要看 web 界面的话 smokeping 还需要 apache 的支持，安装 apache 并加到系统启动文件：

# pkg install apache24
# echo 'smokeping_enable="YES"' >> /etc/rc.conf

因为 pkg 里面没有 mod_fcgid，不能 pkg install mod_fcgid，所以需要使用 FreeBSD 传统的 port 编译安装：

# portsnap fetch extract
# portsnap fetch update

# cd /usr/ports/www/mod_fcgid
# make install clean

配置 apache：

# vi /usr/local/etc/apache24/Includes/smokeping.conf
LoadModule fcgid_module libexec/apache24/mod_fcgid.so


    AddHandler fcgid-script .fcgi


Alias /smokeping "/usr/local/smokeping/htdocs"

    Options Indexes FollowSymLinks ExecCGI
    AllowOverride All
    Require all granted

# vi /usr/local/etc/apache24/httpd.conf
...
#
# DirectoryIndex: sets the file that Apache will serve if a directory
# is requested.
#

    DirectoryIndex index.html smokeping.fcgi

...

配置 smokeping，在 *** Targets *** 一栏加入要监控的机器：

# vi /usr/local/etc/smokeping/config
...
*** Targets ***

probe = FPing

menu = Top
title = Network Latency Grapher
remark = Welcome to vpsee.com

+ Local

menu = Local
title = Local Network

++ node11

menu = node11
title = node11
host = node11.vpsee.com
...

做了配置后，别忘了重启服务：

# service smokeping restart
# service apache24 restart

打开浏览器访问 http://192.168.2.123/smokeping/

作为 Xen VPS 服务商，我们分配独立的 IP 地址给 VPS，我们不希望 VPS 用户自己能随便修改 IP 地址，因为这样有可能和其他用户的 IP 地址造成冲突，而且造成管理上的不便，所以需要绑定 IP 给某个 VPS.

解决这个问题的办法有很多，从路由器、防火墙、操作系统、Xen 等层面都可以做限制。这里介绍的两个简单方法都是从 dom0 入手：一个是在 dom0 上利用 Xen 配置；一个是在 dom0 上利用 iptables.

利用 Xen 配置

Xen 上有个 antispoof 配置选项就是来解决这个问题的，不过默认配置没有打开这个 antispoof 选项，需要修改：

# vi /etc/xen/xend-config.sxp
...
(network-script 'network-bridge antispoof=yes')
...

修改 /etc/xen/scripts/vif-common.sh 里面的 frob_iptable() 函数部分，加上 iptables 一行：

# vi /etc/xen/scripts/vif-common.sh
function frob_iptable()
{
    ...
    iptables -t raw "$c" PREROUTING -m physdev --physdev-in "$vif" "$@" -j NOTRACK
}

修改完 Xen 配置后还需要修改 domU 的配置，给每个 domU 分配固定 IP 和 MAC 地址，还有 vif 名字：

# vi /etc/xen/vm01
...
vif = [ "vifname=vm01,mac=00:16:3e:7c:1f:6e,ip=172.16.39.105,bridge=xenbr0" ]
...

很多系统上 iptables 在默认情况下都不会理会网桥上的 FORWARD 链，所以需要修改内核参数确保 bridge-nf-call-iptables=1，把这个修改可以放到 antispoofing() 函数里，这样每次 Xen 配置网络的时候会自动配置内核参数：

# vi /etc/xen/scripts/network-bridge
antispoofing () {
    echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
...
}

修改完毕后测试的话需要关闭 domU，重启 iptables 和 xend 服务，再启动 domU.

# xm shutdown vm01
# /etc/init.d/iptables restart
# /etc/init.d/xend restart
# xm create vm01

上面的方法在 Xen 3.x 上 测试有效，有人说在 Xen 4.x 上行不通，我们下面将要介绍的方法绕开了 Xen 配置，直接从 iptables 限制，在 Xen 3.x 和 Xen 4.x 上应该都可以用。

利用 iptables

首先在 dom0 上确定 iptables 已经开启，这里需要注意的是一定要在每个 domU 的配置文件中的 vif 部分加上 vifname, ip, mac，这样才能在 iptables 规则里面明确定义：

# /etc/init.d/iptables restart

# vi /etc/xen/vm01
...
vif = [ "vifname=vm01,mac=00:16:3e:7c:1f:6e,ip=172.16.39.105,bridge=xenbr0" ]
...

# vi /etc/iptables-rules
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
# The antispoofing rules for domUs
-A FORWARD -m state --state RELATED,ESTABLISHED -m physdev --physdev-out vm01 -j ACCEPT
-A FORWARD -p udp -m physdev --physdev-in vm01 -m udp --sport 68 --dport 67 -j ACCEPT
-A FORWARD -s 172.16.39.105/32 -m physdev --physdev-in vm01 -j ACCEPT
-A FORWARD -d 172.16.39.105/32 -m physdev --physdev-out vm01 -j ACCEPT
# If the IP address is not allowed on that vif, log and drop it.
-A FORWARD -m limit --limit 15/min -j LOG --log-prefix "Dropped by firewall: " --log-level 7
-A FORWARD -j DROP
# The access rules for dom0
-A INPUT -j ACCEPT
COMMIT

# iptables-restore < /etc/iptables.rules

当然，别忘了：

# echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables