作为 Xen VPS 服务商，我们分配独立的 IP 地址给 VPS，我们不希望 VPS 用户自己能随便修改 IP 地址，因为这样有可能和其他用户的 IP 地址造成冲突，而且造成管理上的不便，所以需要绑定 IP 给某个 VPS.

解决这个问题的办法有很多，从路由器、防火墙、操作系统、Xen 等层面都可以做限制。这里介绍的两个简单方法都是从 dom0 入手：一个是在 dom0 上利用 Xen 配置；一个是在 dom0 上利用 iptables.

利用 Xen 配置

Xen 上有个 antispoof 配置选项就是来解决这个问题的，不过默认配置没有打开这个 antispoof 选项，需要修改：

# vi /etc/xen/xend-config.sxp
...
(network-script 'network-bridge antispoof=yes')
...

修改 /etc/xen/scripts/vif-common.sh 里面的 frob_iptable() 函数部分，加上 iptables 一行：

# vi /etc/xen/scripts/vif-common.sh
function frob_iptable()
{
    ...
    iptables -t raw "$c" PREROUTING -m physdev --physdev-in "$vif" "$@" -j NOTRACK
}

修改完 Xen 配置后还需要修改 domU 的配置，给每个 domU 分配固定 IP 和 MAC 地址，还有 vif 名字：

# vi /etc/xen/vm01
...
vif = [ "vifname=vm01,mac=00:16:3e:7c:1f:6e,ip=172.16.39.105,bridge=xenbr0" ]
...

很多系统上 iptables 在默认情况下都不会理会网桥上的 FORWARD 链，所以需要修改内核参数确保 bridge-nf-call-iptables=1，把这个修改可以放到 antispoofing() 函数里，这样每次 Xen 配置网络的时候会自动配置内核参数：

# vi /etc/xen/scripts/network-bridge
antispoofing () {
    echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables
...
}

修改完毕后测试的话需要关闭 domU，重启 iptables 和 xend 服务，再启动 domU.

# xm shutdown vm01
# /etc/init.d/iptables restart
# /etc/init.d/xend restart
# xm create vm01

上面的方法在 Xen 3.x 上 测试有效，有人说在 Xen 4.x 上行不通，我们下面将要介绍的方法绕开了 Xen 配置，直接从 iptables 限制，在 Xen 3.x 和 Xen 4.x 上应该都可以用。

利用 iptables

首先在 dom0 上确定 iptables 已经开启，这里需要注意的是一定要在每个 domU 的配置文件中的 vif 部分加上 vifname, ip, mac，这样才能在 iptables 规则里面明确定义：

# /etc/init.d/iptables restart

# vi /etc/xen/vm01
...
vif = [ "vifname=vm01,mac=00:16:3e:7c:1f:6e,ip=172.16.39.105,bridge=xenbr0" ]
...

# vi /etc/iptables-rules
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
# The antispoofing rules for domUs
-A FORWARD -m state --state RELATED,ESTABLISHED -m physdev --physdev-out vm01 -j ACCEPT
-A FORWARD -p udp -m physdev --physdev-in vm01 -m udp --sport 68 --dport 67 -j ACCEPT
-A FORWARD -s 172.16.39.105/32 -m physdev --physdev-in vm01 -j ACCEPT
-A FORWARD -d 172.16.39.105/32 -m physdev --physdev-out vm01 -j ACCEPT
# If the IP address is not allowed on that vif, log and drop it.
-A FORWARD -m limit --limit 15/min -j LOG --log-prefix "Dropped by firewall: " --log-level 7
-A FORWARD -j DROP
# The access rules for dom0
-A INPUT -j ACCEPT
COMMIT

# iptables-restore < /etc/iptables.rules

当然，别忘了：

# echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables

昨天上午挂在 VPSee 桌子旁边墙壁上的老古董 IBM TP600E 终于发挥作用，连续报警，监视显示某台服务器丢包非常严重，甚至大多时候不能访问，终端登录系统后检查日志发现 ip_conntrack: table full, dropping packet. 错误：

# vi /var/log/messages
...
Nov  8 08:54:58 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:03 server kernel: printk: 49 messages suppressed.
Nov  8 08:55:03 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:08 server kernel: printk: 49 messages suppressed.
...

查看当前 ip_conntrack 记录，已经有 36271，超过了系统设置的 16640 （ip_conntrack_max 默认设置为系统内存（MB 为单位）的 16倍）：

$ head /proc/slabinfo 
slabinfo - version: 2.1
# name                 : tunables    : slabdata   
ip_conntrack_expect      0      0    192   20    1 : tunables  120   60    8 : slabdata      0      0      0
ip_conntrack        36271  36216    384   10    1 : tunables   54   27    8 : slabdata   1612   1612    108

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

kernel 用 ip_conntrack 模块来记录 iptables 网络包的状态，并保存到 table 里（这个 table 在内存里），如果网络状况繁忙，比如高连接，高并发连接等会导致逐步占用这个 table 可用空间，一般这个 table 很大不容易占满并且可以自己清理，table 的记录会一直呆在 table 里占用空间直到源 IP 发一个 RST 包，但是如果出现被攻击、错误的网络配置、有问题的路由/路由器、有问题的网卡等情况的时候，就会导致源 IP 发的这个 RST 包收不到，这样就积累在 table 里，越积累越多直到占满，满了以后 iptables 就会丢包，出现外部无法连接服务器的情况。

知道问题就好办了，要么增加 table 容量以便能记录更多的连接信息（会消耗一点内存），要么就卸载 ip_conntrack 模块。

查看当前 ip_conntrack_max 设置，然后增加两倍到 131072：

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

# echo 131072 > /proc/sys/net/ipv4/ip_conntrack_max
或者
# sysctl -w  net.ipv4.netfilter.ip_conntrack_max=131072

还有一个参数 ip_conntrack_tcp_timeout_established 需要注意，默认情况下 timeout 是5天（432000秒），需要的话可以减半：

# cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 
432000

# sysctl -w net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=216000
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

综合一下，最好把这些内核参数加到 sysctl.conf 文件以便系统启动后自动读取中：

# vi /etc/sysctl.conf
...
net.ipv4.netfilter.ip_conntrack_max = 131072
net.nf_conntrack_max = 131072
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

还有一种办法就是直接卸载 ip_conntrack 模块，这个办法最简单，到在 /etc/sysconfig/iptables-config 文件里删除或者注释掉 ip_conntrack_netbios_ns 后重启系统：

# vi /etc/sysconfig/iptables-config
#IPTABLES_MODULES="ip_conntrack_netbios_ns"

# shutdown -r now

上次我们介绍了如何用 iptables 屏蔽来自某个国家的 IP. 昨天有位客户想在他网站上阻止所有来自中国的 IP 并且把来自中国的访问重定向到某个预定的页面（或网站）。正统的做法应该是用 apache + mod_geoip 或者 nginx + http_geoip_module 来做，但是发现这位客户使用了 apache/directAdmin/suexec，suexec 好像和 mod_geoip 在一起有问题，VPSee 不想大动客户的配置，所以打算用 iptables 来实现这个要求。想法是这样的，用 iptables 把来自中国的流量全部导向到网站的 81 端口，并在 apache 上启动监听81端口，放上预定的页面（或网站）。

先到 IPdeny 下载以国家代码编制好的 IP 地址列表，比如下载 cn.zone：

# wget http://www.ipdeny.com/ipblocks/data/countries/cn.zone

得到需要的所有 IP 地址后，用下面的脚本逐行读取 cn.zone 文件并加入到 iptables 中：

#!/bin/bash
# Redirect traffic from a specific country to a specific page
# written by vpsee.com

COUNTRY="cn"
YOURIP="1.2.3.4"

if [ "$(id -u)" != "0" ]; then
   echo "you must be root" 1>&2
   exit 1
fi

iptables -F
iptables -X
iptables -A INPUT -i lo -j ACCEPT
iptables -A OUTPUT -o lo -j ACCEPT
iptables -A INPUT -i eth0 -j ACCEPT
iptables -A OUTPUT -o eth0 -j ACCEPT

# Redirect incoming http (80) from China to 81
for c in $COUNTRY
do
        country_file=$c.zone

        IPS=$(egrep -v "^#|^$" $country_file)
        for ip in $IPS
        do
           echo "redirecting $ip"
           iptables -t nat -I PREROUTING -p tcp --dport 80 -s $ip -j DNAT \
                   --to-destination $YOURIP:81
        done
done

iptables-save > /etc/sysconfig/iptables
chmod go-r /etc/sysconfig/iptables
service iptables restart

这样来自中国的 IP 访问 YOURIP 这个网站后就会自动导向到 YOURIP:81 这个端口，然后我们修改 apache 的配置，增加一个 Listen 81 和 以及在 DocumentRoot 里面放上预定的页面（或网站）就可以了。

星期六我们一位客户受到攻击，我们的网络监测显示有连续6小时的巨大异常流量，我们立即联系了客户，没有得到回应，我们修改和限制了客户的 VPS，使得个别 VPS 受攻击不会对整个服务器和其他 VPS 用户造成任何影响，我们一直保持这个 VPS 为开通状态（尽管一直受攻击），攻击又持续了24小时，星期天攻击仍在继续，我们忍无可忍，但是仍然无法联系到客户，我们向客户网站的另一负责人询问是否需要我们介入来帮助解决，这位负责人答应后我们立即投入到与 DDoS 的战斗中（我们动态扫描屏蔽坏 IP，现在客户网站已恢复。整个过程很有意思，以后有时间再写一篇博客来描述）。登录到客户 VPS 第一件事情就是查当前连接和 IP，来自中国的大量 IP 不断侵占80端口，典型的 DDoS. 所以第一件事是切断攻击源，既然攻击只攻80端口，那有很多办法可以切断，直接关闭网站服务器、直接用防火墙/iptables 切断80端口或者关闭所有连接、把 VPS 网络关掉、换一个 IP，⋯，等等。因为攻击源在国内，所以我们决定切断来自国内的所有访问，这样看上去网站好像是被墙了而不是被攻击了，有助于维护客户网站的光辉形象：D，那么如何屏蔽来自某个特定国家的 IP 呢？

方法很容易，先到 IPdeny 下载以国家代码编制好的 IP 地址列表，比如下载 cn.zone：

# wget http://www.ipdeny.com/ipblocks/data/countries/cn.zone

有了国家的所有 IP 地址，要想屏蔽这些 IP 就很容易了，直接写个脚本逐行读取 cn.zone 文件并加入到 iptables 中：

#!/bin/bash
# Block traffic from a specific country
# written by vpsee.com

COUNTRY="cn"
IPTABLES=/sbin/iptables
EGREP=/bin/egrep

if [ "$(id -u)" != "0" ]; then
   echo "you must be root" 1>&2
   exit 1
fi

resetrules() {
$IPTABLES -F
$IPTABLES -t nat -F
$IPTABLES -t mangle -F
$IPTABLES -X
}

resetrules

for c in $COUNTRY
do
        country_file=$c.zone

        IPS=$($EGREP -v "^#|^$" $country_file)
        for ip in $IPS
        do
           echo "blocking $ip"
           $IPTABLES -A INPUT -s $ip -j DROP
        done
done

exit 0

好 IP 和坏 IP 都被屏蔽掉了，这种办法当然不高明，屏蔽 IP 也没有解决被攻击的问题，但是是解决问题的第一步，屏蔽了攻击源以后我们才有带宽、时间和心情去检查 VPS 的安全问题。公布一份我们客户被攻击的网络流量图，在18点到0点所有带宽都被攻击流量占用，这时候客户无法登录 VPS，访问者也无法访问网站：