昨天一台 Linux Xen 服务器莫名其妙就不能访问了，开始以为又碰到 server kernel: ip_conntrack: table full, dropping packet. 问题，没仔细看。后来过了2个小时又不能访问了，看了一下日志是服务器自己 shutdown 了，不是网络的问题。再看日志发现错误信息：

Nov 24 05:32:22 ivps kernel: ACPI: Critical trip point
Nov 24 05:32:22 ivps kernel: Critical temperature reached (76 C), shutting down.

原因是 CPU 温度过高超过了警戒温度，查一下系统默认的警戒温度是75度，所以到了76度系统就自动 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           75 C

服务器温度有这么高吗？查看一下当前温度吓一跳，刚启动的系统又到了74度，系统马上又要 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/temperature
temperature:             74 C

紧急做法是暂时修改默认报警温度到85度：

# echo 85:0:80:60:0 > /proc/acpi/thermal_zone/THRM/trip_points

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           85 C

一般来说 CPU 温度超过70度都是很高的温度了，如果不是系统和程序的原因要赶紧检查服务器周围的环境，检查机房和机柜温度情况、服务器风扇、内部积灰等，让 CPU 和主板长时间工作在高温下可不是好事情。当然不同 CPU 所能耐的住的温度也不同，VPSee 推荐 Intel Core 2 Quad CPU 保持在70度以下，Intel Core i7 CPU 保持在80度以下，这样 CPU 和系统能全速工作发挥最大效率而温度又不至于损坏 CPU.

昨天上午挂在 VPSee 桌子旁边墙壁上的老古董 IBM TP600E 终于发挥作用，连续报警，监视显示某台服务器丢包非常严重，甚至大多时候不能访问，终端登录系统后检查日志发现 ip_conntrack: table full, dropping packet. 错误：

# vi /var/log/messages
...
Nov  8 08:54:58 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:03 server kernel: printk: 49 messages suppressed.
Nov  8 08:55:03 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:08 server kernel: printk: 49 messages suppressed.
...

查看当前 ip_conntrack 记录，已经有 36271，超过了系统设置的 16640 （ip_conntrack_max 默认设置为系统内存（MB 为单位）的 16倍）：

$ head /proc/slabinfo
slabinfo - version: 2.1
# name               
 : tunables
   : slabdata   
ip_conntrack_expect      0      0    192   20    1 : tunables  120   60    8 : slabdata      0      0      0
ip_conntrack        36271  36216    384   10    1 : tunables   54   27    8 : slabdata   1612   1612    108

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

kernel 用 ip_conntrack 模块来记录 iptables 网络包的状态，并保存到 table 里（这个 table 在内存里），如果网络状况繁忙，比如高连接，高并发连接等会导致逐步占用这个 table 可用空间，一般这个 table 很大不容易占满并且可以自己清理，table 的记录会一直呆在 table 里占用空间直到源 IP 发一个 RST 包，但是如果出现被攻击、错误的网络配置、有问题的路由/路由器、有问题的网卡等情况的时候，就会导致源 IP 发的这个 RST 包收不到，这样就积累在 table 里，越积累越多直到占满，满了以后 iptables 就会丢包，出现外部无法连接服务器的情况。

知道问题就好办了，要么增加 table 容量以便能记录更多的连接信息（会消耗一点内存），要么就卸载 ip_conntrack 模块。

查看当前 ip_conntrack_max 设置，然后增加两倍到 131072：

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

# echo 131072 > /proc/sys/net/ipv4/ip_conntrack_max
或者
# sysctl -w  net.ipv4.netfilter.ip_conntrack_max=131072

还有一个参数 ip_conntrack_tcp_timeout_established 需要注意，默认情况下 timeout 是5天（432000秒），需要的话可以减半：

# cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
432000

# sysctl -w net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=216000
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

综合一下，最好把这些内核参数加到 sysctl.conf 文件以便系统启动后自动读取中：

# vi /etc/sysctl.conf
...
net.ipv4.netfilter.ip_conntrack_max = 131072
net.nf_conntrack_max = 131072
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

还有一种办法就是直接卸载 ip_conntrack 模块，这个办法最简单，到在 /etc/sysconfig/iptables-config 文件里删除或者注释掉 ip_conntrack_netbios_ns 后重启系统：

# vi /etc/sysconfig/iptables-config
#IPTABLES_MODULES="ip_conntrack_netbios_ns"

# shutdown -r now

有经验的 Linux 系统管理员都喜欢把 Bash 的 HISTSIZE/HISTFILESIZE 设置的很大，这样可以记录更多的历史命令以便以后查阅，这是个好习惯，有个小问题就是 history 记录了的大量信息在系统启动后就被 load 到内存里，并且一直保存在内存里，这样浪费了不少内存，据统计100000条历史记录大概占用 10MB 左右的内存。对于优化过的 64MB/128MB 小内存 VPS 来说 10MB 的可用内存可以干很多事情，比如启用一个 MySQL 服务，开多个 Nginx/PHP-CGI，开个 syslogd, openvpn 等，把 10MB 留给 history 实在太浪费。那么如何保存尽量多的历史记录而又不浪费内存呢？一个办法就是把历史记录定期保存到硬盘上，bash 的当前历史记录保存在 .bash_history 里，只要定期清理这个文件的记录就可以了：

#!/bin/bash
# archive linux command history files
# written by vpsee.com

umask 077
maxlines=2000

lines=$(wc -l < ~/.bash_history)

if (($lines > $maxlines)); then
    cut=$(($lines - $maxlines))
    head -$cut ~/.bash_history >> ~/.bash_history.sav
    sed -e "1,${cut}d"  ~/.bash_history > ~/.bash_history.tmp
    mv ~/.bash_history.tmp ~/.bash_history
fi

上面脚本所做的事情很简单，检查 .bash_history 文件，如果行数超过2000行就剪裁2000行记录并添加到 .bash_history.sav 这个文件里，这样我们就可以保存所有的历史记录，而且当前的历史记录不超过2000行，只占用少量资源。

因为我们的内部网络使用了代理，所以在 安装 OpenStack 基于 Web 的管理控制台 的时候有个小麻烦，我们的 http 代理服务器无法通过 git 协议下载 openstack-dashboard 所需的代码，也就是说可以 git clone https:// 这样克隆代码，但是不能使用 git 协议 git clone git://。糟糕的是在 openstack-dashboard/tools/pip-requires 里恰好用到了 git 协议，所以运行 openstack-dashboard 安装脚本的时候会因为网络无法连接 git:// 而中途失败。如何让 git 使用 http 代理服务器呢？

如果是 git clone http:// 或 git clone https:// 的话直接把代理服务器加到环境变量就可以了：

$ export http_proxy="http://username:password@squid.vpsee.com:3128/"
$ export https_proxy="http://username:password@squid.vpsee.com:3128/"

如果是 git clone git:// 的话麻烦一些（可能有的 git 源不提供 http/https 的方式），需要先安装 socat，然后创建一个叫做 gitproxy 的脚本并填上合适的服务器地址、端口号等，最后配置 git 使用 gitproxy 脚本：

$ sudo apt-get install socat

$ sudo vi /usr/bin/gitproxy
#!/bin/bash

PROXY=squid.vpsee.com
PROXYPORT=3128
PROXYAUTH=username:password
exec socat STDIO PROXY:$PROXY:$1:$2,proxyport=$PROXYPORT,proxyauth=$PROXYAUTH

$ sudo  chmod +x /usr/bin/gitproxy

$ git config --global core.gitproxy gitproxy

我们 SUN 实验室每台服务器上架后都需要填写一个表格，这个表格包括详细的机器硬件配置、操作系统版本和安装时间、网络配置、机器名、MAC 地址和 IP、安装的软件和用途、安全级别和策略、联系人、上架时间、机柜号等。昨天有位管理员忘了填写操作系统的安装时间，跑来问怎么查看 Linux 系统的安装日期和时间（过了2个月谁还记得啊）。

有个办法是查看 lost+found 目录状态，因为这个目录一般很少用到，改动最少（很可能无任何改动），而其他目录比如 /bin, /home 等因为经常升级系统、创建用户等操作会修改目录状态。VPSee 在自己的一台 VPS 结点服务器上验证了一下，这台服务器是去年3月10日安装的系统，中途升级系统重启一次，然后连续满负荷跑了342天没有重启：

$ stat /lost+found/
  File: `/lost+found/'
  Size: 16384     	Blocks: 32         IO Block: 4096   directory
Device: 805h/2053d	Inode: 11          Links: 2
Access: (0700/drwx------)  Uid: (    0/    root)   Gid: (    0/    root)
Access: 2010-03-11 02:40:20.000000000 -0800
Modify: 2010-03-10 19:14:34.000000000 -0800
Change: 2010-03-10 19:14:34.000000000 -0800

还有一种办法是查看 bin, daemon, sys, adm 等这些帐号的建立时间，这些帐号是在系统安装的时候创建的，所以这些帐号的创建时间基本上就是 Linux 系统的安装时间：

# passwd -S bin
bin LK 2010-03-10 0 99999 7 -1 (Alternate authentication scheme in use.)

# passwd -S daemon
daemon LK 2010-03-10 0 99999 7 -1 (Alternate authentication scheme in use.)

上面这个看帐号创建时间的方式有局限性，不同的 Linux 发行版安装的时候处理 bin, daemon 这些系统帐号的方式不同，有的是直接从安装光盘拷贝这些帐号和相关文件，有的是安装脚本自动创建。只有安装脚本自动创建的发行版本才能根据帐号的创建时间来判断系统的安装时间。

sshuttle 被其作者称为 “穷人的 VPN”（A poor man’s instant VPN），甚至不需要远端服务器的 root 权限就可以用（只需要一个普通 SSH 帐号），和在 Mac/Linux 客户端直接用 ssh -D 的方式有点类似。如果不想花钱买 VPN，又懒得自己在 VPS 上安装和设置复杂的 VPN 服务，又不想用 ssh -D 这么朴素的技巧的话可以试一下这个 sshuttle，按照作者的说法 sshuttle 比 sshd -D 的方式快一点，因为 It’s just data-over-TCP，而不是 TCP-over-TCP，TCP-over-TCP 的方式会带来不必要的性能问题，因为 TCP 本身就是可靠传输协议，保证了包的有序性和无差错，并确保包被接受，如果有包丢失的话 TCP 协议可以自己立即重传弥补，所以没必要两层都 TCP，一层 TCP 就比较安全了。

sshuttle 的用法很简单，在客户端下载和运行就可以了（需要有 Python 的支持），无需在服务器端做任何配置（但是需要一个 ssh 帐号和 Python 支持）：

$ git clone git://github.com/apenwarr/sshuttle

$ ./sshuttle -r username@sshserver 0.0.0.0/0 -vv
Starting sshuttle proxy.
Binding: 12300
Listening on ('127.0.0.1', 12300).
[local sudo] Password:
firewall manager ready.
c : connecting to server...
...

成功运行 sshuttle 后会在 Terminal 上看到一些运行时 log：

昨天晚上给一位付费客户安装 APC PHP 加速器 的时候发现一个小问题，访问 WordPress 页面没问题也可以看到 WordPress 管理后台页面，但是无法登录，报错如下：

Fatal error: Call to undefined function wp_dashboard_setup() in /home/vpsee/wordpress/wp-admin/index.php on line 15

关闭 APC 后这个问题就消失了，只要一打开 APC 就报错，进一步调查把问题缩小到一个 APC 配置参数上 apc.include_once_override=1，如果设置成 apc.include_once_override=0 就没有问题。根据 APC 参考手册的说明，apc.include_once_override 参数是用来 Optimize include_once() and require_once() calls and avoid the expensive system calls used. 一般的建议是设置成0（关闭这个选项）。现在解决办法有两个，一个是设置 apc.include_once_override 为 0（这样会影响到所有网站，所有 PHP 站都不能用到 apc.include_once_override 这个优化了）：

# vi /etc/php.d/apc.ini

...
apc.include_once_override = 0
...

另一个办法是修改 WordPress 文件（这样只会影响到一个 WordPress 网站），打开 wp-admin/index.php 文件找到 require_once(ABSPATH . ‘wp-admin/includes/dashboard.php’); 这行注释掉后修改成如下：

# vi /home/vpsee/wordpress/wp-admin/index.php

...
/* require_once(ABSPATH . 'wp-admin/includes/dashboard.php'); */
require_once('./includes/dashboard.php');
...

当我们管理数十台或更多 Linux 服务器的时候，往往需要在每台服务器上执行同样的命令，比如我们想一次查看10台 Xen 服务器（node）上系统负载情况，或者想知道哪台 Xen 服务器有剩余内存可以分给新客户，又或者想执行 df 命令看看哪个服务器上还有多的硬盘空间等等，除了可以用脚本或工具统一收集这些信息外，我们还可以考虑使用一些同步管理多个 SSH 会话的小工具来帮助管理多台服务器，节省时间提高管理效率。在 Linux 上可以用 pdsh、ClusterSSH 和 mussh；在 Mac 上可以用 csshX.

使用 csshX 很简单，下载解压后就可以运行，如果要同时 ssh 到4个服务器的话：

$ ./csshX 192.168.0.1 192.168.0.2 192.168.0.3 192.168.0.4

也可以把这些要 ssh 管理的 IP 写到一个文件里，然后加载这个文件：

$ vi xenhosts
192.168.0.1
192.168.0.2
192.168.0.3
192.168.0.4

$ ./csshX --hosts xenhosts

我们已经有很多客户在 VPS 上使用 Nginx，对于刚从 Apache 转过来的客户最常遇到的一个问题就是怎么弄 Nginx 下的 rewrite 以及怎么把 Apache 里的 .htaccess 转化成 Nginx，网上关于这方面的资料一大堆，关于 wordpress, discuz, phpcms, ecshop, shopex 等的 rewrite 应有尽有，直接 copy 就可以。还有一个 Nginx 新手常见的问题是拿到这些 rewrite 规则后不知道怎么改，比如 Nginx 下子目录的 rewrite 应该改成什么样子？/ 下是 wordpress，/bbs 下装个 discuz，/ 是 discuz，/blog 下装个 wordpress 或者 / 下是 wordpress，/blog 下再装个 wordpress 等，这样的 rewrite 怎么改呢？弄几个例子放到我们的 FAQ 里供参考：

WordPress 安装在子目录 /blog 下：

location /blog/ {
    root   /home/www/vpsee.com;
    index  index.php index.html index.htm;
    if (!-e $request_filename) {
       rewrite ^.+/?(/blog/wp-.*) $1 last;
       rewrite ^.+/?(/blog/.*\.php)$ $1 last;
       rewrite ^(.+)$ /blog/index.php?q=$1 last;
    }
}

Discuz! 7.2 安装在子目录 /bbs 下：

location /bbs/ {
    root   /home/www/vpsee.com;
    index  index.php index.html index.htm;
    rewrite ^/bbs/archiver/((fid|tid)-[\w\-]+\.html)$ /bbs/archiver/index.php?$1 last;
    rewrite ^/bbs/forum-([0-9]+)-([0-9]+)\.html$ /bbs/forumdisplay.php?fid=$1&page=$2 last;
    rewrite ^/bbs/thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ /bbs/viewthread.php?tid=$1&extra=page%3D$3&page=$2 last;
    rewrite ^/bbs/space-(username|uid)-(.+)\.html$ /bbs/space.php?$1=$2 last;
    rewrite ^/bbs/tag-(.+)\.html$ /bbs/tag.php?name=$1 last;
}

Discuz! X1.5 安装在子目录 /bbs 下：

location /bbs/ {
    root   /home/www/vpsee.com;
    index  index.php index.html index.htm;
    rewrite ^([^\.]*)/topic-(.+)\.html$ $1/portal.php?mod=topic&topic=$2 last;
    rewrite ^([^\.]*)/article-([0-9]+)-([0-9]+)\.html$ $1/portal.php?mod=view&aid=$2&page=$3 last;
    rewrite ^([^\.]*)/forum-(\w+)-([0-9]+)\.html$ $1/forum.php?mod=forumdisplay&fid=$2&page=$3 last;
    rewrite ^([^\.]*)/thread-([0-9]+)-([0-9]+)-([0-9]+)\.html$ $1/forum.php?mod=viewthread&tid=$2&extra=page%3D$4&page=$3 last;
    rewrite ^([^\.]*)/group-([0-9]+)-([0-9]+)\.html$ $1/forum.php?mod=group&fid=$2&page=$3 last;
    rewrite ^([^\.]*)/space-(username|uid)-(.+)\.html$ $1/home.php?mod=space&$2=$3 last;
    rewrite ^([^\.]*)/([a-z]+)-(.+)\.html$ $1/$2.php?rewrite=$3 last;
    if (!-e $request_filename) {
        return 404;
    }
}

如果对理解 ^([^\.]*)/([a-z]+)-(.+)\.html$ 这样的正则表达式有困难并对这方面有兴趣的话可以看看一些书，最好的一本应该是 O’Reilly 出的 Mastering Regular Expressions（也有中文版：《精通正则表达式》）。

如果想屏蔽某个地区的 IP 访问的话，用 iptables 把来自某个国家的 IP 重定向到预定页面不是特别灵活的办法，如果只有一个 IP 可用而有多个网站在同一 VPS 上怎么办？用 iptable 屏蔽某个网站的话也会屏蔽同一 VPS 上的其他网站的访问。所以正统的办法还是用 GeoIP 配合对应的 web 服务器模块，比如：apache + mod_geoip 或者 nginx + http_geoip_module 等。

安装 Nginx

因为要用到 http_geoip_module 模块，系统自带的 nginx 一般不带这个模块，所以要下载 nginx 源代码后自行编译：

# wget http://nginx.org/download/nginx-0.9.6.tar.gz
# tar zxvf nginx-0.9.6.tar.gz
# cd nginx-0.9.6
# ./configure --without-http_empty_gif_module --with-poll_module \
--with-http_stub_status_module --with-http_ssl_module \
--with-http_geoip_module
# make; make install

安装 MaxMind 的 GeoIP 库

MaxMind 提供了免费的 IP 地域数据库（GeoIP.dat），不过这个数据库文件是二进制的，需要用 GeoIP 库来读取，所以除了要下载 GeoIP.dat 文件外（见下一步），还需要安装能读取这个文件的库。

# wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
# tar -zxvf GeoIP.tar.gz
# cd GeoIP-1.4.6
# ./configure
# make; make install

刚才安装的库自动安装到 /usr/local/lib 下，所以这个目录需要加到动态链接配置里面以便运行相关程序的时候能自动绑定到这个 GeoIP 库：

# echo '/usr/local/lib' > /etc/ld.so.conf.d/geoip.conf
# ldconfig

下载 IP 数据库

MaxMind 提供了免费的 IP 地域数据库，这个数据库是二进制的，不能用文本编辑器打开，需要上面的 GeoIP 库来读取：

# wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
# gunzip GeoIP.dat.gz

配置 Nginx

最后是配置 nginx，在相关地方加上如下的配置就可以了：

# vi /etc/nginx/nginx.conf

http {
...
geoip_country /home/vpsee/GeoIP.dat;
fastcgi_param GEOIP_COUNTRY_CODE $geoip_country_code;
fastcgi_param GEOIP_COUNTRY_CODE3 $geoip_country_code3;
fastcgi_param GEOIP_COUNTRY_NAME $geoip_country_name;
...
}

server {
...
        location / {
            root   /home/vpsee/www;
            if ($geoip_country_code = CN) {
                root /home/vpsee/cn;
            }
            ...
        }
...
}

这样，当来自中国的 IP 访问网站后就自动访问到预定的 /home/vpsee/cn 页面。关于 Nginx + GeoIP 还有很多有用的用法，比如做个简单的 CDN，来自中国的访问自动解析到国内服务器、来自美国的访问自动转向到美国服务器等。MaxMind 还提供了全球各个城市的 IP 信息，还可以下载城市 IP 数据库来针对不同城市做处理。