去年的这个时候我们在博客上写了点总结，今年我们来点展望和预告。

明年我们的博客将更多的分享云计算和虚拟技术方面的经验。明年一月 VPSee 将会加入国家生物信息实验室从事高性能计算和云计算方面的工作，负责为这个实验室从零开始打造云计算基础设施，并且逐步把现有的系统并入到云计算。我们计划在新购的16台 288GB 内存的 x86 刀片服务器上配置和测试一套云计算系统，然后逐步把实验室原有的几台 IBM 超级计算机（IBM Power Supercomputer）、Cray 超级计算机和无数旧 x86 服务器并入到这个云计算系统中。VPSee 将会优先考虑 OpenStack, OpenNebula 等开源云计算平台，VMware vSphere 商业云计算方案留作备选（据说这个实验室不差钱，VMware 授权费应该不是问题）。总之，这将是一次难得的学习机会，VPSee 将会在 vpsee.com 上分享这次实战经历，相信对云计算感兴趣的朋友和 VPSee 一样都很期待⋯⋯

明年我们的 VPS 产品线和付费 Service 业务将保持不变。由于客户需求、成本和定价、开源云计算技术的成熟度、数据中心之间的交互、地理条件的限制、运营计费等条件都不成熟，所以我们明年没有计划升级我们现有的 VPS 平台到云计算，我们将继续为大家提供简单、稳定、价廉、无管理的 VPS 服务。

谢谢大家一直以来的持续关注，祝大家有个愉快的圣诞假期＋新年，期待2012⋯⋯2012再见！

给 OpenNebula 制作 Ubuntu 模板的时候推荐只分一个单独区，不要交换区（swap），交换区可以以后在虚拟机外部由 OpenNebula 加上，这样把 root 区和 swap 区分开更灵活一些，方便以后创建不同大小 swap 的虚拟机。以下是在 OpenNebula 上为 Ubuntu 虚拟机增加 swap 的步骤：

修改 Ubuntu 模板文件，注意 DISK 一栏的 target 是 sda 不是 sda1，否则会出现 Boot Failed: 的错误。

$ vi ubuntu.one
NAME   = ubuntu
CPU    = 1
MEMORY = 512

OS = [ ARCH = x86_64,
        BOOT = hd,
        ROOT = sda1
]

DISK = [ source   = /var/lib/one/images/ubuntu.img,
         clone    = no,
         target   = sda,
         readonly = no ]

DISK = [ type     = swap,
         size     = 512,
         target   = sdb ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

启动 Ubuntu 虚拟机后，OpenNebula 就为这个虚拟机准备了一个大小为 512MB 的分区 /dev/sdb，现在登录虚拟机激活这个 swap，这样 Linux 就能识别 /dev/sdb 是个交换分区了（这个过程其实和在自己电脑上增加交换分区或用文件充当交换分区的过程差不多）：

$ vncviewer 172.16.39.111:5900

$ sudo swapon /dev/sdb

$ free
             total       used       free     shared    buffers     cached
Mem:        504112      90896     413216          0      11440      33160
-/+ buffers/cache:      46296     457816
Swap:       524284          0     524284

最后可以在 /etc/fstab 里增加一条记录以便重启虚拟机以后系统能自动加上 swap：

$ sudo vi /etc/fstab
/dev/sdb    none    swap    sw    0    0

如果使用 OpenStack 的时候遇到莫名其妙的问题，或者直接操作 OpenStack 数据表的时候把里面的关系或记录搞砸了，或者使用一些从网上抄来连自己都不理解的命令把数据库记录弄乱了，或者自己想推倒重来等等，碰到这些问题的时候大家想到的第一个办法就是“重装系统，重装 OpenStack”，其实大部分时候都不必要重装，只需要重置一下数据库就可以了，避免重复劳动把操作命令整理到下面的简单脚本里：

#!/bin/bash
# Reset nova database and restart nova services
# written by vpsee.com

# Delete the database and create a new one
mysql -u root -ppassword -e "drop database nova;"
mysql -u root -ppassword -e "create database nova;"
mysql -u root -ppassword -e "set password for 'root'@'%'=password('password');"
mysql -u root -ppassword -e "grant all privileges on *.* to 'root'@'%';"

# Sync up the database scheme
nova-manage db sync

# Create a network
nova-manage network create private 10.0.1.0/24 1 256
nova-manage floating create 192.168.2.240/28

# Create a admin user and a project and assign the admin user to it
nova-manage user admin vpsee
nova-manage project create vpseecloud vpsee

# Restart all the services
restart libvirt-bin
restart nova-api
restart nova-scheduler
restart nova-network
restart nova-volume
restart nova-compute

# Create novarc
nova-manage project zipfile vpseecloud vpsee
unzip nova.zip
. novarc

# Allowing icmp and ssh access to instances
euca-authorize -P icmp -t -1:-1 default
euca-authorize -P tcp -p 22 default

# Create a keypair
euca-add-keypair vpsee > vpsee.priv
chmod 600 vpsee.priv

Zenoss 在最近的一次 OpenStack 会议和 Zenoss 开源社区做了一个调查，772份问卷调查结果显示约有75％的人正在考虑部署 OpenStack，其中40％的人明年就动手。大家选择 OpenStack 的理由主要是因为和 VMware vSphere 等商业云计算平台相比 OpenStack 能有效节约成本和避免被锁定在某个厂商。

Warning: failed to parse error message from AWS: :1:0: syntax error 是个常见问题，很多朋友都在 Ubuntu 上安装和配置 OpenStack Nova 的时候遇到，100楼，120和120楼都遇到这个问题。引起这个问题的原因很多。如果遇到 nova-manage service list 服务都正常而 euca-describe-availability-zones verbose 报错的情况通常都是因为 novarc 这个文件捣鬼，nova 不能正确读取 novarc 里面的权限设置使得认证失败，认证失败当然也就不能正确执行命令了。

# nova-manage service list
Binary           Host      Zone        Status     State Updated_At
nova-scheduler   vpsee     nova        enabled    :-)   2011-12-05 13:26:51
nova-volume      vpsee     nova        enabled    :-)   2011-12-05 13:26:49
nova-network     vpsee     nova        enabled    :-)   2011-12-05 13:26:51
nova-compute     vpsee     nova        enabled    :-)   2011-12-05 13:26:52

# euca-describe-availability-zones verbose
Warning: failed to parse error message from AWS: :1:0: syntax error
None: None

修改 nova.conf 文件，在末尾明确加上 –use_deprecated_auth=true 这行（这个设置本来是默认的，以前版本的 OpenStack Nova 是不需要的），然后重启 nova 服务并重新生成 novacreds.zip，记得一定要 source novarc 哟：

# vi /etc/nova/nova.conf
...
--use_deprecated_auth=true

# restart libvirt-bin; restart nova-network; restart nova-compute;
restart nova-api; restart nova-objectstore; restart nova-scheduler;
restart nova-volume; restart glance-api; restart glance-registry

# nova-manage project zipfile mycloud vpsee /home/vpsee/creds/novacreds.zip
# cd /home/vpsee/creds
# unzip novacreds.zip
# chown -R vpsee:vpsee /home/vpsee/creds/

# source /home/vpsee/creds/novarc

# euca-describe-availability-zones verbose
AVAILABILITYZONE	nova	available
AVAILABILITYZONE	|- vpsee
AVAILABILITYZONE	| |- nova-scheduler	enabled :-) 2011-12-05 13:32:44
AVAILABILITYZONE	| |- nova-volume	enabled :-) 2011-12-05 13:32:43
AVAILABILITYZONE	| |- nova-network	enabled :-) 2011-12-05 13:32:44
AVAILABILITYZONE	| |- nova-compute	enabled :-) 2011-12-05 13:32:47

再附带一句，OpenStack 正在飞速发展中，这样或那样的问题也许在新版本里就不存在了，以前没有的问题也可能第一次出现在新版本中。

上次我们介绍了给 OpenNebula 制作 Windows 镜像，当然了少不了 Ubuntu 了，为 OpenNebula 制作 Ubuntu 镜像的步骤和制作 Windows 镜像差不多，以下是具体步骤：

首先下载需要安装的 ubuntu 版本：

$ wget http://releases.ubuntu.com/11.10/ubuntu-11.10-server-amd64.iso

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw ubuntu.img 10G
Formatting 'ubuntu.img', fmt=raw size=10737418240

然后使用刚才下载的 ubuntu “安装盘” 和刚创建的 “硬盘” 引导启动系统，使用 -vnc 参数打开 vnc 访问，以便可以用其他机器远程登录进行安装操作：

$ sudo kvm -m 512 -cdrom ubuntu-11.10-server-amd64.iso \
-drive file=ubuntu.img -boot d -nographic -vnc :0

在其他机器上用 vnc 客户端登录后就可以看到 Ubuntu 安装界面，按照屏幕的提示完成 ubuntu 的安装工作，需要注意的是分区的时候只分一个区给 /，不要分 swap 区，以后 VPSee 将会提到如何给虚拟机加上交换分区：

$ vncviewer 172.16.39.111:5900

安装完后会自动重启，shutdown -h now 虚拟机后再按照下面命令启动刚刚安装好的虚拟机镜像 ubuntu.img，如果出现 failed to find romfile “pxe-rtf8139.bin” 的错误提示可以通过安装 kvm-pxe 解决：

$ sudo kvm -m 512 -drive file=ubuntu.img -boot c -nographic -vnc :0
kvm: pci_add_option_rom: failed to find romfile "pxe-rtl8139.bin"

$ sudo apt-get install kvm-pxe

再次用 vnc 登录虚拟机镜像，升级和更新系统，可以安装一些必要工具，比如 OpenSSH 之类的：

$ vncviewer 172.16.39.111:5900

$ sudo update
$ sudo upgrade
$ sudo apt-get install openssh-server

创建和编辑虚拟网络配置文件，然后创建一个 OpenNebula 虚拟网络（参考：在 CentOS 上安装和配置 OpenNebula）：

$ vi small_network.net
NAME = "Small network"
TYPE = FIXED

BRIDGE = br0
LEASES = [ IP="172.16.39.111"]
LEASES = [ IP="172.16.39.112"]
LEASES = [ IP="172.16.39.113"]

$ onevnet create small_network.net 

$ onevnet list
  ID USER     NAME              TYPE BRIDGE P #LEASES
   0 oneadmin Small network    Fixed    br0 N       0

创建和编辑 Ubuntu 虚拟机的启动配置文件。注意别忘了加上 ARCH = x86_64（否则无法正常启动 Ubuntu），我们刚才安装的是 Ubuntu 64位 Server 版（ubuntu-11.10-server-amd64.iso）：

NAME   = ubuntu
CPU    = 1
MEMORY = 512

OS = [ ARCH = x86_64,
        BOOT = hd,
        ROOT = sda1
]

DISK = [ source   = /var/lib/one/images/ubuntu.img,
         clone    = no,
         target   = sda,
         readonly = no ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

NIC    = [ NETWORK = "Small network" ]

依照上面的配置在 OpenNebula 上创建一个 Ubuntu 虚拟机，等待一下 OpenNebula 会自动根据当前资源情况调度，期间不断用 onevm list 命令查看当前虚拟机的创建情况，状态会从 pend -> prol -> boot -> runn，runn 状态就表示虚拟机已经成功创建并正常运行。最后检查一下 OpenNebula 是否成功创建一个名叫 ubuntu 的虚拟机：

$ onevm create ubuntu.one

$ onevm list
   ID     USER     NAME STAT CPU     MEM        HOSTNAME        TIME
   42 oneadmin   ubuntu runn   1    512M          node00 00 01:16:39

昨天一台 Linux Xen 服务器莫名其妙就不能访问了，开始以为又碰到 server kernel: ip_conntrack: table full, dropping packet. 问题，没仔细看。后来过了2个小时又不能访问了，看了一下日志是服务器自己 shutdown 了，不是网络的问题。再看日志发现错误信息：

Nov 24 05:32:22 ivps kernel: ACPI: Critical trip point
Nov 24 05:32:22 ivps kernel: Critical temperature reached (76 C), shutting down.

原因是 CPU 温度过高超过了警戒温度，查一下系统默认的警戒温度是75度，所以到了76度系统就自动 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           75 C

服务器温度有这么高吗？查看一下当前温度吓一跳，刚启动的系统又到了74度，系统马上又要 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/temperature
temperature:             74 C

紧急做法是暂时修改默认报警温度到85度：

# echo 85:0:80:60:0 > /proc/acpi/thermal_zone/THRM/trip_points

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           85 C

一般来说 CPU 温度超过70度都是很高的温度了，如果不是系统和程序的原因要赶紧检查服务器周围的环境，检查机房和机柜温度情况、服务器风扇、内部积灰等，让 CPU 和主板长时间工作在高温下可不是好事情。当然不同 CPU 所能耐的住的温度也不同，VPSee 推荐 Intel Core 2 Quad CPU 保持在70度以下，Intel Core i7 CPU 保持在80度以下，这样 CPU 和系统能全速工作发挥最大效率而温度又不至于损坏 CPU.

说是给 OpenNebula 做 Windows 镜像其实就是做个 KVM 上的 Windows 虚拟机而已，操作步骤无非就是：创建一个硬盘、在硬盘上安装 Windows 系统、把安装好的 Windows 镜像当作模板来复制和创建 Windows 虚拟机。

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw windowsxp.img 10G
Formatting 'windowsxp.img', fmt=raw size=10737418240

然后使用 ISO 文件的 windowsxp.iso 安装盘来安装 Windows，注意运行 kvm 需要 root 权限，否则会出现 open /dev/kvm: Permission denied 错误：

$ sudo kvm -m 1024 -cdrom windowsxp.iso -drive file=windowsxp.img -boot d -nographic -vnc :0

在另外一台机器上启动 vnc 客户端登录完成 windows 安装：

$ vncview 172.16.39.111:5900
或者
$ vncview 172.16.39.111:0

安装完 windows 后可以进行一些必要的定制，比如打开 RDP 访问、设置防火墙不要屏蔽 RDP 和 ICMP 等。

创建和编辑虚拟网络配置文件，然后创建一个 OpenNebula 虚拟网络（参考：在 CentOS 上安装和配置 OpenNebula）：

$ vi small_network.net
NAME = "Small network"
TYPE = FIXED

BRIDGE = br0
LEASES = [ IP="172.16.39.111"]
LEASES = [ IP="172.16.39.112"]
LEASES = [ IP="172.16.39.113"]

$ onevnet create small_network.net 

$ onevnet list
  ID USER     NAME              TYPE BRIDGE P #LEASES
   0 oneadmin Small network    Fixed    br0 N       0

创建和编辑 Windows XP 虚拟机的启动配置文件：

$ vi windowsxp.one

NAME  = winxp
CPU   = 1
MEMORY = 1024

OS = [ boot = hd ]

DISK = [ source  = /var/lib/one/images/windowsxp.img,
         clone    = no,
         target   = hda,
         readonly = no ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

FEATURES = [ acpi="yes" ]

NIC    = [ NETWORK = "Small network" ]

依照上面的配置在 OpenNebula 上创建一个 Windows 虚拟机，等待片刻后不断用 onevm list 命令查看当前虚拟机的创建情况，状态一般会从 pend -> prol -> boot -> runn，runn 状态就表示虚拟机已经成功创建并正常运行。最后检查一下 OpenNebula 是否成功创建一个名叫 winxp 的 Windows 虚拟机：

$ onevm create windowsxp.one

$ onevm list
   ID     USER     NAME STAT CPU     MEM        HOSTNAME        TIME
   32 oneadmin     winxp runn   6   1024M          node00 00 00:20:26

上面的 Windows 虚拟机无法正确得到 OpenNebula 预分配的 IP 地址，需要在 Windows 里配置网络连接手动绑定静态 IP，有办法可以从 OpenNebula 那里自动获得 IP，这个问题留到以后再说。

前天强制重启一台 OpenStack Nova 控制结点以后发现虚拟机消失，但是 euca-describe-instances 命令显示 instances 仍然是 running 的状态，使用 euca-terminate-instances 终止命令仍然无效，暂时把这样的 instance 称作“僵尸实例（zombie instance）”：

# virsh list
 Id Name                 State
----------------------------------

# euca-describe-instances
RESERVATION	r-bkl83j20	bangcloud	default
INSTANCE	i-0000001d	ami-00000002	172.16.39.121	172.16.39.121	running	vpsee (vpseecloud, node00)	0			2011-11-10T12:45:12Z	nova	aki-00000001	ami-00000000
RESERVATION	r-j335q6ny	bangcloud	default
INSTANCE	i-0000001e	ami-00000002	172.16.39.122	172.16.39.122	running	vpsee (vpseecloud, node00)	0			2011-11-10T12:54:27Z	nova	aki-00000001	ami-00000000

# euca-terminate-instances i-0000001d
# euca-terminate-instances i-0000001e

和 删除 OpenStack Nova Volume 时遇到的 error_deleting 问题 这篇文章提到的解决办法一样，直接操作数据库来删除这2条僵尸实例的记录。登录 mysql，使用 nova 数据库，找出要删除 instance 的 id，然后删除：

# mysql -u root -p
Enter password:

mysql> use nova;

mysql> select * from instances;

mysql> delete from instances where id = '29';
ERROR 1451 (23000): Cannot delete or update a parent row: a foreign key constraint fails (`nova`.`virtual_interfaces`, CONSTRAINT `virtual_interfaces_ibfk_1` FOREIGN KEY (`instance_id`) REFERENCES `instances` (`id`))

MySQL 删除 id 为 29 的 instance 时触发外键限制错误，简单的办法是暂时关闭外键检查，等删除后再打开：

mysql> SET FOREIGN_KEY_CHECKS=0;
Query OK, 0 rows affected (0.00 sec)

mysql> delete from instances where id = '29';
Query OK, 1 row affected (0.04 sec)

mysql> delete from instances where id = '30';
Query OK, 1 row affected (0.04 sec)

mysql> SET FOREIGN_KEY_CHECKS=1;
Query OK, 0 rows affected (0.00 sec)

删除 instance 29 和 30后再用 euca-describe-instances 命令验证一下：

# euca-describe-instances

昨天上午挂在 VPSee 桌子旁边墙壁上的老古董 IBM TP600E 终于发挥作用，连续报警，监视显示某台服务器丢包非常严重，甚至大多时候不能访问，终端登录系统后检查日志发现 ip_conntrack: table full, dropping packet. 错误：

# vi /var/log/messages
...
Nov  8 08:54:58 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:03 server kernel: printk: 49 messages suppressed.
Nov  8 08:55:03 server kernel: ip_conntrack: table full, dropping packet.
Nov  8 08:55:08 server kernel: printk: 49 messages suppressed.
...

查看当前 ip_conntrack 记录，已经有 36271，超过了系统设置的 16640 （ip_conntrack_max 默认设置为系统内存（MB 为单位）的 16倍）：

$ head /proc/slabinfo
slabinfo - version: 2.1
# name               
 : tunables
   : slabdata   
ip_conntrack_expect      0      0    192   20    1 : tunables  120   60    8 : slabdata      0      0      0
ip_conntrack        36271  36216    384   10    1 : tunables   54   27    8 : slabdata   1612   1612    108

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

kernel 用 ip_conntrack 模块来记录 iptables 网络包的状态，并保存到 table 里（这个 table 在内存里），如果网络状况繁忙，比如高连接，高并发连接等会导致逐步占用这个 table 可用空间，一般这个 table 很大不容易占满并且可以自己清理，table 的记录会一直呆在 table 里占用空间直到源 IP 发一个 RST 包，但是如果出现被攻击、错误的网络配置、有问题的路由/路由器、有问题的网卡等情况的时候，就会导致源 IP 发的这个 RST 包收不到，这样就积累在 table 里，越积累越多直到占满，满了以后 iptables 就会丢包，出现外部无法连接服务器的情况。

知道问题就好办了，要么增加 table 容量以便能记录更多的连接信息（会消耗一点内存），要么就卸载 ip_conntrack 模块。

查看当前 ip_conntrack_max 设置，然后增加两倍到 131072：

# cat /proc/sys/net/ipv4/ip_conntrack_max
16640

# echo 131072 > /proc/sys/net/ipv4/ip_conntrack_max
或者
# sysctl -w  net.ipv4.netfilter.ip_conntrack_max=131072

还有一个参数 ip_conntrack_tcp_timeout_established 需要注意，默认情况下 timeout 是5天（432000秒），需要的话可以减半：

# cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established
432000

# sysctl -w net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=216000
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

综合一下，最好把这些内核参数加到 sysctl.conf 文件以便系统启动后自动读取中：

# vi /etc/sysctl.conf
...
net.ipv4.netfilter.ip_conntrack_max = 131072
net.nf_conntrack_max = 131072
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 216000

还有一种办法就是直接卸载 ip_conntrack 模块，这个办法最简单，到在 /etc/sysconfig/iptables-config 文件里删除或者注释掉 ip_conntrack_netbios_ns 后重启系统：

# vi /etc/sysconfig/iptables-config
#IPTABLES_MODULES="ip_conntrack_netbios_ns"

# shutdown -r now