我们的云计算头结点这周到货了，采用的是 Dell PowerEdge R710，Intel Xeon CPU E5645 @2.40GHz (12 Cores), 4x300GB SAS (15K), 96GB 内存。这样的配置对于我们的头结点来说过于强大，我们可能考虑用 VMware ESXi 虚拟后用其中的一台虚拟机做 OpenStack/OpenNebula 头结点，用 VMware ESXi 有个问题，免费版本的 VMware ESXi 5.0 虚拟出来的单台虚拟机最多只能支持8核心，而这台服务器逻辑上有24核心，有点浪费。图片最上面的是头结点（Dell PowerEdge R710），中间的是计算结点（Dell PowerEdge M710HD），最下面的是存储。

OpenStack 几乎支持现在所有主流的虚拟技术和 Hypervisor，如 KVM, Hyper-V, LXC, QEMU, UML, VMWare ESX/ESXi, Xen/XenServer 等，未来还会支持 OpenVZ 和 VirtualBox. 不过 OpenStack 首选的 Hypervisor 是 KVM，OpenStack 安装后默认使用的是 KVM (–libvirt_type=kvm)，不需要特别配置。如果由于某种原因，比如服务器 CPU 不支持 Intel VT-x/AMD-V 不能使用 KVM 或者想简单尝试一下另外一种 Hypervisor 怎么办呢？方法很容易，1、更改 OpenStack Nova 的配置文件（–libvirt_type）；2、给所有的 Compute 结点装上相应的 Hypervisor 就可以了。以下以 LXC 为例来说明如何更换 OpenStack Nova 的 Hypervisor，LXC 使用的是与 Xen 和 KVM 完全不同的虚拟技术，和 OpenVZ 的容器技术有点类似。

首先在所有 openstack nova compute 结点上替换现有的 nova-compute-kvm 到 nova-compute-lxc：

$ sudo apt-get install nova-compute-lxc

LXC 使用 cgroup 文件系统来限制资源和进程，libvirt 需要 cgroup 文件系统来运行 LXC，我们只要在 nova compute 上创建一个 ctroups 目录并且在 /etc/fstab 最后加上 none /cgroups cgroup cpuacct,memory,devices,cpu,freezer,blkio 0 0 这行就可以了，别忘了重启系统：

$ sudo mkdir /cgroups

$ vi /etc/fstab
none /cgroups cgroup cpuacct,memory,devices,cpu,freezer,blkio 0 0

$ sudo reboot

重启后可以看到 /cgroups 下面多了很多东西：

$ ls /cgroup/
blkio.io_merged                   cpu.shares
blkio.io_queued                   devices.allow
blkio.io_service_bytes            devices.deny
blkio.io_serviced                 devices.list
blkio.io_service_time             libvirt
blkio.io_wait_time                memory.failcnt
blkio.reset_stats                 memory.force_empty
blkio.sectors                     memory.limit_in_bytes
blkio.throttle.io_service_bytes   memory.max_usage_in_bytes
blkio.throttle.io_serviced        memory.memsw.failcnt
blkio.throttle.read_bps_device    memory.memsw.limit_in_bytes
blkio.throttle.read_iops_device   memory.memsw.max_usage_in_bytes
blkio.throttle.write_bps_device   memory.memsw.usage_in_bytes
blkio.throttle.write_iops_device  memory.move_charge_at_immigrate
blkio.time                        memory.numa_stat
blkio.weight                      memory.oom_control
blkio.weight_device               memory.soft_limit_in_bytes
cgroup.clone_children             memory.stat
cgroup.event_control              memory.swappiness
cgroup.procs                      memory.usage_in_bytes
cpuacct.stat                      memory.use_hierarchy
cpuacct.usage                     notify_on_release
cpuacct.usage_percpu              release_agent
cpu.rt_period_us                  tasks
cpu.rt_runtime_us

修改 OpenStack Nova 配置，将 nova-compute.conf 里面的 –libvirt_type=kvm 改成 lxc：

$ sudo vi /etc/nova/nova-compute.conf
--libvirt_type=lxc

$ sudo restart nova-compute

重启所有 nova compute 结点上的 nova-compute 服务，有必要的话重启所有 nova compute 结点。

那镜像怎么办呢？以前为 KVM 上传的镜像也可以用在 LXC 上吗？嗯，可以。下载 oneiric-server-cloudimg-amd64.tar.gz 解压并镜像到 OpenStack：

$ wget http://uec-images.ubuntu.com/oneiric/current/oneiric-server-cloudimg-amd64.tar.gz
$ tar zxvf oneiric-server-cloudimg-amd64.tar.gz

$ euca-bundle-image -i oneiric-server-cloudimg-amd64.img
$ euca-upload-bundle -b oneiric -m /tmp/oneiric-server-cloudimg-amd64.img.manifest.xml
$ euca-register oneiric/oneiric-server-cloudimg-amd64.img.manifest.xml

$ euca-describe-images
IMAGE	ami-00000001	oneiric/oneiric-server-cloudimg-amd64.img.manifest.xml		available	private		x86_64	machine	 	 	instance-store

$ euca-run-instances -k vpsee -t m1.tiny ami-00000001

$ euca-describe-instances
RESERVATION	r-4bbu7bd7	sanbi	default
INSTANCE	i-00000001	ami-00000001	172.16.39.6	172.16.39.6	running	vpsee (vpseecloud, node00)	0		m1.tiny	2012-01-20T08:04:05Z	nova	ami-00000000	ami-00000000

需要注意的是，OpenStack 目前不支持混合 Hypervisor，也就是说所有 nova compute 结点上必须使用同一种 Hypervisor，不过支持混合 Hypervisor 的 OpenStack 正在计划开发中。

先报告一下我们云计算项目的进度。去年休假前订购的服务器和部件已经陆续到货了，计算结点采用的是 Dell PowerEdge M710HD 刀片服务器，特别为数据中心级虚拟应用设计，海量内存、密集 IO 吞吐等优势，特别适合云计算、虚拟机等应用。现在正在等 Dell 的售后技术人员过来安装服务器和存储阵列，有些电源和机柜问题需要解决，顺利的话下周服务器可以上线。

OpenNebula 提供了 XML-RPC 的方式访问 OpenNebula Cloud Api (OCA)，这样就允许不同操作系统、不同语言编写的客户端程序可以通过 XML-RPC 远程调用的方式来访问 OpenNebula 服务。下面通过两个不同语言编写的最简单例子抛砖引玉一下，来看看如何是如何与 OCA 打交道的。

OpenNebula 绝大部分是由 Ruby 编写的，其提供的 Ruby OCA API 实现当然是最丰富和完整的。先安装 Ruby OCA Bindings：

$ sudo gem install oca

用 Ruby 编写一小段代码试验一下，以下代码用来打印当前云里每个计算结点的 hostname：

#!/usr/bin/ruby

require 'rubygems'
require 'oca'

include OpenNebula

# OpenNebula credentials
CREDENTIALS = "oneadmin:vpsee"

# XML_RPC endpoint where OpenNebula is listening
ENDPOINT    = "http://localhost:2633/RPC2"

client = Client.new(CREDENTIALS, ENDPOINT)
host_pool = HostPool.new(client)
rc = host_pool.info

# Print all the hostname from the host pool
host_pool.each do |host|
     puts host.name
end

再来看看用 Python 如何编写上面类似功能的代码。安装 Python OCA Bindings：

$ sudo easy_install oca

用 Python 编写一小段代码看一下：

#!/usr/bin/python

import oca

# OpenNebula credentials
CREDENTIALS = "oneadmin:vpsee"

# XML_RPC endpoint where OpenNebula is listening
ENDPOINT    = "http://localhost:2633/RPC2"

client = oca.Client(CREDENTIALS, ENDPOINT)
host_pool = oca.HostPool(client)
host_pool.info()

# Print all the hostname from the host pool
for host in host_pool:
    print host.name

应该没人会想在这种情况下用 Java 或 C++ 吧，Programming Examples 里面提供的 Java OCA 和 C++ 例子比 Ruby, Python 复杂得多。

去年的这个时候我们在博客上写了点总结，今年我们来点展望和预告。

明年我们的博客将更多的分享云计算和虚拟技术方面的经验。明年一月 VPSee 将会加入国家生物信息实验室从事高性能计算和云计算方面的工作，负责为这个实验室从零开始打造云计算基础设施，并且逐步把现有的系统并入到云计算。我们计划在新购的16台 288GB 内存的 x86 刀片服务器上配置和测试一套云计算系统，然后逐步把实验室原有的几台 IBM 超级计算机（IBM Power Supercomputer）、Cray 超级计算机和无数旧 x86 服务器并入到这个云计算系统中。VPSee 将会优先考虑 OpenStack, OpenNebula 等开源云计算平台，VMware vSphere 商业云计算方案留作备选（据说这个实验室不差钱，VMware 授权费应该不是问题）。总之，这将是一次难得的学习机会，VPSee 将会在 vpsee.com 上分享这次实战经历，相信对云计算感兴趣的朋友和 VPSee 一样都很期待⋯⋯

明年我们的 VPS 产品线和付费 Service 业务将保持不变。由于客户需求、成本和定价、开源云计算技术的成熟度、数据中心之间的交互、地理条件的限制、运营计费等条件都不成熟，所以我们明年没有计划升级我们现有的 VPS 平台到云计算，我们将继续为大家提供简单、稳定、价廉、无管理的 VPS 服务。

谢谢大家一直以来的持续关注，祝大家有个愉快的圣诞假期＋新年，期待2012⋯⋯2012再见！

给 OpenNebula 制作 Ubuntu 模板的时候推荐只分一个单独区，不要交换区（swap），交换区可以以后在虚拟机外部由 OpenNebula 加上，这样把 root 区和 swap 区分开更灵活一些，方便以后创建不同大小 swap 的虚拟机。以下是在 OpenNebula 上为 Ubuntu 虚拟机增加 swap 的步骤：

修改 Ubuntu 模板文件，注意 DISK 一栏的 target 是 sda 不是 sda1，否则会出现 Boot Failed: 的错误。

$ vi ubuntu.one
NAME   = ubuntu
CPU    = 1
MEMORY = 512

OS = [ ARCH = x86_64,
        BOOT = hd,
        ROOT = sda1
]

DISK = [ source   = /var/lib/one/images/ubuntu.img,
         clone    = no,
         target   = sda,
         readonly = no ]

DISK = [ type     = swap,
         size     = 512,
         target   = sdb ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

启动 Ubuntu 虚拟机后，OpenNebula 就为这个虚拟机准备了一个大小为 512MB 的分区 /dev/sdb，现在登录虚拟机激活这个 swap，这样 Linux 就能识别 /dev/sdb 是个交换分区了（这个过程其实和在自己电脑上增加交换分区或用文件充当交换分区的过程差不多）：

$ vncviewer 172.16.39.111:5900

$ sudo swapon /dev/sdb

$ free
             total       used       free     shared    buffers     cached
Mem:        504112      90896     413216          0      11440      33160
-/+ buffers/cache:      46296     457816
Swap:       524284          0     524284

最后可以在 /etc/fstab 里增加一条记录以便重启虚拟机以后系统能自动加上 swap：

$ sudo vi /etc/fstab
/dev/sdb    none    swap    sw    0    0

如果使用 OpenStack 的时候遇到莫名其妙的问题，或者直接操作 OpenStack 数据表的时候把里面的关系或记录搞砸了，或者使用一些从网上抄来连自己都不理解的命令把数据库记录弄乱了，或者自己想推倒重来等等，碰到这些问题的时候大家想到的第一个办法就是“重装系统，重装 OpenStack”，其实大部分时候都不必要重装，只需要重置一下数据库就可以了，避免重复劳动把操作命令整理到下面的简单脚本里：

#!/bin/bash
# Reset nova database and restart nova services
# written by vpsee.com

# Delete the database and create a new one
mysql -u root -ppassword -e "DROP DATABASE nova;"
mysql -u root -ppassword -e "CREATE DATABASE nova;"

# Sync up the database scheme
nova-manage db sync

# Create a network
nova-manage network create private 192.168.0.1/24 1 32

# Create a admin user and a project and assign the admin user to it
nova-manage user admin vpsee
nova-manage project create vpseecloud vpsee

# Restart all the services
restart libvirt-bin
restart nova-api
restart nova-scheduler
restart nova-network
restart nova-volume
restart nova-compute

Zenoss 在最近的一次 OpenStack 会议和 Zenoss 开源社区做了一个调查，772份问卷调查结果显示约有75％的人正在考虑部署 OpenStack，其中40％的人明年就动手。大家选择 OpenStack 的理由主要是因为和 VMware vSphere 等商业云计算平台相比 OpenStack 能有效节约成本和避免被锁定在某个厂商。

Warning: failed to parse error message from AWS: :1:0: syntax error 是个常见问题，很多朋友都在 Ubuntu 上安装和配置 OpenStack Nova 的时候遇到，100楼，120和120楼都遇到这个问题。引起这个问题的原因很多。如果遇到 nova-manage service list 服务都正常而 euca-describe-availability-zones verbose 报错的情况通常都是因为 novarc 这个文件捣鬼，nova 不能正确读取 novarc 里面的权限设置使得认证失败，认证失败当然也就不能正确执行命令了。

# nova-manage service list
Binary           Host      Zone        Status     State Updated_At
nova-scheduler   vpsee     nova        enabled    :-)   2011-12-05 13:26:51
nova-volume      vpsee     nova        enabled    :-)   2011-12-05 13:26:49
nova-network     vpsee     nova        enabled    :-)   2011-12-05 13:26:51
nova-compute     vpsee     nova        enabled    :-)   2011-12-05 13:26:52

# euca-describe-availability-zones verbose
Warning: failed to parse error message from AWS: :1:0: syntax error
None: None

修改 nova.conf 文件，在末尾明确加上 –use_deprecated_auth=true 这行（这个设置本来是默认的，以前版本的 OpenStack Nova 是不需要的），然后重启 nova 服务并重新生成 novacreds.zip，记得一定要 source novarc 哟：

# vi /etc/nova/nova.conf
...
--use_deprecated_auth=true

# restart libvirt-bin; restart nova-network; restart nova-compute;
restart nova-api; restart nova-objectstore; restart nova-scheduler;
restart nova-volume; restart glance-api; restart glance-registry

# nova-manage project zipfile mycloud vpsee /home/vpsee/creds/novacreds.zip
# cd /home/vpsee/creds
# unzip novacreds.zip
# chown -R vpsee:vpsee /home/vpsee/creds/

# source /home/vpsee/creds/novarc

# euca-describe-availability-zones verbose
AVAILABILITYZONE	nova	available
AVAILABILITYZONE	|- vpsee
AVAILABILITYZONE	| |- nova-scheduler	enabled :-) 2011-12-05 13:32:44
AVAILABILITYZONE	| |- nova-volume	enabled :-) 2011-12-05 13:32:43
AVAILABILITYZONE	| |- nova-network	enabled :-) 2011-12-05 13:32:44
AVAILABILITYZONE	| |- nova-compute	enabled :-) 2011-12-05 13:32:47

再附带一句，OpenStack 正在飞速发展中，这样或那样的问题也许在新版本里就不存在了，以前没有的问题也可能第一次出现在新版本中。

上次我们介绍了给 OpenNebula 制作 Windows 镜像，当然了少不了 Ubuntu 了，为 OpenNebula 制作 Ubuntu 镜像的步骤和制作 Windows 镜像差不多，以下是具体步骤：

首先下载需要安装的 ubuntu 版本：

$ wget http://releases.ubuntu.com/11.10/ubuntu-11.10-server-amd64.iso

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw ubuntu.img 10G
Formatting 'ubuntu.img', fmt=raw size=10737418240

然后使用刚才下载的 ubuntu “安装盘” 和刚创建的 “硬盘” 引导启动系统，使用 -vnc 参数打开 vnc 访问，以便可以用其他机器远程登录进行安装操作：

$ sudo kvm -m 512 -cdrom ubuntu-11.10-server-amd64.iso \
-drive file=ubuntu.img -boot d -nographic -vnc :0

在其他机器上用 vnc 客户端登录后就可以看到 Ubuntu 安装界面，按照屏幕的提示完成 ubuntu 的安装工作，需要注意的是分区的时候只分一个区给 /，不要分 swap 区，以后 VPSee 将会提到如何给虚拟机加上交换分区：

$ vncviewer 172.16.39.111:5900

安装完后会自动重启，shutdown -h now 虚拟机后再按照下面命令启动刚刚安装好的虚拟机镜像 ubuntu.img，如果出现 failed to find romfile “pxe-rtf8139.bin” 的错误提示可以通过安装 kvm-pxe 解决：

$ sudo kvm -m 512 -drive file=ubuntu.img -boot c -nographic -vnc :0
kvm: pci_add_option_rom: failed to find romfile "pxe-rtl8139.bin"

$ sudo apt-get install kvm-pxe

再次用 vnc 登录虚拟机镜像，升级和更新系统，可以安装一些必要工具，比如 OpenSSH 之类的：

$ vncviewer 172.16.39.111:5900

$ sudo update
$ sudo upgrade
$ sudo apt-get install openssh-server

创建和编辑虚拟网络配置文件，然后创建一个 OpenNebula 虚拟网络（参考：在 CentOS 上安装和配置 OpenNebula）：

$ vi small_network.net
NAME = "Small network"
TYPE = FIXED

BRIDGE = br0
LEASES = [ IP="172.16.39.111"]
LEASES = [ IP="172.16.39.112"]
LEASES = [ IP="172.16.39.113"]

$ onevnet create small_network.net 

$ onevnet list
  ID USER     NAME              TYPE BRIDGE P #LEASES
   0 oneadmin Small network    Fixed    br0 N       0

创建和编辑 Ubuntu 虚拟机的启动配置文件。注意别忘了加上 ARCH = x86_64（否则无法正常启动 Ubuntu），我们刚才安装的是 Ubuntu 64位 Server 版（ubuntu-11.10-server-amd64.iso）：

NAME   = ubuntu
CPU    = 1
MEMORY = 512

OS = [ ARCH = x86_64,
        BOOT = hd,
        ROOT = sda1
]

DISK = [ source   = /var/lib/one/images/ubuntu.img,
         clone    = no,
         target   = sda,
         readonly = no ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

NIC    = [ NETWORK = "Small network" ]

依照上面的配置在 OpenNebula 上创建一个 Ubuntu 虚拟机，等待一下 OpenNebula 会自动根据当前资源情况调度，期间不断用 onevm list 命令查看当前虚拟机的创建情况，状态会从 pend -> prol -> boot -> runn，runn 状态就表示虚拟机已经成功创建并正常运行。最后检查一下 OpenNebula 是否成功创建一个名叫 ubuntu 的虚拟机：

$ onevm create ubuntu.one

$ onevm list
   ID     USER     NAME STAT CPU     MEM        HOSTNAME        TIME
   42 oneadmin   ubuntu runn   1    512M          node00 00 01:16:39

昨天一台 Linux Xen 服务器莫名其妙就不能访问了，开始以为又碰到 server kernel: ip_conntrack: table full, dropping packet. 问题，没仔细看。后来过了2个小时又不能访问了，看了一下日志是服务器自己 shutdown 了，不是网络的问题。再看日志发现错误信息：

Nov 24 05:32:22 ivps kernel: ACPI: Critical trip point
Nov 24 05:32:22 ivps kernel: Critical temperature reached (76 C), shutting down.

原因是 CPU 温度过高超过了警戒温度，查一下系统默认的警戒温度是75度，所以到了76度系统就自动 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           75 C

服务器温度有这么高吗？查看一下当前温度吓一跳，刚启动的系统又到了74度，系统马上又要 shutdown 了：

# cat /proc/acpi/thermal_zone/THRM/temperature
temperature:             74 C

紧急做法是暂时修改默认报警温度到85度：

# echo 85:0:80:60:0 > /proc/acpi/thermal_zone/THRM/trip_points

# cat /proc/acpi/thermal_zone/THRM/trip_points
critical (S5):           85 C

一般来说 CPU 温度超过70度都是很高的温度了，如果不是系统和程序的原因要赶紧检查服务器周围的环境，检查机房和机柜温度情况、服务器风扇、内部积灰等，让 CPU 和主板长时间工作在高温下可不是好事情。当然不同 CPU 所能耐的住的温度也不同，VPSee 推荐 Intel Core 2 Quad CPU 保持在70度以下，Intel Core i7 CPU 保持在80度以下，这样 CPU 和系统能全速工作发挥最大效率而温度又不至于损坏 CPU.

说是给 OpenNebula 做 Windows 镜像其实就是做个 KVM 上的 Windows 虚拟机而已，操作步骤无非就是：创建一个硬盘、在硬盘上安装 Windows 系统、把安装好的 Windows 镜像当作模板来复制和创建 Windows 虚拟机。

创建一个 10GB 大小的 “硬盘”（raw 格式）：

$ kvm-img create -f raw windowsxp.img 10G
Formatting 'windowsxp.img', fmt=raw size=10737418240

然后使用 ISO 文件的 windowsxp.iso 安装盘来安装 Windows，注意运行 kvm 需要 root 权限，否则会出现 open /dev/kvm: Permission denied 错误：

$ sudo kvm -m 1024 -cdrom windowsxp.iso -drive file=windowsxp.img -boot d -nographic -vnc :0

在另外一台机器上启动 vnc 客户端登录完成 windows 安装：

$ vncview 172.16.39.111:5900
或者
$ vncview 172.16.39.111:0

安装完 windows 后可以进行一些必要的定制，比如打开 RDP 访问、设置防火墙不要屏蔽 RDP 和 ICMP 等。

创建和编辑虚拟网络配置文件，然后创建一个 OpenNebula 虚拟网络（参考：在 CentOS 上安装和配置 OpenNebula）：

$ vi small_network.net
NAME = "Small network"
TYPE = FIXED

BRIDGE = br0
LEASES = [ IP="172.16.39.111"]
LEASES = [ IP="172.16.39.112"]
LEASES = [ IP="172.16.39.113"]

$ onevnet create small_network.net 

$ onevnet list
  ID USER     NAME              TYPE BRIDGE P #LEASES
   0 oneadmin Small network    Fixed    br0 N       0

创建和编辑 Windows XP 虚拟机的启动配置文件：

$ vi windowsxp.one

NAME  = winxp
CPU   = 1
MEMORY = 1024

OS = [ boot = hd ]

DISK = [ source  = /var/lib/one/images/windowsxp.img,
         clone    = no,
         target   = hda,
         readonly = no ]

GRAPHICS = [ type ="vnc",
             listen ="0.0.0.0",
             port = "5900" ]

FEATURES = [ acpi="yes" ]

NIC    = [ NETWORK = "Small network" ]

依照上面的配置在 OpenNebula 上创建一个 Windows 虚拟机，等待片刻后不断用 onevm list 命令查看当前虚拟机的创建情况，状态一般会从 pend -> prol -> boot -> runn，runn 状态就表示虚拟机已经成功创建并正常运行。最后检查一下 OpenNebula 是否成功创建一个名叫 winxp 的 Windows 虚拟机：

$ onevm create windowsxp.one

$ onevm list
   ID     USER     NAME STAT CPU     MEM        HOSTNAME        TIME
   32 oneadmin     winxp runn   6   1024M          node00 00 00:20:26

上面的 Windows 虚拟机无法正确得到 OpenNebula 预分配的 IP 地址，需要在 Windows 里配置网络连接手动绑定静态 IP，有办法可以从 OpenNebula 那里自动获得 IP，这个问题留到以后再说。