VPSee 上次写的一篇密码保护的文章已经发表在 Linuxpilot 月刊第111期，标题是：Ubuntu 自建「Amazon EC2」私有云，3月14日出版，文章图文并茂详细的描述了如何架设 OpenStack 私有云。这本杂志主要在香港和台湾发行，在香港书报摊、7 Eleven、OK 便利店、书店和多个台湾销售点都能买到，售价是40元港币。我不太清楚大陆书店或报刊亭是否能买到，望买到的朋友能留言告知～～

Linuxpilot月刊第111期簡介

名稱：Linuxpilot 國際中文版
售價：HK$40/NT$160
編輯：蕭友強 主筆：麥經倫
出版：Linux Pilot Ltd.
出版日期：2012年3月14日
對象：企業用戶及進階用戶
頁數：Linuxpilot 76頁+2頁海報+商智謀略 16頁 (全彩印刷)
尺寸：280mm高 x 205mm闊 (A4 Size)
網址：www.linuxpilot.com 電郵：[email protected]
地址：香港九龍觀塘鯉魚門道2號新城工商中心2樓9室

每次給自己的电脑重装系统都是一件很无聊的事情，如果需要重装上百台虚拟机和服务器不但很无聊而且很耗时，面对现在云时代大量服务器和虚拟机的出现，运维必须要自动化。现在有很多开源工具可以帮助我们实现自动化安装系统，比如 FAI, Cobbler, Spacewalk, Ubuntu Orchestra 等，我们打算把 Cobbler 安装在某台虚拟机上，为我们新购的16台刀片服务器自动安装系统。

Cobbler 是一个系统启动服务（boot server），可以通过网络启动（PXE）的方式用来快速安装、重装物理服务器和虚拟机，支持安装不同的 Linux 发行版和 Windows. Cobbler 是个轻量级 Python 程序，总共大概1.5万行代码，还可以用来管理 DHCP, DNS, yum 源等。Cobbler 使用命令行方式管理，也提供了基于 Web 的界面管理工具（cobbler-web），不过命令行方式已经很方便，实在没有必要为了不实用的 Web 界面再添加一个 Web 服务器。

修改 DHCP 服务器配置

使用 Cobbler 最好配合现有局域网上的 DHCP 服务器一起使用，这样不会因为 Cobbler 干扰现有局域网。我们不打算用 Cobbler 来管理整个网络的 DHCP，因为我们已经有了 DHCP 服务器，所以只要在现有的 DHCP 服务器上做以下配置即可，下面记得调整 192.168.2.22 这个 IP 地址指向 Cobbler 服务器：

# for Cobbler setup
host cobbler {
    option host-name "cobbler";
    ddns-hostname "cobbler";
    hardware ethernet 00:0c:29:2d:2c:39; #MAC address of cobbler server
            fixed-address 192.168.2.22; #IP of Cobbler server
            allow booting;
    allow bootp;
    class "PXE" {
        match if substring(option vendor-class-identifier, 0, 9) = "PXEClient";
        next-server 192.168.2.22; #IP of Cobbler server
            filename "pxelinux.0";
    }
}

安装和配置 Cobbler

Cobbler 不在 CentOS 6.2 的基本源中，需要导入 EPEL 源：

# rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm
Retrieving http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-5.noarch.rpm
warning: /var/tmp/rpm-tmp.lo2Hd0: Header V3 RSA/SHA256 Signature, key ID 0608b895: NOKEY
Preparing...                ########################################### [100%]
   1:epel-release           ########################################### [100%]

# yum update
# yum upgrade

安装 cobbler：

# yum install cobbler

修改配置，主要修改 cobbler 服务器所在的 IP 地址：

# vi /etc/cobbler/settings
...
next_server: 192.168.2.22 #IP of Cobbler server
server: 192.168.2.22 #IP of Cobbler server
...

启用 httpd, xinetd 和 cobbler 服务并确认已经加到系统自动启动服务中：

# /etc/init.d/httpd start
# /etc/init.d/xinetd start
# /etc/init.d/cobblerd start

# chkconfig httpd on
# chkconfig xinetd on
# chkconfig cobblerd on

修改 rsync 和 tftp 这两个服务的 xinetd 配置：

# vi /etc/xinetd.d/rsync
service rsync
{
        disable = no
...
}

# vi /etc/xinetd.d/tftp
service tftp
{
        ...
        disable = no
        ...
}

关闭防火墙和 SELinux 后重启系统：

# /etc/init.d/iptables stop
# chkconfig iptables off

# vi /etc/sysconfig/selinux
...
SELINUX=disabled
...

# reboot

检查和修改 Cobbler 配置

系统重启后用 cobbler check 检查发现3个配置信息问题，第一个是如果要部署 debian/ubuntu 系统需要 debmirror 软件包；第二个是需要修改 cobbler 的默认密码；第三个是可选，想使用电源管理功能的话需要安装 cman 或 fence-agents：

# cobbler get-loaders

# cobbler check
The following are potential configuration items that you may want to fix:

1 : debmirror package is not installed, it will be required to manage debian deployments and repositories
2 : The default password used by the sample templates for newly installed machines (default_password_crypted in /etc/cobbler/settings) is still set to 'cobbler' and should be changed, try: "openssl passwd -1 -salt 'random-phrase-here' 'your-password-here'" to generate new one
3 : fencing tools were not found, and are required to use the (optional) power management features. install cman or fence-agents to use them

Restart cobblerd and then run 'cobbler sync' to apply changes.

现在来修复上面三个问题，我们希望能让这台 cobbler 服务器能同时部署 CentOS/Fedora 和 Debian/Ubuntu 系统，所以需要安装 debmirror，安装 debmirror-20090807-1.el5.noarch.rpm 前需要先安装依赖包：

# yum install wget
# yum install ed patch perl perl-Compress-Zlib perl-Cwd perl-Digest-MD5 \
perl-Digest-SHA1 perl-LockFile-Simple perl-libwww-perl

# wget ftp://fr2.rpmfind.net/linux/epel/5/ppc/debmirror-20090807-1.el5.noarch.rpm

# rpm -ivh debmirror-20090807-1.el5.noarch.rpm

修改 /etc/debmirror.conf 配置文件，注释掉 @dists 和 @arches 两行：

# vi /etc/debmirror.conf
...
#@dists="sid";
@sections="main,main/debian-installer,contrib,non-free";
#@arches="i386";
...

用 openssl 生成一串密码后加入到 cobbler 的配置文件（/etc/cobbler/settings）里，替换 default_password_crypted 字段：

# openssl passwd -1 -salt 'www.vpsee.com' 'vpsee'
$1$www.vpsee$T5FgCHY2P0NDr6JmbN0Bl0

# vi /etc/cobbler/settings
default_password_crypted: "$1$www.vpsee$T5FgCHY2P0NDr6JmbN0Bl0"

安装 cman：

# yum install cman

修复完成，再用 cobbler check 检查一下，确认没问题后用 cobbler sync 做同步操作：

# cobbler check
No configuration problems found.  All systems go.

# cobbler sync

导入 ISO

挂载 CentOS-6.2-x86_64-bin-DVD1.iso 安装光盘然后导入到 cobbler（注意这个 iso 文件有 4GB 多，导入可能需要一段时间），导入成功后 cobbler list 查看一下：

# mount -o loop -t iso9660 CentOS-6.2-x86_64-bin-DVD1.iso /mnt

# cobbler import --path=/mnt --name=CentOS-6.2-x86_64-bin-DVD1 –arch=x86_64

# cobbler sync

# cobbler list
distros:
   CentOS-6.2-bin-DVD1-x86_64

profiles:
   CentOS-6.2-bin-DVD1-x86_64

systems:

repos:

images:

测试

最后创建一台虚拟机测试一下，把虚拟机设置成网络 PXE 启动（和 cobbler 在同一个网络），启动后就可以看到 Cobbler 引导界面，看到界面后选择 CentOS-6.2-bin-DVD1-x86_64 条目就可以顺利开始无人工干预安装系统，Cobbler 引导界面如下：

安装完系统后默认的密码是啥呢？根据 sample.ks 的配置提示，这个密码 $default_password_crypted 就是我们上面用 openssl passwd -1 -salt ‘www.vpsee.com’ ‘vpsee’ 生成的密码，所以这里的 root 密码是 vpsee：

# cat /var/lib/cobbler/kickstarts/sample.ks
...
#Root password
rootpw --iscrypted $default_password_crypted

云计算时代系统管理员会经常陷入一系列的重复任务中，创建虚拟机，安装或重装系统，升级软件包，管理配置文件，添加、管理和配置系统服务等。这些任务低效而且无聊，我们需要把他们自动化，于是就出现了系统管理员自己写的脚本，用定制脚本实现自动化，但是自己写的脚本要保证能顺利运行在不同的平台上不是一件轻松的工作，每次操作系统更新都需要重新测试定制脚本，耗费大量时间和精力，灵活性和功能也很难保证。而且脚本语言虽然简单，但是自己写的脚本不一定别的管理员就能马上看懂，有时候自己看别人写的脚本或代码不是一件愉快的事情。所以出现了类似 Puppet, Chef 这样的自动化配置管理工具。为啥 Linode 只有19人就能应付上千服务器上万用户，这就是自动化带来的好处。

Puppet 是一个客户端/服务器（C/S）架构的配置管理工具，在中央服务器上安装 puppet-server 服务器（puppet master），在需要被管理的目标服务器上安装 puppet 客户端软件（puppet client）。当客户端连接上服务器后，定义在服务器上的配置文件会被编译，然后在客户端上运行。客户端每隔半小时主动会和服务器通信一次，确认配置信息的更新情况，如果有新的配置信息（或者配置有变化），配置文件将会被重新编译并分发到客户端执行。当然，也可以在服务器上主动触发更新指令来强制各客户端进行配置更新。

以下安装采用两台服务器，一台是 master.vpsee.com 用来安装 puppet-server 服务；一台是 client.vpsee.com 用来安装 puppet 客户端。

Puppet 要求所有机器有完整的域名（FQDN），如果没有 DNS 服务器提供域名的话，可以在两台机器上设置主机名（注意要先设置主机名再安装 Puppet，因为安装 Puppet 时会把主机名写入证书，客户端和服务端通信需要这个证书）：

# vi /etc/hosts
192.168.2.10    master master.vpsee.com
192.168.2.11    client client.vpsee.com

Puppet 要求所有机器上的时钟保持同步，所以需要安装和启用 ntp 服务（如果采用 CentOS-6.2-x86_64-minimal.iso 最小化安装，需要额外安装这个软件包）。

# yum install ntp

# chkconfig ntpd on

# ntpdate pool.ntp.org
29 Feb 15:22:47 ntpdate[15867]: step time server 196.25.1.1 offset 98.750417 sec

# service ntpd start
Starting ntpd:                                             [  OK  ]

安装 puppet 服务

Puppet 需要 Ruby 的支持，如果要查看命令行帮助的话需要额外 ruby-rdoc 这个软件包：

# yum install ruby ruby-lib ruby-rdoc

Puppet 不在 CentOS 的基本源中，需要加入 PuppetLabs 提供的官方源：

# yum -y install wget

# wget http://yum.puppetlabs.com/el/6/products/x86_64/puppetlabs-release-6-1.noarch.rpm

# yum install puppetlabs-release-6-1.noarch.rpm

# yum update

在 master 上安装和启用 puppet 服务：

# yum install puppet-server

# chkconfig puppet on

# service puppetmaster start
Starting puppetmaster:                                     [  OK  ]

关闭 iptables：

# /etc/init.d/iptables stop
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]

安装 puppet 客户端

在 client 上安装 puppet 客户端：

# yum install puppet

Puppet 客户端使用 HTTPS 和服务端（master）通信，为了和服务器端通信必须有合法的 SSL 认证，第一次运行 puppet 客户端的时候会生成一个 SSL 证书并指定发给 Puppet 服务端。

# puppet agent --no-daemonize --onetime --verbose --debug --server=master.vpsee.com

Puppet 服务端接受到客户端的证书后必须签字（sign）才能允许客户端接入，sign 后用 puppet cert list –all 查看会发现 client.vpsee.com 前面多了一个 + 后，表示 “加入” 成功：

# puppet cert list --all
  client.vpsee.com (65:3C:20:82:AE:F6:23:A8:0A:0B:09:EF:05:64:1D:BB)
+ master.vpsee.com   (AF:A0:32:78:D4:EB:D3:EE:02:1C:62:1C:83:3C:46:EC) (alt names: DNS:master, DNS:master.vpsee.com)

# puppet cert --sign client.vpsee.com
notice: Signed certificate request for client.vpsee.com
notice: Removing file Puppet::SSL::CertificateRequest client.vpsee.com at '/var/lib/puppet/ssl/ca/requests/client.vpsee.com.pem'

# puppet cert list --all
+ client.vpsee.com (65:3C:20:82:AE:F6:23:A8:0A:0B:09:EF:05:64:1D:BB)
+ master.vpsee.com   (AF:A0:32:78:D4:EB:D3:EE:02:1C:62:1C:83:3C:46:EC) (alt names: DNS:master, DNS:master.vpsee.com)

这样，客户端和服务端就配置好了，双方可以通信了。

Hello, world

现在可以在服务端写个小例子来测试一下。这个例子作用很简单，用来在客户端的 /tmp 目录下新建一个 helloworld.txt 文件，内容为 hello, world. 在服务端编写代码：

# vi /etc/puppet/manifests/site.pp
node default {
        file {
                "/tmp/helloworld.txt": content => "hello, world";
        }
}

在客户端上执行 puppet，运行成功后会在 /tmp 看到新生成的 helloworld.txt：

$ puppet agent --test --server=master.vpsee.com
warning: peer certificate won't be verified in this SSL session
info: Caching certificate for client.vpsee.com
info: Caching certificate_revocation_list for ca
info: Caching catalog for client.vpsee.com
info: Applying configuration version '1330668451'
notice: /Stage[main]//Node[default]/File[/tmp/helloworld.txt]/ensure: defined content as '{md5}e4d7f1b4ed2e42d15898f4b27b019da4'
info: Creating state file /home/vpsee/.puppet/var/state/state.yaml
notice: Finished catalog run in 0.03 seconds

$ cat /tmp/helloworld.txt
hello, world

如果想偷懒，可以直接使用 Example42 的开源 Puppet 模块。

昨天刚发现新购的 Dell PowerEdge R710 服务器上配的 Intel Ethernet Server Adapter X520-T2 万兆网卡居然在 VMware ESXi 里找不到，查了一下有 VMware 的官方驱动，不过需要另外安装。

到 VMWare 官方网站下载网卡驱动，然后上传到 VMware ESXi 服务器的一个临时目录 /tmp（用 scp 上传的话当然首先要开启 VMware ESXi 的 SSH 服务）：

$ scp ixgbe-3.4.23-458775.zip [email protected]:/tmp

ssh 登陆到 VMware ESXi 服务器后解压驱动包，解压后会得到后缀为 .vib 的驱动文件：

$ ssh [email protected]
Password:
The time and date of this login have been sent to the system logs.

VMware offers supported, powerful system administration tools.  Please
see www.vmware.com/go/sysadmintools for details.

The ESXi Shell can be disabled by an administrative user. See the
vSphere Security documentation for more information.
~ # cd /tmp/
/tmp # unzip ixgbe-3.4.23-458775.zip
Archive:  ixgbe-3.4.23-458775.zip
  inflating: ixgbe-3.4.23-offline_bundle-458775.zip
  inflating: net-ixgbe-3.4.23-1OEM.500.0.0.406165.x86_64.vib
  inflating: doc/README.txt
  inflating: source/driver_source_net-ixgbe_3.4.23-1OEM.500.0.0.406165.tgz
  inflating: doc/open_source_licenses_net-ixgbe_3.4.23-1OEM.500.0.0.406165.txt
  inflating: doc/release_note_net-ixgbe_3.4.23-1OEM.500.0.0.406165.txt

使用 esxcli 命令行安装 vib 驱动并检查是否安装成功：

/tmp # esxcli software vib install -v /tmp/net-ixgbe-3.4.23-1OEM.500.0.0.406165.x86_64.vib
Installation Result
   Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
   Reboot Required: true
   VIBs Installed: Intel_bootbank_net-ixgbe_3.4.23-1OEM.500.0.0.406165
   VIBs Removed:
   VIBs Skipped: 

/tmp # esxcli software vib list
Name                  Version                             Vendor  Acceptance Level  Install Date
--------------------  ----------------------------------  ------  ----------------  ------------
net-ixgbe             3.4.23-1OEM.500.0.0.406165          Intel   VMwareCertified   2012-02-24
...

安装成功后重启 VMware ESXi，然后查看一下 Intel Corporation 10-Gigabit 网卡驱动是否能被正确识别出来：

/tmp # lspci | grep 'Network controller'
000:001:00.0 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709 1000Base-T [vmnic0]
000:001:00.1 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709 1000Base-T [vmnic1]
000:002:00.0 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709 1000Base-T [vmnic2]
000:002:00.1 Network controller: Broadcom Corporation Broadcom NetXtreme II BCM5709 1000Base-T [vmnic3]
000:007:00.0 Network controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection [vmnic4]
000:007:00.1 Network controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection [vmnic5]
000:008:00.0 Network controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection [vmnic6]
000:008:00.1 Network controller: Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection [vmnic7]

使用 vSphere Client 客户端登入 VMware ESXi 以后，进入 Configuration 页面的 Network Adapters 应该会看到新安装的 vmnic4, vmnic5, vmnic6, vmnic7 4个网卡接口了，或者直接在 ESXi 上用命令行界面：

~ # esxcfg-nics -l
Name    PCI           Driver      Link Speed     Duplex MAC Address       MTU    Description
...
vmnic4  0000:07:00.00 ixgbe       Up   10000Mbps Full   90:e2:ba:05:2d:fc 1500   Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection
vmnic5  0000:07:00.01 ixgbe       Down 0Mbps     Half   90:e2:ba:05:2d:fd 1500   Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection
vmnic6  0000:08:00.00 ixgbe       Down 0Mbps     Half   90:e2:ba:05:29:98 1500   Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection
vmnic7  0000:08:00.01 ixgbe       Up   10000Mbps Full   90:e2:ba:05:29:99 1500   Intel Corporation 82599EB 10-Gigabit SFI/SFP+ Network Connection

安装 OpenStack 对新手来说是个痛苦的过程，尤其是 OpenStack 和它依赖的一些组件在快速发展中，经常出现这个版本 keystone 对不上那个版本 dashboard 类似的情况。如果只是想看看 OpenStack 的话，使用 DevStack 是个不错的办法。DevStack 实际上是个 shell 脚本，可以用来快速搭建 OpenStack 的运行和开发环境，特别适合 OpenStack 开发者下载最新的 OpenStack 代码后迅速在自己的笔记本上搭建一个开发环境出来。正如 DevStack 官方所强调的，devstack 不适合用在生产环境。

Can I use DevStack for production?
A: No. We mean it. Really. DevStack makes some implementation choices that are not appropriate for production deployments. We warned you!

维护一个支持多 Linux 发行版的脚本需要很多工作，为了保持简单，DevStack 目前只支持 Ubuntu 11.10 发行版。使用 devstack 脚本很简单，安装 git，然后下载 devstack 代码到本地，运行 stack.sh 脚本依次设定 MySQL, RabbitMQ, OpenStack Dashboard 和 Keystone 的密码，密码输入后 stack.sh 脚本会自动开始安装必要的软件包和库并下载最新的 OpenStack 及其组件代码，整个过程自动完成无需干预：

$ sudo apt-get install git

$ git clone git://github.com/openstack-dev/devstack.git
$ cd devstack/
$ ./stack.sh 

################################################################################
ENTER A PASSWORD TO USE FOR MYSQL.
################################################################################
This value will be written to your localrc file so you don't have to enter it
again.  Use only alphanumeric characters.
If you leave this blank, a random default value will be used.
Enter a password now:
...

horizon is now available at http://192.168.2.240/
keystone is serving at http://192.168.2.240:5000/v2.0/
examples on using novaclient command line is in exercise.sh
the default users are: admin and demo
the password: vpsee
This is your host ip: 192.168.2.240
stack.sh completed in 684 seconds.
$

如果对默认的 tty.tgz 镜像不满意，想用 ubuntu 11.10 镜像的话编辑 stack.sh 脚本，在 for image_url in ${IMAGE_URLS//,/ }; do 一行上面加入 IMAGE_URLS=http://uec-images.ubuntu.com/oneiric/current/oneiric-server-cloudimg-amd64.tar.gz 这行，然后重新运行 stack.sh 脚本：

$ vi stack.sh
...
    IMAGE_URLS=http://uec-images.ubuntu.com/oneiric/current/oneiric-server-cloudimg-amd64.tar.gz
    for image_url in ${IMAGE_URLS//,/ }; do
        # Downloads the image (uec ami+aki style), then extracts it.
        IMAGE_FNAME=`basename "$image_url"`
        if [ ! -f $FILES/$IMAGE_FNAME ]; then
            wget -c $image_url -O $FILES/$IMAGE_FNAME
        fi

        KERNEL=""
        RAMDISK=""
...

$ ./stack.sh

还有一点值得注意的地方，如果想使用现有的网络，比如安装 devstack 的这台服务器地址是 192.168.2.240，想让所有运行在上面的 instance 的地址为 192.168.2.241-192.168.2.247 的话，需要修改 stack.sh 里面的 TEST_FLOATING_RANGE，然后重新运行 stack.sh 脚本：

$ vi stack.sh
...
#TEST_FLOATING_RANGE=${TEST_FLOATING_RANGE:-192.168.253.0/29}
TEST_FLOATING_RANGE=${TEST_FLOATING_RANGE:-192.168.2.240/29}
...

$ ./stack.sh

DevStack 安装结束后打开浏览器访问 http://192.168.2.240/ 就可以看到 OpenStack Dashboard 界面，用户名是 admin，密码是刚才设定的密码，输入正确后就会进入 Dashboard，最新的 OpenStack Dashboard 已经有了很大改善，可以创建或导入 keypairs，启动或终止 instance，分配和注射 IP 给 instance，创建和分配 volume 等，还可以添加和管理用户等。界面如下：

记得以前就有人问过 “能不能在一个虚拟机上运行虚拟机”，答案当然是可以的，Xen HVM, KVM, VMware, Qemu 等 Hypervisor 都可以这样嵌套虚拟，不过由于性能低下实际用处不大。在 VMware ESXi 虚拟机上运行虚拟机，被称为多层虚拟或者嵌套虚拟机（Nested VMs）。如果只有一台电脑想测试多节点 OpenStack 环境的话，使用 VMware ESXi 虚拟几个运行 KVM Hypervisor 的 OpenStack 计算节点是个不错的办法。VMware ESXi 5.0 默认情况下不支持嵌套虚拟，所以在 VMware ESXi 虚拟机里安装完 KVM 以后会发现 KVM 虽然能装但不可用：

# kvm-ok
INFO: Your CPU does not support KVM extensions
KVM acceleration can NOT be used

解决办法很简单：1、修改 VMware ESXi 的设置；2、修改对应虚拟机的设置。

登陆 VMware ESXi 控制台打开 VMware ESXi 5.0 的 SSH 服务（默认 SSH 服务是关闭的），然后用 ssh 登陆 VMware ESXi 后在 config 文件中最后加入 vhv.allow = “TRUE” 一行：

# vi /etc/vmware/config
libdir = "/usr/lib/vmware"
authd.proxy.vim = "vmware-hostd:hostd-vmdb"
authd.proxy.nfc = "vmware-hostd:ha-nfc"
authd.proxy.nfcssl = "vmware-hostd:ha-nfcssl"
authd.proxy.vpxa-nfcssl = "vmware-vpxa:vpxa-nfcssl"
authd.proxy.vpxa-nfc = "vmware-vpxa:vpxa-nfc"
authd.fullpath = "/sbin/authd"
authd.soapServer = "TRUE"
vmauthd.server.alwaysProxy = "TRUE"
vhv.allow = "TRUE"

重启 VMware ESXi 后编辑虚拟机选项（需要先关闭虚拟机），打开 Edit virtual machine settings 对话框，在 options 页面的 General Options 选项里把 Guest Operating System 的类型换成 Other 里面的 VMware ESxi 5.x，如图：

最后启动虚拟机后再 kvm-ok 一下就可以看到 KVM 可以用了：

# kvm-ok
INFO: /dev/kvm exists
KVM acceleration can be used

相关阅读：
在 CentOS 上安装和配置 KVM.
在 VMware ESXi 上安装 Minix.
在 VMware ESXi 虚拟机上运行不同的 Hypervisor 可以看看 VMware 的 Running Nested VMs.

做 CentOS 镜像的过程和去年写的那篇为 OpenStack Nova 制作 Ubuntu 镜像的步骤差不多，不过这半年 OpenStack 发展神速，比以前要稳定多了，有些步骤可以省了，而且有些命令工具、参数、功能都有改动，比如以前的 uec-publish-image 改成了现在的 cloud-publish-image，功能也有变化。下面的制作镜像步骤在 Ubuntu 11.10 + OpenStack Diablo Release 上完成。

安装 CentOS 镜像

下载要安装的 CentOS 版本，这里选用最新的 CentOS 6.2：

$ wget http://mirrors.kernel.org/centos/6.2/isos/x86_64/CentOS-6.2-x86_64-minimal.iso

创建一个 10GB 大小的 “硬盘”（raw 格式），最好用一个较小的 “硬盘”，体积太大提交到云里会花很长时间，而且每次运行实例也会花很长时间：

$ kvm-img create -f raw centos.img 10G
Formatting 'centos.img', fmt=raw size=10737418240

使用刚才下载的 CentOS “安装盘” 和刚创建的 “硬盘” 引导启动系统，用 -vnc 参数打开 vnc 访问，这样可以从其他机器登录到这个界面安装系统：

$ sudo kvm -m 512 -cdrom CentOS-6.2-x86_64-minimal.iso \
-drive file=centos.img -boot d -net nic -net tap -nographic -vnc :0

用 vncviewer 登录后按照屏幕提示完成 CentOS 安装。需要注意的是在分区阶段把 10GB 硬盘全部划分成一个 ext4 root 分区，不要创建多个分区也不要创建 swap 区：

$ vncviewer 172.16.39.111:5900

安装完后会自动重启，如果没有重启的话按照下面的命令启动刚刚安装好的虚拟机镜像 centos.img，如果出现 failed to find romfile “pxe-rtf8139.bin” 的错误提示可以通过安装 kvm-pxe 解决：

$ sudo kvm -m 512 -drive file=centos.img -boot c -net nic -net tap \
-nographic -vnc :0
kvm: pci_add_option_rom: failed to find romfile "pxe-rtl8139.bin"

$ sudo apt-get install kvm-pxe

再次用 vnc 登录虚拟机镜像，安装一些必要工具（因为这个镜像将会是模板，所以最好保持最简最小化）：

$ vncviewer 172.16.39.111:5900

# yum update
# yum upgrade
# yum install openssh-server
# chkconfig sshd on

修改分区加载表（/etc/fstab），注释或删除以前的，加上 LABEL=cec-rootfs 一行：

# vi /etc/fstab
#UUID=47a90bea-2d88-4c82-a335-09c1533b1538 / ext4 defaults 1 1
LABEL=cec-rootfs                           / ext4 defaults 0 0

在网络接口配置里面注释或删除这行 #HWADDR= 一行，启用 DHCP：

# vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
#HWADDR="00:11:22:12:34:56"
#NM_CONTROLLED="yes"
BOOTPROTO=dhcp
ONBOOT="yes"

注射 ssh key 以便外界可以用 ssh -i mykey.priv root@host 的形式无密码登录到虚拟机实例，在 /etc/rc.local 文件中加入下面这些：

# vi /etc/rc.local
...
mkdir -p /root/.ssh
echo >> /root/.ssh/authorized_keys
curl -m 10 -s http://169.254.169.254/latest/meta-data/public-keys/0/openssh-key
| grep 'ssh-rsa' >> /root/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
echo "AUTHORIZED_KEYS:"
echo "－－－－－－－－－－－－－－－－－－－－"
cat /root/.ssh/authorized_keys
echo "－－－－－－－－－－－－－－－－－－－－"

别忘了还需要修改 sshd 的配置实现无密码登录：

# vi /etc/ssh/sshd_config
...
RSAAuthentication yes
PubkeyAuthentication yes
PermitRootLogin without-password
ChallengeResponseAuthentication no
PasswordAuthentication no
UsePAM no

需要关闭 SELINUX，否则即使上面 ssh 设定允许 root 无密码登录也无效：

# vi /etc/selinux/config
SELINUX=disabled
SELINUXTYPE=targeted

70-persistent-net.rules 会自动添加其他的网络接口，需要删除这个文件避免自动添加除了 eth0 以外的接口，关闭虚拟机准备发布镜像：

# rm -rf /etc/udev/rules.d/70-persistent-net.rules

# shutdown -h now

发布 CentOS 镜像

CentOS 镜像已经做好了，现在可以发布到云里了：

$ cloud-publish-image amd64 centos.img mybucket
ami-00000007    mybucket/centos.img.manifest.xml

等待一段时间后出现 ami-00000008 mybucket/centos.img.manifest.xml 表示我们刚制作的 CentOS 镜像已经正式发布到云里，以后就可以以这个镜像为模板来快速生成虚拟机实例（instance）。可以通过 euca-describe-images 来查看：

$ euca-describe-images
IMAGE	ami-00000008	images/centos.img.manifest.xml		available	private		x86_64	machine	 	 	instance-store

第一个 CentOS 虚拟机实例

有了 CentOS 镜像（模板）以后我们就可以以这个 “镜像” 为模板来为云计算用户创建 n 个 CentOS 虚拟机（操作系统）实例，不过在运行实例之前需要 key：

$ euca-add-keypair mykey > mykey.priv
$ chmod 600 mykey.priv 

$ euca-describe-keypairs
KEYPAIR	mykey	76:7d:93:88:a0:e5:3e:5d:4b:62:cd:85:c5:23:7a:05

$ euca-run-instances -k mykey -t m1.small ami-00000008
RESERVATION	r-hzwwif81	vpseecloud	default
INSTANCE	i-0000002a	ami-00000008	pending	vpsee (vpseecloud, None)	0		m1.small	2012-02-01T14:26:51Z	unknown zone	aki-00000001	ami-00000000

上面使用 euca-run-instances 创建一个实例后可以用 nova-manage 命令看到：

$ euca-describe-instances
RESERVATION	r-z973l7mm	vpseecloud	default
INSTANCE	i-0000002a	ami-00000008	172.16.39.200	172.16.39.200	running	vpsee (vpseecloud, cloud00)	0		m1.small	2012-02-01T13:56:02Z	nova	ami-00000000	ami-00000000

还记得在 Ubuntu 上安装和配置 OpenStack Nova 的创建网络部分吗？看看现在云里面 IP 的分配情况：

$ sudo nova-manage network list
id   	IPv4              	IPv6           	start address  	DNS1           	DNS2           	VlanID         	project        	uuid
1    	172.16.38.0/23    	None           	172.16.38.2    	8.8.4.4        	None           	None           	None           	None

刚才用 euca-run-instances 启动的一个 ubuntu 虚拟机实例的 IP 就是从 172.16.38.2 开始的，目前分配的 IP 是 172.16.39.200（从 euca-describe-instances 可以看出来），所以 ssh 登录这个 IP 就登上了我们的 CentOS 云虚拟机：

$ ssh -i mykey.priv [email protected]
[root@server-25 ~]#

想制作 Windows 虚拟机镜像的话可以看这篇：为 OpenStack Nova 制作 Windows 镜像。

我们的云计算头节点这周到货了，采用的是 Dell PowerEdge R710，Intel Xeon CPU E5645 @2.40GHz (12 Cores), 4x300GB SAS (15K), 96GB 内存。这样的配置对于我们的头节点来说过于强大，我们可能考虑用 VMware ESXi 虚拟后用其中的一台虚拟机做 OpenStack/OpenNebula 头节点，用 VMware ESXi 有个问题，免费版本的 VMware ESXi 5.0 虚拟出来的单台虚拟机最多只能支持8核心，而这台服务器逻辑上有24核心，有点浪费。图片最上面的是头节点（Dell PowerEdge R710），中间的是计算节点（Dell PowerEdge M710HD），最下面的是存储。

OpenStack 几乎支持现在所有主流的虚拟技术和 Hypervisor，如 KVM, Hyper-V, LXC, QEMU, UML, VMWare ESX/ESXi, Xen/XenServer 等，未来还会支持 OpenVZ 和 VirtualBox. 不过 OpenStack 首选的 Hypervisor 是 KVM，OpenStack 安装后默认使用的是 KVM (–libvirt_type=kvm)，不需要特别配置。如果由于某种原因，比如服务器 CPU 不支持 Intel VT-x/AMD-V 不能使用 KVM 或者想简单尝试一下另外一种 Hypervisor 怎么办呢？方法很容易，1、更改 OpenStack Nova 的配置文件（–libvirt_type）；2、给所有的 Compute 结点装上相应的 Hypervisor 就可以了。以下以 LXC 为例来说明如何更换 OpenStack Nova 的 Hypervisor，LXC 使用的是与 Xen 和 KVM 完全不同的虚拟技术，和 OpenVZ 的容器技术有点类似。

首先在所有 openstack nova compute 结点上替换现有的 nova-compute-kvm 到 nova-compute-lxc：

$ sudo apt-get install nova-compute-lxc

LXC 使用 cgroup 文件系统来限制资源和进程，libvirt 需要 cgroup 文件系统来运行 LXC，我们只要在 nova compute 上创建一个 ctroups 目录并且在 /etc/fstab 最后加上 none /cgroups cgroup cpuacct,memory,devices,cpu,freezer,blkio 0 0 这行就可以了，别忘了重启系统：

$ sudo mkdir /cgroups

$ vi /etc/fstab
none /cgroups cgroup cpuacct,memory,devices,cpu,freezer,blkio 0 0

$ sudo reboot

重启后可以看到 /cgroups 下面多了很多东西：

$ ls /cgroup/
blkio.io_merged                   cpu.shares
blkio.io_queued                   devices.allow
blkio.io_service_bytes            devices.deny
blkio.io_serviced                 devices.list
blkio.io_service_time             libvirt
blkio.io_wait_time                memory.failcnt
blkio.reset_stats                 memory.force_empty
blkio.sectors                     memory.limit_in_bytes
blkio.throttle.io_service_bytes   memory.max_usage_in_bytes
blkio.throttle.io_serviced        memory.memsw.failcnt
blkio.throttle.read_bps_device    memory.memsw.limit_in_bytes
blkio.throttle.read_iops_device   memory.memsw.max_usage_in_bytes
blkio.throttle.write_bps_device   memory.memsw.usage_in_bytes
blkio.throttle.write_iops_device  memory.move_charge_at_immigrate
blkio.time                        memory.numa_stat
blkio.weight                      memory.oom_control
blkio.weight_device               memory.soft_limit_in_bytes
cgroup.clone_children             memory.stat
cgroup.event_control              memory.swappiness
cgroup.procs                      memory.usage_in_bytes
cpuacct.stat                      memory.use_hierarchy
cpuacct.usage                     notify_on_release
cpuacct.usage_percpu              release_agent
cpu.rt_period_us                  tasks
cpu.rt_runtime_us

修改 OpenStack Nova 配置，将 nova-compute.conf 里面的 –libvirt_type=kvm 改成 lxc：

$ sudo vi /etc/nova/nova-compute.conf
--libvirt_type=lxc

$ sudo restart nova-compute

重启所有 nova compute 结点上的 nova-compute 服务，有必要的话重启所有 nova compute 结点。

那镜像怎么办呢？以前为 KVM 上传的镜像也可以用在 LXC 上吗？嗯，可以。下载 oneiric-server-cloudimg-amd64.tar.gz 解压并镜像到 OpenStack：

$ wget http://uec-images.ubuntu.com/oneiric/current/oneiric-server-cloudimg-amd64.tar.gz
$ tar zxvf oneiric-server-cloudimg-amd64.tar.gz

$ euca-bundle-image -i oneiric-server-cloudimg-amd64.img
$ euca-upload-bundle -b oneiric -m /tmp/oneiric-server-cloudimg-amd64.img.manifest.xml
$ euca-register oneiric/oneiric-server-cloudimg-amd64.img.manifest.xml

$ euca-describe-images
IMAGE	ami-00000001	oneiric/oneiric-server-cloudimg-amd64.img.manifest.xml		available	private		x86_64	machine	 	 	instance-store

$ euca-run-instances -k vpsee -t m1.tiny ami-00000001

$ euca-describe-instances
RESERVATION	r-4bbu7bd7	sanbi	default
INSTANCE	i-00000001	ami-00000001	172.16.39.6	172.16.39.6	running	vpsee (vpseecloud, node00)	0		m1.tiny	2012-01-20T08:04:05Z	nova	ami-00000000	ami-00000000

需要注意的是，OpenStack 目前不支持混合 Hypervisor，也就是说所有 nova compute 结点上必须使用同一种 Hypervisor，不过支持混合 Hypervisor 的 OpenStack 正在计划开发中。

先报告一下我们云计算项目的进度。去年休假前订购的服务器和部件已经陆续到货了，计算节点采用的是 Dell PowerEdge M710HD 刀片服务器，特别为数据中心级虚拟应用设计，海量内存、密集 IO 吞吐等优势，特别适合云计算、虚拟机等应用。现在正在等 Dell 的售后技术人员过来安装服务器和存储阵列，有些电源和机柜问题需要解决，顺利的话下周服务器可以上线。

OpenNebula 提供了 XML-RPC 的方式访问 OpenNebula Cloud Api (OCA)，这样就允许不同操作系统、不同语言编写的客户端程序可以通过 XML-RPC 远程调用的方式来访问 OpenNebula 服务。下面通过两个不同语言编写的最简单例子抛砖引玉一下，来看看如何是如何与 OCA 打交道的。

OpenNebula 绝大部分是由 Ruby 编写的，其提供的 Ruby OCA API 实现当然是最丰富和完整的。先安装 Ruby OCA Bindings：

$ sudo gem install oca

用 Ruby 编写一小段代码试验一下，以下代码用来打印当前云里每个计算结点的 hostname：

#!/usr/bin/ruby

require 'rubygems'
require 'oca'

include OpenNebula

# OpenNebula credentials
CREDENTIALS = "oneadmin:vpsee"

# XML_RPC endpoint where OpenNebula is listening
ENDPOINT    = "http://localhost:2633/RPC2"

client = Client.new(CREDENTIALS, ENDPOINT)
host_pool = HostPool.new(client)
rc = host_pool.info

# Print all the hostname from the host pool
host_pool.each do |host|
     puts host.name
end

再来看看用 Python 如何编写上面类似功能的代码。安装 Python OCA Bindings：

$ sudo easy_install oca

用 Python 编写一小段代码看一下：

#!/usr/bin/python

import oca

# OpenNebula credentials
CREDENTIALS = "oneadmin:vpsee"

# XML_RPC endpoint where OpenNebula is listening
ENDPOINT    = "http://localhost:2633/RPC2"

client = oca.Client(CREDENTIALS, ENDPOINT)
host_pool = oca.HostPool(client)
host_pool.info()

# Print all the hostname from the host pool
for host in host_pool:
    print host.name

应该没人会想在这种情况下用 Java 或 C++ 吧，Programming Examples 里面提供的 Java OCA 和 C++ 例子比 Ruby, Python 复杂得多。