Docker 是 dotCloud 最近几个月刚宣布的开源引擎，旨在提供一种应用程序的自动化部署解决方案，简单的说就是，在 Linux 系统上迅速创建一个容器（类似虚拟机）并在容器上部署和运行应用程序，并通过配置文件可以轻松实现应用程序的自动化安装、部署和升级，非常方便。因为使用了容器，所以可以很方便的把生产环境和开发环境分开，互不影响，这是 docker 最普遍的一个玩法。更多的玩法还有大规模 web 应用、数据库部署、持续部署、集群、测试环境、面向服务的云计算、虚拟桌面 VDI 等等。

Docker 使用 Go 语言编写，用 cgroup 实现资源隔离，容器技术采用 LXC. LXC 已经足够成熟，被多个主流 PaaS 服务商采用（比如 dotCloud），国内的一些互联网公司也在用（比如腾讯）。虽然都是企图解决自动化部署方面的问题，Docker 的解决方式有别于我们常提到的 Puppet/Chef，他们虽然走的是不同的路，但也可以拿来一起用。

上面说了 Docker 有很多玩法，下面介绍的玩法是：在服务器上用 docker 创建桌面系统，然后在客户端上通过 ssh 远程连接桌面，可以看作是平民化的 VDI 解决方案。

安装 Docker/LXC

如果 Linux kernel 是 3.8 以前的内核，或者内核缺少 aufs 模块需要安装额外的扩展模块：

$ sudo apt-get install linux-image-extra-`uname -r`

安装 lxc-docker：

$ sudo apt-get install software-properties-common
$ sudo add-apt-repository ppa:dotcloud/lxc-docker
$ sudo apt-get update
$ sudo apt-get install lxc-docker

运行一个简单系统

运行 docker 就会自动下载一个 ubuntu 镜像（第一次运行才需要下载），并在一个 container（容器）里运行一个 ubuntu 系统（类似虚拟机）和 shell：

$ docker run -i -t ubuntu /bin/bash

在 host 上 ps 一下发现 docker 使用 lxc-start 工具和 /var/lib/docker/containers/…/config.lxc 里的参数启动1个 lxc 容器并运行 /bin/bash 程序：

$ ps aux | grep docker
root     28103  0.0  0.0  21164  1116 ?        S    10:52   0:00 lxc-start -n a581df505cb9ea07e93de28d76fc9b4e1ee48b981ce994740efdaa65d0d307a3 -f /var/lib/docker/containers/a581df505cb9ea07e93de28d76fc9b4e1ee48b981ce994740efdaa65d0d307a3/config.lxc -- /sbin/init -g 172.16.42.1 -e HOME=/ -e PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin -e DEBIAN_FRONTEND=noninteractive -- /bin/bash /src/startup.sh

运行一个 Hello world

启动一个 ubuntu 系统然后打印 hello world，囧，一个 ubuntu 系统的存在就是为了打印一个 hello world，世界变了，反了，操作系统和应用程序的地位颠倒了～

$ docker run -i -t ubuntu echo hello world
hello world

运行一个 “桌面” 系统

来看看如何启动一个 “桌面” 系统，按照 docker-desktop 项目给的方法和这里的 Dockerfile开始 build 一个简单的 “桌面系统”：

$ docker build -t vpsee/docker-desktop git://github.com/rogaha/docker-desktop.git
Step 1 : FROM ubuntu:12.10
 ---> b750fe79269d
...
Successfully built 7774f89504e5

build 完后就可以用 docker images 命令看到：

$ docker images
REPOSITORY             TAG                 ID                  CREATED             SIZE
ubuntu                 12.04               8dbd9e392a96        3 months ago        131.5 MB (virtual 131.5 MB)
ubuntu                 12.10               b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
ubuntu                 latest              8dbd9e392a96        3 months ago        131.5 MB (virtual 131.5 MB)
ubuntu                 precise             8dbd9e392a96        3 months ago        131.5 MB (virtual 131.5 MB)
ubuntu                 quantal             b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
base                   latest              b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
base                   ubuntu-12.10        b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
base                   ubuntu-quantal      b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
base                   ubuntu-quantl       b750fe79269d        3 months ago        24.65 kB (virtual 180.1 MB)
vpsee/docker-desktop   latest              7774f89504e5        18 minutes ago      12.29 kB (virtual 1.576 GB)

启动这个刚 build 好的 “桌面系统” 吧，注意 a581df505cb9 是这个容器的 ID：

$ docker run -d vpsee/docker-desktop
a581df505cb9

这个系统有自己的内部 IP 地址，外界不能直接访问，所以要想从外界 ssh 登陆的话，需要把它的 ssh 服务端口（22）和 host 上某个端口通过 docker port 命令做个映射，这样访问 host 上的 49153 端口就是访问某个 container 里面的 22 端口了：

$ docker port a581df505cb9 22
49153

查看一下当前运行的容器：

$ docker ps
ID                  IMAGE                         COMMAND                CREATED             STATUS              PORTS
a581df505cb9        vpsee/docker-desktop:latest   /bin/bash /src/start   24 minutes ago      Up 24 minutes       49153->22

然后我们可以在 Mac/Linux 客户端上通过 ssh 访问这个 “桌面” 了：

$ ssh -YC -c blowfish docker@192.168.2.45 -p 49153 ./docker-desktop
docker@192.168.2.45's password:

注意上面的 password 是随机生成的（每次创建新系统密码都会变），那密码是什么呢？通过 docker logs 可以找到：

$ docker logs a581df505cb9
User: docker Password: ieFi2iu1Phie
Adding user `docker' to group `sudo' ...
Adding user docker to group sudo
Done.
.bashrc
.config/
.config/rox.sourceforge.net/
.config/rox.sourceforge.net/ROX-Filer/
.config/rox.sourceforge.net/ROX-Filer/pb_Default
.config/rox.sourceforge.net/ROX-Filer/globicons
.config/rox.sourceforge.net/ROX-Filer/panels
.config/rox.sourceforge.net/ROX-Filer/menus2
.config/rox.sourceforge.net/ROX-Filer/Options
spring-desktop-wallpaper-1920x1200-0911085.jpg
docker-desktop

从 Mac 上访问远端桌面的话需要有 X 环境（下载 XQuartz 安装即可）；从 Linux 上可以直接访问。登陆后界面如下：

（7月12日更新：改版失败，差评比好评多得多，不得不恢复到原状，不过时间没有白费，折腾一下还是学到不少东西～）

四年都没有改版，不知道大家看这个博客有没有审美疲劳，反正俺是有点看不下去了，特别是现在看多了扁平化设计后再回头看有点 “不适”。现在不是扁平化（flat）都不敢拿出去 show，好吧，俺被感染了，上周末花了点时间重新设计了 vpsee.com，加上一些陆陆续续的补补丁丁，改版已经基本完成。

根据 2013 Web Design Trends Infographic 的图示和理解，今年网站设计的趋势包括以下几点：responsive, metro or “flat”, minimalism, typography, parallax, infinite scrolling, content first, fixed header, single page websites, and large image backgrounds. 我们的改版选择了 responsive, flat, minimalism, content first 这几个关键字。

现代社会的特点是东东极为丰富，给用户和消费者的选择太多，选择多是好事，坏事是不知道选哪个，害怕自己把持不住眼花缭乱的世界，所以定了两条原则：“内容优先” 和 “简单”。不管 flat or not flat，不管是否大图片背景，不管响应设计还是不响应，都要遵循 content first 和 simplicity (and minimalism).

有了基本指导思想，做事的速度就快多了。唯一纠结的问题是导航条是选择放在上面（fixed header）还是放在左边（vertical navigation），vertical navigation 也是今年的流行趋势之一。貌似大部分网站都在用 fixed header，决定尝试一下 vertical navigation.

工具方面，Twitter 的 Bootstrap 觉得有点笨重，不符合我们的最简原则，所以选用了另一个小巧的 CSS 库：Pure. 中文的排版方面参考了 TYPO.CSS.

有了神器 Pure 相助，重写 WordPress 模版花了不到一小时。欢迎大家测试和意见，如果这个新版设计太糟糕，请留言告知你所使用的浏览器和分辨率以便调试，谢谢。

新版

旧版

OpenNebula 的控制面板 Sunstone 对 OpenNebula 私有云的管理员来说很方便实用，不用敲命令，但是对云计算、虚拟机不熟悉的用户来说有点复杂。所以，我们打算开发一个内部使用的 OpenNebula 控制面板，并和我们的其他内部服务集成起来。从不同 VPS 服务商那里用过 VPS 的用户都知道 VPS 控制面板的几个基本功能，创建、删除、重装、控制台访问。其中控制台访问功能的实现就是我们今天要讨论的主题。

我们知道不管是 VMware, Xen 还是 KVM，都可以配置 VNC 访问，然后通过 VNC 客户端访问这些虚拟机的控制台，这些 VNC 客户端往往需要下载安装，如果要开发虚拟机的 web 控制面板的话当然最好能配一个 web 的 VNC 客户端。

noVNC 正是我们需要的 HTML5 VNC 客户端，采用 HTML 5 WebSockets, Canvas 和 JavaScript 实现，noVNC 被普遍用在各大云计算、虚拟机控制面板中，比如 OpenStack Dashboard 和 OpenNebula Sunstone 都用的是 noVNC. 前面说了 noVNC 采用 WebSockets 实现，但是目前大多数 VNC 服务器都不支持 WebSockets，所以 noVNC 是不能直接连接 VNC 服务器的，怎么办呢？需要一个代理来做 WebSockets 和 TCP sockets 之间的转换，理解这一点很重要。这个代理也已经有了，在 noVNC 的目录里，叫做 websockify.

基本

下载 noVNC 代码后然后运行 noVNC/utils/websockify.py，把本机 VNC 服务（localhost）的端口（5900）和 noVNC 的代理端口（8000）连接起来，这样通过 noVNC/vnc.html 访问 8000 端口就自动转换到 5900 端口上（事实上 vnc.html 你可以放在任何机器上用浏览器直接打开用）：

$ git clone https://github.com/kanaka/noVNC

$ cd utils
$ ./websockify.py 8000 localhost:5900
WARNING: no 'numpy' module, HyBi protocol is slower or disabled
WebSocket server settings:
  - Listen on :8000
  - Flash security policy server
  - No SSL/TLS support (no cert file)
  - proxying from :8000 to localhost:5900

流程大概是这样：

vnc.html -> 192.168.2.20:8000 -> websockify.py -> localhost:5900

当然代理和 VNC 服务可以不在同一机器上，比如代理在 192.168.2.20, VNC 服务在 192.168.2.21：

$ ./websockify.py 8000 192.168.2.21:5900

流程大概是这样：

vnc.html -> 192.168.2.20:8000 -> websockify.py -> 192.168.2.21:5900

理解了上面的过程，应该有想法如何集成 noVNC 到自己的程序了，很简单，先用 websockify 架一个代理，然后用 vnc.html 访问这个代理，vnc.html 和 vnc_auto.html 可以当作我们的范例程序参考。集成 noVNC 到自己的程序也没啥难度，按照官方文档修改相应参数就可以了，特别注意 INCLUDE_URI 这个变量。

如果想深入了解 OpenNebula 和 noVNC 请继续 ……

深入

如果给每个运行的 VNC 服务器开一个代理（和端口）是不是很繁琐？如果有成百上千个虚拟机呢？这么多虚拟机这么多端口怎么编程实现一一对应呢，是不是很麻烦？难道这么点东西还要个数据库来记录这些对应关系吗？我们来看一下 OpenNebula 是怎么实现 noVNC 集成的。

首先 OpenNebula 使用 websocketproxy.py 带 –target-config 参数的办法启动了代理，所有代理都在一个端口（29876）下，并会在指定的目录下（/var/lib/one/sunstone_vnc_tokens）生成一个对应的文件（one-96），打开这个文件就会看到前面的一串代码和后面的 VNC 服务（主机名：端口）对应起来。这样一个（启动了 VNC 服务的）虚拟机就对应在 sunstone_vnc_tokens 这个目录生成一个文件，文件内容能识别这个代理对应到哪个主机上的 VNC 服务。

# ps aux | grep websockify
oneadmin 13661  0.0  0.2 197576  8388 ?        S    Jul04   0:07 python /usr/share/one/websockify/websocketproxy.py --target-config=/var/lib/one/sunstone_vnc_tokens 29876

# cat /var/lib/one/sunstone_vnc_tokens/one-96
cirjhccnthfinxpdlig: cloud32:5900

修改 noVNC/vnc_auto.html 文件的 host, port, path 部分，注意 path 是带 token 的，token 的参数要和上面的那串奇怪的代码一致：

...
      host = "192.168.2.20";
      port = "29876";
...
      path = "websockify/?token=cirjhccnthfinxpdlig";
...

我们编程时只要改变上面的 token 参数就可以切换连接到不同的虚拟机 VNC，这样编程就方便多了。这个是我们利用 vnc_auto.html 修改过后的 VNC 连接界面（为了配合博客美观，截图有意缩小了）：

如果对我们的控制面板感兴趣的话，可以看看截图，只完成了最最基本的几个功能，算作工作时间外的 side project，还在不紧张的开发中，开发工具是 Python/Flask/Bootstrap/MongoDB.

一个完整运行的 Linux 系统包括很多子系统（介绍，CPU，Memory，IO，Network，…），监测和评估这些子系统是性能监测的一部分。我们往往需要宏观的看整个系统状态，也需要微观的看每个子系统的运行情况。幸运的是，我们不必重复造轮子，监控这些子系统都有相应的工具可用，这些经过时间考验、随 Unix 成长起来、简单而优雅的小工具是我们日常 Unix/Linux 工作不可缺少的部分。

下面这张图片很好的总结了 Linux 各个子系统以及监控这些子系统所需要的工具，如果你对 Linux 系统管理（sysadmin & devops）感兴趣、想入门的话，可以从这张图开始慢慢了解和熟悉各个工具。对于熟练的 Linux 屌丝，这张图你应该能问答自如。（图片来自：Linux Performance Analysis and Tools，幻灯片也很精彩，建议对照阅读。）

Linux 性能监测：介绍
Linux 性能监测：CPU
Linux 性能监测：Memory
Linux 性能监测：IO
Linux 性能监测：Network

Facebook 在以前的 HPHPc, HPHPi 和 HPHPd 的基础上开发了一套全新的 HipHop VM for PHP (HHVM)，使用 JIT（Just-In-Time）编译技术可以快速生成代码和即时编译。据 Facebook 称，HHVM 的性能是 Zend PHP 5.2 的5倍多，更重要的是 HHVM 是开源的～

现在运行 WordPress/Drupal 等流行 PHP 应用程序的流行环境搭配是 Nginx/Apache + MySQL + PHP，我们来看看 HHVM 这个神器能不能搞定 WordPress. HHVM 可以当作一个独立服务器使用，不需要搭配其他的 web 服务器。

首先更新系统（这里采用 Ubuntu Server 12.04 LTS 版本）和升级，然后后安装 php, mysql（hhvm 可以单独运行，不需要安装 apache）：

$ sudo apt-get update && apt-get upgrade

$ sudo apt-get install mysql-client mysql-common mysql-server php5 php5-cli php5-common php5-cgi php5-mysql

加入 hiphop 源，更新后安装 hiphop-php：

$ sudo echo "deb http://dl.hiphop-php.com/ubuntu precise main" >> /etc/apt/sources.list
$ sudo apt-get update
$ sudo apt-get install hiphop-php

创建 wordpress 所需要的数据库：

$ mysql -uroot -proot
mysql> create database wordpress;
mysql> Bye

下载 wordpress 后解压、修改配置文件连上数据库：

$ cd /var/www
$ sudo wget http://wordpress.org/latest.tar.gz
$ sudo tar -zxf latest.tar.gz
$ sudo chown -R www-data:www-data wordpress

$ cd wordpress
$ sudo cp wp-config-sample.php wp-config.php
$ sudo vi wp-config.php
...
/** The name of the database for WordPress */
define('DB_NAME', 'wordpress');

/** MySQL database username */
define('DB_USER', 'root');

/** MySQL database password */
define('DB_PASSWORD', 'root');
...

修改 wp-db.php:

$ sudo vi wp-includes/wp-db.php
...
/**
 * @since 0.71
 */
//define( 'OBJECT', 'OBJECT', true );
define( 'OBJECT', 'OBJECT' );
define( 'Object', 'OBJECT' );
define( 'object', 'OBJECT' );
...

配置 hhvm（只需要加一个配置文件就行）：

$ sudo vi /etc/hhvm.hdf
Server {
  Port = 80
  SourceRoot = /var/www/
}
 
Eval {
  Jit = true
}
Log {
  Level = Error
  UseLogFile = true
  File = /var/log/hhvm/error.log
  Access {
    * {
      File = /var/log/hhvm/access.log
      Format = %h %l %u %t \"%r\" %>s %b
    }
  }
}
 
VirtualHost {
  * {
    Pattern = .*
    RewriteRules {
      dirindex {
        pattern = ^/(.*)/$
        to = $1/index.php
        qsa = true
      }
    }
  }
}
 
StaticFile {
  FilesMatch {
    * {
      pattern = .*\.(dll|exe)
      headers {
        * = Content-Disposition: attachment
      }
    }
  }
  Extensions {
    css = text/css
    gif = image/gif
    html = text/html
    jpe = image/jpeg
    jpeg = image/jpeg
    jpg = image/jpeg
    png = image/png
    tif = image/tiff
    tiff = image/tiff
    txt = text/plain
  }
}

创建运行 hhvm 所需的 log 目录，运行 hhvm：

$ sudo mkdir /var/log/hhvm/
$ sudo /usr/bin/hhvm --mode daemon --user www-data --config /etc/hhvm.hdf

用浏览器访问 http://IP address/wordpress/ 就应该可以看到 wordpress 安装界面了，按提示安装完后使用一下，看看有啥问题。同时检查一下 hhvm 日志，看看是否有访问纪录：

$ sudo tail /var/log/hhvm/access.log

wssh 可以让我们通过 HTTP 来调用远程的一个 shell，也就是说我们可以用浏览器来访问某个 Linux 服务器／虚拟机的终端（只要这个服务器上运行了 wsshd 服务器端）。wssh 客户端通过 ssh 帐号连接到 wsshd 服务器端。wssh 更多的是当作库来开发一些应用，比如开发云计算、虚拟机后台控制面板的虚拟机控制台等等。我们先来玩一下简单的～

安装一些必要软件：

$ sudo apt-get install git gcc python libevent-dev python-dev python-pip

安装 wssh 需要的各种 Python 库：

$ sudo pip install gevent gevent-websocket paramiko flask

下载并安装 wssh：

$ git clone https://github.com/aluzzardi/wssh.git
$ cd wssh
$ sudo python setup.py install

运行 wsshd：

$ wsshd
wsshd/0.1.0 running on 0.0.0.0:5000

从浏览器打开 http://IP:5000 后会看到如下登陆界面：

使用 ssh 帐号登陆后就可以看到终端了：

作为 VPS 服务商我们需要保证每个 VPS 公平的使用 host（服务器）的资源，避免某个 VPS 因为程序死循环、挂起、滥用等因素 “拖累” 其他 VPS，如果出现这个情况如何临时限制这个 VPS 的磁盘 IO 呢？有个办法是通过通过修改每个虚拟机 CPU 权重的办法间接、不精确的限制 IO. 在 Linux 上限制资源（CPU、内存、IO 等）的通常办法是用 cgroups，不过今天介绍的 ionice 要更容易一些。

首先找到哪个虚拟机（VPS）正在大量 IO（假设是 vps0001），找到这个虚拟机后用 xm list 查出这个虚拟机使用的 ID 号，然后用 ID 配上 blkback（blkback.24）找出这个虚拟机（通过 Xen 的 blkback 驱动）关联哪些硬盘（blkback.24.xvda 和 blkback.24.xvdb），以及所使用的进程号（25089 和 25090）：

# xm list vps0001
Name                                      ID Mem(MiB) VCPUs State   Time(s)
vps0001                                   24     1024     2 -b----  70030.7

# ps aux | grep blkback.24
root      7434  0.0  0.1  61172   768 pts/16   D+   02:48   0:00 grep blkback.24
root     25089  0.0  0.0      0     0 ?        S<    2012   0:00 [blkback.24.xvda]
root     25090  0.0  0.0      0     0 ?        S<    2012   0:00 [blkback.24.xvdb]

找到进程号后我们就可以 ionice 了：

# ionice -p 25089 -c 2 -n 7

使用 ionice 之前查一下帮助文件，-c 是指定调度类型，这里选择的是 2，best-effort；-n 指定调度优先级，0 最高，7最低；-p 是指定进程号：

OPTIONS
-c The scheduling class. 1 for real time, 2 for best-effort, 3 for
idle.

-n The scheduling class data. This defines the class data, if the
class accepts an argument. For real time and best-effort, 0-7 is
valid data.

-p Pass in a process pid to change an already running process. If
this argument is not given, ionice will run the listed program
with the given parameters.

ionice 把磁盘 IO 调度分成三类：

• real time 实时调度，设置后立即访问磁盘，不管系统中其他进程是否有 IO，可能会使得其他进程处于等待状态，不能用在这里；
• best effort 默认调度，可以指定调度优先级（从0到7，数值越小、优先级越高)；同一优先级的进程采用 round-robin 算法调度；
• idle 空闲调度，只有当前系统没有其他进程磁盘 IO 时，才能进行磁盘 IO.

额，如果太过分，我们就把这个进程的调度改成 idle，这样会极大降低这个虚拟机的 IO，虚拟机只能保持基本可用状态，不推荐～

# ionice -p 25089 -c 3

监控服务器、VPS 的工具和服务有很多，比如开源工具就有 Nagios, Cacti, Zabbix, Zenoss, Ganglia, … 如果自己不想 host 这些监控软件的话，可以考虑外包给第三方服务，比如 Pingdom, ServerDensity, ScoutApp, PagerDuty 等都做的很棒。如果自己要求不多、只是想监控一下网站（而不是整个服务器的各个性能指标的话）可以考虑一些免费监控服务，比如 monitor.us, SiteUptime, Montastic, site24x7 … 这里介绍的是完全不同的另类办法，用 Google Docs 来监控网站，还包括免费的手机报警功能哦～

点击 这里 会新建一个页面询问是否要拷贝一个文档：

Google Docs

Make a new copy of this document?
This copy will appear in your document list.

Yes, make a copy.

选择 Yes, make a copy. 后就会在自己的 Google Docs 里面生成一个名为 Copy of Website Monitor 的文件，按照提示填写要监控的Wbsite URLs，监控报警用的 Email Address，短信提示 SMS Notifications 就可以了。

Website URLs ::
Email Address ::
SMS Notifications ::
Help ::

填写完后再运行菜单上的 Website Monitor 的 Step1: Initialize 和 Step2: Start，不用了的话就 Uninstall (Stop). 默认的监控频率是每5分钟检查网站一次。

如果对背后的代码有兴趣的话，可以看看原文 Website Monitor with Google Docs.

正在测试 OpenNebula 的升级工作，安装和测试新版 OpenNebula 4.0 是一件事，还有一件事是测试升级过程中可能遇到的问题和解决办法。升级是危险操作，每一个阶段都可能会有问题，所以升级前的各种备份和测试工作都需要准备妥当，配置文件、虚拟机、数据库等等都是必须备份的。好的升级除了应该保证数据完整、各部分运行正常外还应该尽量让用户察觉不到。

OpenNebula 官方文档说如果要升级的话需要参考相关版本的文档然后逐个版本依次升级：

If you are upgrading from a version prior to 3.8, read the 3.4 upgrade guide, 3.6 upgrade guide and 3.8 upgrade guide for specific notes.

逐个版本升级的过程太麻烦，我们看看能不能一次升级到位。

先停掉 OpenNebula 3.x 的相关服务：

$ sunstone-server stop
$ econe-server stop
$ occi-server stop
$ oneacctd stop
$ one stop

导出数据库（会在 /var/lib/one 下生成一个名为 one.db.bck 的备份文件）：

$ onedb backup -v -f --sqlite /var/lib/one/one.db

关闭所有虚拟机后，然后在控制节点和计算节点正常安装 OpenNebula 4.0.

安装完 OpenNebula 4.0 后用新版的 onedb 升级数据库（也就是升级 one.db.bck 里面的表结构、字段等），这个升级过程将会自动从 3.2.1 到 3.3.0 到 3.3.80 到 … 逐个版本升级到 3.9.80，整个过程完成后会纪录在当前目录的 one.upgrade.log 日志文件里：

$ onedb upgrade -v -f --sqlite one.db.bck

注意升级前（onedb upgrade）一定要关闭所有虚拟机，否则升级数据库会报错：

> Running migrator /usr/lib/one/ruby/onedb/3.3.0_to_3.3.80.rb
You can't have active VMs. Please shutdown or delete the following VMs:
...

如果不想（或者不允许）关闭所有虚拟机的话，可以通过直接修改数据库的办法 “骗过” 升级脚本（onedb），只需要到数据库里手动把所有 VMs 的状态（state）改成 shutdown 就可以了：

$ sqlite3 one.db.bck
sqlite> SELECT oid,name,state,lcm_state FROM vm_pool WHERE (state <> 1 AND state <> 6);
sqlite> UPDATE vm_pool set state=1 WHERE (state <>1 and state <>6);

数据库升级完后就要开始升级配置文件，OpenNebula 4.0 一些配置文件、参数以及目录结构有改动，比如 OpenNebula 配置文件里的一些驱动名改了，im_kvm 改成了 kvm、vmm_kvm 改成了 kvm，为了兼容，所以需要增加 im_kvm 和 vmm_kvm. 修改 oned.conf 配置文件：

$ vi /etc/one/oned.conf
...
IM_MAD = [
      name       = "kvm",
      executable = "one_im_ssh",
      arguments  = "-r 0 -t 15 kvm" ]
IM_MAD = [
      name       = "im_kvm",
      executable = "one_im_ssh",
      arguments  = "-r 0 -t 15 kvm" ]
...
VM_MAD = [
    name       = "kvm",
    executable = "one_vmm_exec",
    arguments  = "-t 15 -r 0 kvm",
    default    = "vmm_exec/vmm_exec_kvm.conf",
    type       = "kvm" ]
VM_MAD = [
    name       = "vmm_kvm",
    executable = "one_vmm_exec",
    arguments  = "-t 15 -r 0 kvm",
    default    = "vmm_exec/vmm_exec_kvm.conf",
    type       = "kvm" ]
...

注意 authn 这一行需要有 server_cipher：

$ vi /etc/one/oned.conf
...
AUTH_MAD = [
    executable = "one_auth_mad",
    authn = "ssh,x509,ldap,server_cipher,server_x509"
]
...

/var/lib/one 目录结构中增加了一些新目录，比如 datastore, vms 等，OpenNebula 3.x 老版本的虚拟机镜像在 /var/lib/one 需要移到新的 /var/lib/one/vms 下，所以需要登陆到每个 OpenNebula 节点移动虚拟机镜像目录：

$ mkdir /var/lib/one/vms
$ mv /var/lib/one/[0-9]* /var/lib/one/vms

然后启动所有服务和虚拟机、观察日志文件，看看新版 OpenNebula 有什么问题：

$ one start
$ occi-server start
$ sunstone-server start

我们实验室的 OpenNebula 3.2 已经很稳定的运行了两年，除了开头一个月不熟悉这套云计算软件有点乱、容易犯错外接下来的时间里都很稳定，期间还包括一次防火演习（突然拉闸似断电）和安全检查（计划中的断电），服务器、虚拟机、存储设备、系统和服务都能自动起来并能正常工作。现在正在考虑升级的事情，OpenNebula 4.0 有很多新特性值得一试，现在的问题是升级很麻烦，官方文档貌似说要逐个版本升级，这个是小问题，更大的问题是如何升级整个运行中的生产环境，这里面有太多的因素需要考虑到，想了都头大～先安装一个 OpenNebula 4.0 试玩一下，看看数据库表结构、一些工具、配置文件，看看能不能琢磨出一个可行的升级方案出来，具体的升级操作将会在圣诞节期间进行（人最少的时候），不过现在应该开始计划和测试了。

下面的安装过程采用最小化的 CentOS 6.4 安装版本（CentOS-6.4-x86_64-minimal.iso）。不熟悉 OpenNebula 和云计算的朋友可以先看看 “在 CentOS 上安装和配置 OpenNebula” 的开头部分预热一下。

开始之前先装上 EPEL 源，然后升级系统：

# yum install wget
# wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
# rpm -ivh epel-release-6-8.noarch.rpm
# yum update

到官网 http://downloads.opennebula.org/ 下载 OpenNebula 4.0 for CentOS 6.4 的安装包、解压后安装，因为有包依赖问题，所以最好用 yum localinstall 安装，不要用 rpm -ivh 命令直接安装。在控制节点（或叫做头节点）上安装 opennebula 和 opennebula-sunstone 等：

# cd /usr/src
# tar zxvf CentOS-6.4-opennebula-4.0.0-1.tar.gz
# cd opennebula-4.0.0-1

# yum localinstall opennebula-common-4.0.0-1.x86_64.rpm
# yum localinstall opennebula-ruby-4.0.0-1.x86_64.rpm
# yum localinstall opennebula-4.0.0-1.x86_64.rpm
# yum localinstall opennebula-sunstone-4.0.0-1.x86_64.rpm
# yum localinstall opennebula-server-4.0.0-1.x86_64.rpm

在计算节点上安装 kvm 和 opennebula-node-kvm：

# yum install qemu-kvm qemu-kvm-tools libvirt
# yum localinstall opennebula-node-kvm-4.0.0-1.x86_64.rpm

# /etc/init.d/libvirtd start

安装搞定，OpenNebula 4.0 的安装就是这么简单，开始在控制节点上启动服务吧：

# service opennebula start
Starting OpenNebula daemon:                                [  OK  ]
# service opennebula-sunstone start
Starting Sunstone Server daemon: VNC proxy started
sunstone-server started
                                                           [  OK  ]

我们通常都会通过 IP 访问（或者内部域名）访问 sunstone 界面，所以需要改变 sunstone 的默认接听地址，把 host: 127.0.0.1 换成机器所在 IP 地址，需要重启服务让设置生效。注意这里使用 9869 端口，CentOS 6.x 默认是开启防火墙的，所以可以把这个端口加到防火墙规则里也可以直接把防火墙关掉：

# vi /etc/one/sunstone-server.conf
...
# Server Configuration
#
:host: 192.168.2.150
:port: 9869

# service opennebula-sunstone restart
Stopping Sunstone Server daemon: VNC server is not running
sunstone-server stopped
                                                           [  OK  ]
Starting Sunstone Server daemon: VNC proxy started
sunstone-server started
                                                           [  OK  ]

# /etc/init.d/iptables stop
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:                               [  OK  ]

打开浏览器，访问 http://192.168.2.150:9869 登陆界面，那登陆的用户名和密码是啥呢？用户名和密码在安装的时候已经随机生成，oneadmin 是用户名，后面的一串是密码：

# cat /var/lib/one/.one/one_auth
oneadmin:0dee417dfb22f2372866d686c7b12889

登陆成功后界面比以前的版本有很大改进：