在 CentOS 7.0 上源码安装 Xen 4.5

上周 CentOS 7.0 正式版发布了,Xen4CentOS 项目还没来得及更新支持 CentOS 7.0,所以目前要在 CentOS 7.0 上玩 Xen 的唯一办法只有编译源代码了。貌似这次 CentOS 没有发布 Minimal 安装版,下面的编译安装步骤在 LiveCD 安装版(CentOS-7.0-1406-x86_64-livecd.iso)上完成。

安装需要的软件包

安装完 CentOS 7.0 后第一件事就是启动 SSH 以便能从另外一台机器访问,新版本的 CentOS 引入了有争议的 systemd 进程管理器替代了 Unix 传统的 init 系统。开启服务使用 systemctl 命令:

# systemctl start sshd
# systemctl enable sshd

更新系统,并且安装编译 Xen 所需要的编译器、工具、软件库等:

# yum update

# yum groupinstall "Development Tools"
# yum install -y gcc gcc-c++ git patch texinfo

# yum install -y python-devel acpica-tools libuuid-devel ncurses-devel glib2 glib2-devel libaio-devel openssl-devel yajl-devel glibc-devel glibc-devel.i686 pixman-devel

# wget http://mirror.centos.org/centos/6/os/x86_64/Packages/dev86-0.16.17-15.1.el6.x86_64.rpm
# rpm -ivh dev86-0.16.17-15.1.el6.x86_64.rpm

安装 Xen

下载最新的 xen 源代码、编译、安装,目前最新的代码是 xen 4.5-unstable:

# git clone git://xenbits.xen.org/xen.git
# cd xen/
# ./configure
# make dist
# make install

安装 dom0 内核

下载最新的 Linux 内核源代码,配置 dom0 内核、编译、安装,注意 dom0 内核需要选择下面一些内核选项:

# wget https://www.kernel.org/pub/linux/kernel/v3.x/linux-3.15.4.tar.xz
# tar xf linux-3.15.4.tar.xz
# cd linux-3.15.4/
# make menuconfig

# vi .config
...
CONFIG_X86_IO_APIC=y
CONFIG_ACPI=y
CONFIG_ACPI_PROCFS=y (optional)
CONFIG_XEN_DOM0=y
CONFIG_PCI_XEN=y
CONFIG_XEN_DEV_EVTCHN=y
CONFIG_XENFS=y
CONFIG_XEN_COMPAT_XENFS=y
CONFIG_XEN_SYS_HYPERVISOR=y
CONFIG_XEN_GNTDEV=y
CONFIG_XEN_BACKEND=y
CONFIG_XEN_NETDEV_BACKEND=m
CONFIG_XEN_BLKDEV_BACKEND=m
CONFIG_XEN_PCIDEV_BACKEND=m
CONFIG_XEN_BALLOON=y
CONFIG_XEN_SCRUB_PAGES=y
...

# make
# make modules

# make modules_install
# make install

配置 Grub

配置 grub2,加上带 Xen 的 Linux dom0 内核:

# grub2-mkconfig -o /etc/grub2.cfg
# vi /etc/grub2.cfg

# vi /etc/grub.d/40_custom
#!/bin/sh
exec tail -n +3 $0
# This file provides an easy way to add custom menu entries.  Simply type the
# menu entries you want to add after this comment.  Be careful not to change
# the 'exec tail' line above.
menuentry 'CentOS Linux, with Linux 3.15.4 Xen' --class centos --class gnu-linux --class gnu --class os --unrestricted $menuentry_id_option 'gnulinux-3.15.4-advanced-aa64a6a3-518e-4a7c-9e88-2f3f33c8c700' {
        load_video
        insmod gzio
        insmod part_msdos
        insmod xfs
        set root='hd0,msdos1'
        if [ x$feature_platform_search_hint = xy ]; then
          search --no-floppy --fs-uuid --set=root --hint-bios=hd0,msdos1 --hint-efi=hd0,msdos1 --hint-baremetal=ahci0,msdos1 --hint='hd0,msdos1'  6bc61a5c-12e3-4711-9532-61760367e0dc
        else
          search --no-floppy --fs-uuid --set=root 6bc61a5c-12e3-4711-9532-61760367e0dc
        fi
        multiboot /xen.gz
        module /vmlinuz-3.15.4 root=UUID=aa64a6a3-518e-4a7c-9e88-2f3f33c8c700 ro rd.lvm.lv=cl/root vconsole.font=latarcyrheb-sun16 crashkernel=auto  vconsole.keymap=us rd.lvm.lv=cl/swap rhgb quiet
        module /initramfs-3.15.4.img
}

# grub2-mkconfig -o /etc/grub2.cfg

可能出现的错误和解决办法

重启后,选择 CentOS Linux, with Linux 3.15.4 Xen 进入 Xen 系统,使用 xl info 命令发现有错,这是因为 Xen 相关的软件库被安装到了 /usr/local/lib 目录,系统找不到。所以做一些链接就可以了:

# xl info
xl: error while loading shared libraries: libxlutil.so.4.3: cannot open shared object file: No such file or directory

# cd /usr/lib/
# ln -s /usr/local/lib/libxlutil.so.4.3.0 libxlutil.so.4.3
# ln -s /usr/local/lib/libxlutil.so.4.3.0 libxlutil.so
# ln -s /usr/local/lib/libxenlight.so.4.5.0 libxenlight.so.4.5
# ln -s /usr/local/lib/libxenlight.so.4.5.0 libxenlight.so
# ln -s /usr/local/lib/libxenctrl.so.4.5.0 libxenctrl.so.4.5
# ln -s /usr/local/lib/libxenguest.so.4.5.0 libxenguest.so.4.5
# ln -s /usr/local/lib/libxenguest.so.4.5.0 libxenguest.so
# ln -s /usr/local/lib/libxenstat.so.0.0 libxenstat.so.0
# ln -s /usr/local/lib/libxenstat.so.0.0 libxenstat.so
# ln -s /usr/local/lib/libxenstore.so.3.0.3 libxenstore.so.3.0
# ln -s /usr/local/lib/libxenstore.so.3.0.3 libxenstore.so
# ln -s /usr/local/lib/libxenvchan.so.1.0.0 libxenvchan.so.1.0
# ln -s /usr/local/lib/libxenvchan.so.1.0.0 libxenvchan.so
# ln -s /usr/local/lib/libblktapctl.so.1.0.0 libblktapctl.so.1.0
# ln -s /usr/local/lib/libblktapctl.so.1.0.0 libblktapctl.so

# ldconfig

再次运行 xl info 发现如下问题:

# xl info
xc: error: Could not obtain handle on privileged command interface (2 = No such file or directory): Internal error
libxl: error: libxl.c:99:libxl_ctx_alloc: cannot open libxc handle: No such file or directory
cannot init xl context

是因为没有挂载 xenfs 的缘故,挂载一下就可以了:

# modprobe xenfs
# mount -t xenfs xenfs /proc/xen

# ls /proc/xen/
capabilities  privcmd  xenbus  xsd_kva  xsd_port

# xl info
host                   : localhost.localdomain
release                : 3.15.4
version                : #1 SMP Fri Jul 11 09:37:12 SAST 2014
machine                : x86_64
nr_cpus                : 4
max_cpu_id             : 3
nr_nodes               : 1
cores_per_socket       : 2
threads_per_core       : 2
cpu_mhz                : 2195
hw_caps                : bfebfbff:28100800:00000000:00003f00:15bae3bf:00000000:00000001:00000000
virt_caps              : hvm
total_memory           : 3959
free_memory            : 127
sharing_freed_memory   : 0
sharing_used_memory    : 0
outstanding_claims     : 0
free_cpus              : 0
xen_major              : 4
xen_minor              : 5
xen_extra              : -unstable
xen_version            : 4.5-unstable
xen_caps               : xen-3.0-x86_64 xen-3.0-x86_32p hvm-3.0-x86_32 hvm-3.0-x86_32p hvm-3.0-x86_64
xen_scheduler          : credit
xen_pagesize           : 4096
platform_params        : virt_start=0xffff800000000000
xen_changeset          : Wed Jul 9 13:30:54 2014 +0100 git:7579169-dirty
xen_commandline        :
cc_compiler            : gcc (GCC) 4.8.2 20140120 (Red Hat 4.8.2-16)
cc_compile_by          : root
cc_compile_domain      : localdomain
cc_compile_date        : Fri Jul 11 08:49:06 SAST 2014
xend_config_format     : 4

记得启动 xencommons 哦,以前旧版本的 xend 已经被 xencommons 替代了:

# /etc/init.d/xencommons start
Starting C xenstored...
Setting domain 0 name and domid...
Starting xenconsoled...
Starting QEMU as disk backend for dom0

# xl list
Name                                        ID   Mem VCPUs	State	Time(s)
Domain-0                                     0  3779     4     r-----     105.5

Xen 从 4.1 版本开始引入了新版工具集 xl/libxl,并在后续的版本中逐步替代旧的 xm/xend,在 4.5 版本中已经完全删除了 xm/xend.

以前的版本可参考:

在 CentOS 6.x 上安装和配置 Xen
在 CentOS 5.x 上安装和配置 Xen
在 CentOS 5.x 上源码安装 Xen

评论 (31 Comments)

  1. 这次为什么没有发布32位的CentOS 7?

  2. 请教一下大神!我使用KVM遇到一些问题
    我现在有一台机器使用2个公网IP段
    A IP 1.1.1.1/29
    B IP 2.2.2.1/24
    我主机使用 1.1.1.1/29的一个IP 然后设置一个桥接
    auto lo
    iface lo inet loopback
    auto eth0
    iface eth0 inet static
    address 1.1.1.2
    netmask 255.255.255.248
    gateway 1.1.1.1
    post-up echo 1 > /proc/sys/net/ipv4/conf/eth0/proxy_arp
    auto vmbr0
    iface vmbr0 inet static
    address 2.2.2.1
    netmask 255.255.255.0
    bridge_ports none
    bridge_stp off
    bridge_fd 0

    我是按照别人推荐的桥接网卡设置的。

    为什么这时候我新建的虚拟机都无法使用1.1.1.1/29的IP了呢?

    有没有办法可以使用呢?

    谢谢了。另外吐槽一下 linux下编译报错真的很不好读呀

  3. @pirlo RHEL 7 只有 x86_64 版本,对于服务器来说 32-bit 早就该被抛弃了。

  4. @小宇
    貌似你给了物理网卡一个 IP(1.1.1.2),虚拟网卡一个 IP(2.2.2.1)?物理网卡应该不绑定 IP,IP 应该绑在虚拟网卡上。比如:

    auto eth0
    iface eth0 inet manual

    auto br0
    iface br0 inet static
    address 192.168.0.10
    network 192.168.0.0
    netmask 255.255.255.0
    broadcast 192.168.0.255
    gateway 192.168.0.1
    bridge_ports eth0
    bridge_stp off
    bridge_fd 0
    bridge_maxwait 0

  5. @pirlo
    等了两周都没有看到官方的 CentOS 7.0 32位版本,我们只能先制作和发布 CentOS 7.0 64 位版本的 Xen PV 模版了~

  6. @vpsee
    但是如果我不给物理网卡一个1.1.1.2物理网卡直接无法工作呀!
    如果我直接在虚拟网卡上使用1.1.1.2 那么就完全无法使用2.2.2.1这组IP了。
    这是两个不同段的IP
    一个是/29 一个是/25。

  7. @小宇
    貌似你有两个公网 IP,猜测也应该用2个物理网卡吧?
    eth0 -> br0 -> 1.1.1.2/29
    eth1 -> br1 -> 2.2.2.1/25

  8. @VPSEE
    我只有单网卡工作.
    不是双网卡工作的。。

  9. 我在进行编译xen 的时候 执行make dist 报错,求解 ,大神。谢了
    make[6]: *** [out/romlayout16.lds] 错误 1
    make[6]: 离开目录“/root/xen/tools/firmware/seabios-dir-remote”
    make[5]: *** [subdir-all-seabios-dir] 错误 2
    install-tools] 错误 2

  10. 我在编译xen 的时候 执行make dist 出现报错 是什么原因 求解! 谢谢
    make[6]: *** [out/romlayout16.lds] 错误 1
    *** [subdir-all-seabios-dir] 错误 2
    *** [subdirs-all] 错误 2

  11. KeyError: ‘.text.asm./root/xen/tools/firmware/seabios-dir-remote/src/fw/smp.c.79’

  12. 编译安装 dom0 内核
    linux-3.15.4
    make 出错

    drivers/media/rc/keymaps/.rc-gadmei-rm008z.ko.cmd:1: *** 遗漏分隔符 。 停止。
    make: *** [modules] 错误 2

  13. 我是在x64的centos7上编译、配置完了,可是启动不起来。

  14. grub2编辑后无法启动系统了, 报告kernel panic, 估计是initramfs加载错误, 那个碰到这个情况没?

  15. 又来了个问题, 无法启动虚拟机, 错误日志

    ImportError: No module named xen.lowlevel.xc

    这个xen.lowlevel.xc是那里的?

  16. Traceback (most recent call last):
    File “/usr/lib/xen/bin/pygrub”, line 20, in
    import xen.lowlevel.xc ImportError: No module named xen.lowlevel.xc

    这个问题可以通过重新编译和安装xen kernel来解决, 前提是你所用的xen kernel version 是4.3.0
    make dist PYTHON_PREFIX_ARG=
    make install PYTHON_PREFIX_ARG=

  17. 用kernel-3.16.3来编译的无法启动kdump怎么解决呀?
    /var/log/message显示如下
    systemd: Started NFS file locking service..
    systemd: Starting Network File System Server.
    systemd: Reached target Network File System Server.
    kdumpctl: cat: /sys/kernel/security/securelevel: No such file or directory
    systemd: Started Postfix Mail Transport Agent.
    kdumpctl: No memory reserved for crash kernel.
    kdumpctl: Starting kdump: [FAILED]
    systemd: kdump.service: main process exited, code=exited, status=1/FAILURE
    systemd: Failed to start Crash recovery kernel arming.
    systemd: Unit kdump.service entered failed state.
    systemd: Started Virtualization daemon.
    systemd: Starting Multi-User System.
    systemd: Reached target Multi-User System.
    systemd: Starting Graphical Interface.
    systemd: Reached target Graphical Interface.
    systemd: Starting Update UTMP about System Runlevel Changes…
    systemd: Started Stop Read-Ahead Data Collection 10s After Completed Startup.
    systemd: Started Update UTMP about System Runlevel Changes.
    systemd: Startup finished in 787ms (kernel) + 11.692s (initrd) + 20.994s (userspace) = 33.474s.

    查看了是有/sys/kernel/security/securelevel这个文件的
    尝试过把grub2里的crashkernel=auto修改成256M也不行

  18. @plu遇到了跟你一样的问题,不知道你解决了没有

  19. very nice article, brilliant, thx

  20. @plu @vpsee KeyError: ‘.text.asm./root/xen/tools/firmware/seabios-dir-remote/src/fw/smp.c.79′ 请教一下,这个问题怎么解决?

  21. 你好!
    为什么我按你的步骤来最后却没有自动生成grub,我只是把内核换成了3.19.2
    应该没有太大的问题吧?
    能不能发一个关于PV domU的制作教程,多谢。

  22. vpsee 你好 make时出现如下错误 实在不知道怎么修改 之前是说GIT命令找不到 我换了git,后又说clone找不到,还有下面的错误,请教下 谢谢
    make[3]: Entering directory `/usr/src/xen-4.2.0/tools/firmware’
    GIT=git /usr/src/xen-4.2.0/tools/firmware/../../scripts/git-checkout.sh git://xenbits.xen.org/seabios.git rel-1.6.3.2 seabios-dir
    /usr/src/xen-4.2.0/tools/firmware/../../scripts/git-checkout.sh: line 17: clone: command not found
    make[3]: *** [seabios-dir] Error 127
    make[3]: Leaving directory `/usr/src/xen-4.2.0/tools/firmware’
    make[2]: *** [subdir-install-firmware] Error 2
    make[2]: Leaving directory `/usr/src/xen-4.2.0/tools’
    make[1]: *** [subdirs-install] Error 2
    make[1]: Leaving directory `/usr/src/xen-4.2.0/tools’
    make: *** [install-tools] Error 2

  23. vpsee 你好
    我想问下在不联网的状态下 源码编译xen是不是不能成功
    能不能提前在别的机器上下载好 放进去呢

  24. @Lisa
    嗯,最好有网络。没有网络的话也可以,就是很麻烦,需要仔细看(必要的时候需要修改)Makefile 以及一些 script 里面的相关内容,下载好需要的软件包并放到特定的位置。

  25. vpsee 你好,最近一直在安装xen,一直安装不成功。能否加下我扣扣号码157529353
    好着急,
    折腾了好几天,现在还是不能启动,一直卡在一个界面里
    希望能得到你的帮助

  26. 楼主,提示 挂载点/proc/xen 不存在,怎么办?

  27. 你好博主,我在centos上安装xen-4.5.1,内核是3.17.1,安装过程很顺利,手动配置的网桥,但是就是虚拟机启动之后无法ping同网络,console进去之后发现虚拟机根本没有获得ip,我在虚拟机创建配置里已经写了的,纠结了很久不知道为什么。

  28. vpsee你好,我是linux初学者。
    我想请问配置 grub2时写入40_custom的那段话是怎么来的?

  29. @jackwong 我安装4.5.1一直有错误,能给些建议么?

  30. 博主你好,我安装xen的时候,make 时提示connecting to xenbits.xen.org timed out, 但是浏览器能打开xenbits.xen.org, 请问如何解决?

  31. @Lisa我跟你是一样的错误

发表评论