2016年《互联网趋势》报告各自解读

Technorati 标签:
云计算,虚拟化

于名“互联网女皇”的凯鹏华盈（KPCB）合伙人玛丽·米克（Mary
Meeker）周三宣布了（Internet
Trends）报告，这是她第21赖发表随即同夏互联网报告。

正文基于网上的素材整理而成为。

千古21年日里，米克的夏《互联网趋势》报告都化为了科技行业里面主要发展大方向的一个最主要信号。

第一章 服务器虚拟化概述

于今年之报告被，米克追踪了智能手机销售速度放缓、移动广告行业和广告拦截增长、社交活动的视频化、交通运输的未来同信息传送、机器人和话音助手服务的隆起等倾向。

1.1 为什么用服务器虚拟化

要是物理机上单安排一栽工作，资源利用率太没有，不便宜节约本钱。如果说生区域需要运用物理机来保证平稳，对于开发测试区使用虚拟机不但可节约有限的物理机资源，还足以疾直达丝。

当下卖报告的要包括：

1.2 虚拟化发展历史

  • 提出概念：1959年6月提出，在国际信息处理大会上刊登的《大型高速计算机中之辰共享》论文被提出
  • 开发技术：20世纪60年代起，IBM操作系统虚拟化技术使在了大型机和袖珍机上
  • 蓬勃发展：20世纪90年间，VMware公司先是落实了X86架构上的虚拟化，于1999年出产了x86平台及之首先缓慢虚拟化商业软件VMware
    workstation。
  • 群雄逐鹿：更多的厂商在了虚拟化技术之军旅

第二章 服务器虚拟化

服务器虚拟化主要发生半点种办法：

  • 硬件虚拟化：通过Hypervisor层虚拟出硬件系统环境，将硬件系统CPU发出的授命经过处理后传至大体CPU上。

硬件虚拟化的关键在于Hypervisor层。

所谓Hypervisor层就是当物理服务器和操作系统中运行的软件层，可以本着拟硬件系统，将次第对这硬件系统CPU发送的命经过处理后，加以虚拟传到物理CPU上。同时其可协调访问服务器上之情理设备和虚拟机，也吃虚拟机监视器(VMM
)。

  • 容器：只是虚拟化出以运行时之条件，是于轻量的虚拟化，层次较浅。

1.环球互联网用户人数增长呈现出公平状态；

2.1 服务器虚拟化架构

  • 裸金属架构：Hypervisor层直接运行于硬件系统及。典型例子是KVM。KVM其实就是Linux内核供的虚拟化架构，可拿根本直接担任Hypervisor，KVM一般要处理器本身支持虚拟化扩展技术，如Intel
    VT等。KVM使用内核模块kvm.ko来兑现基本虚拟化功能，但是只是供了CPU和内存的虚拟化，必须结合QEMU才会组成完整的虚拟化技术。

图片 1

  • 宿主架构：典型的就算是QEMU，它可经二进制转换来学CPU，使Guest
    OS认为自己还跟硬件打交道。
    图片 2

2.智能手机的运用速度放缓；

2.2 CPU虚拟化

过程的实践有零星种状态

  • 内核态：主要用以硬件访问，修改重点参数，
  • 因而户态：用户运行应用程序。

点滴种植状态的权杖不同，对硬件的拜会必须在内核态，可以保证系统的可靠性，只为采用人员开用户态，不会见指向OS的运行带来非常的影响。避免系统让人为攻击。

OS内核数据与代码区应该与用户区完全隔离，也就是说程序可以观看底地方都是为此户态地址，当程序执行系统调用的当儿，进程会切入内核态进行基础访问，这会儿页表也待切换到内核态的页表，带来的问题是性于差。因为页表在内存中，切换会带来性能的降落。

为此时主流的OS的做法是用根本代码和数据区放到用户进程虚拟地址控制器的高位区，32bit系统放到3~4G,windows默认占用2~4G区，64bit系统也在高位。这样拉动的功利是，进程空间的内核区也被射到大体内存区，进程的切换不会见招致TLB中前缓存的对内核区页表失效，保证了性能。

事实上进程是无法访问内核区，因为强行访问的言语，页表条目有权限位（进程时权限保存在寄存器的CPL字段，为Ring3，而根本页表的权杖为Ring0，所以CPU会禁止访问。）

总结一下就是是x86 架构提供四单特权级别为操作系统及应用程序来聘硬件。
Ring 是依赖 CPU 的运作级别，Ring 0凡是最高级别，Ring1赖的，Ring2再次浅的……

  • 本需要直接访问硬件与内存，因此其的代码用周转于嵩运行级别
    Ring0上，这样它可以应用特权指令以控制中断、修改页表、访问设备等等。
  • 应用程序的代码运行在低运行级别上Ring3及，如何使拜磁盘，那就是用实施系统调用，此时CPU的运转级别会时有发生起ring3交ring0的切换，并超越反到系统调用对应之基石代码位置执行，这样基本就吧你完成了配备看，完成之后再行起ring0返回ring3。本条过程吧如打算户态和内核态的切换。

图片 3

对非虚拟化操作系统而言，应用程序和体系发出的便指令都运作于用户级别指令中，只有特权指令运行在中心级别中，这样操作系统及应用解耦合。

这就是说，虚拟化在这里就是撞了一个难题，因为物理机OS是做事于 Ring0
的，虚拟机的操作系统就是无可知为当 Ring0
了，所以有的特权指令是从来不履权的

CPU虚拟化的方式就是

  • 特权解除：让Guest
    OS运行于用户级别，让hypervisor运行在核心级别，这样即便解除了Guest
    OS的特权级别。
  • 深陷模拟：运作在Guest
    OS的一般性指令像过去一致运行，当运行至特权指令时，会有很并给hypervisor捕获。
    图片 4

那么难在：

  • 怎模拟x86保护模式
  • 什么阻止并执行虚拟机的Ring0指令。
    化解智如下

3.谷歌和Facebook在互联网广告行业中所占用的主导地位增强；

2.2.1 CPU虚拟化技术解决方法
  • 全虚拟化：客户操作系统运行在 Ring
    1，它于推行特权指令时，会硌异常，然后
    hypervisor捕获这个老，在非常里面做翻译，最后回到到客户操作系统内，客户操作系统认为好之特权指令工作健康，继续运行。所以呢为二进制翻译技术(Binary
    Translate)。
    可是是特性损耗大之特别，简单的一律长达指令现在也使透过复杂的万分处理过程
    图片 5

    • 亮点：不用修改GuestOS内核可以直接利用
    • 缺陷：在VMM捕获特权指令和翻译过程会促成性的落。
      图片 6
      于上图可以看到，当虚拟机中的使用要运行在内核态的上，会经Hypervisor层的依样画葫芦，通过二进制翻译技术，将下令替换为任何的命。
  • 半虚拟化：修改操作系统内核，替换掉不能够虚拟化的下令，通过超级调用（hypercall）直接与脚的虚拟化层hypervisor来报道，
    对立于意虚拟化性能再胜，因为省去了翻的经过。但是用对Guest
    OS进行修改，应用场景不多。
    图片 7
  • 硬件辅助虚拟化： 2005年后，CPU厂商Intel 和 AMD 开始支持虚拟化了。
    Intel 引入了 Intel-VT （Virtualization Technology）技术
    重大的兑现方式是搭了一个VMX
    non-root操作模式，运行VM时，客户机OS运行于non-root模式，依然有Ring0~ring3等级别
    当运行特权指令时要发中断的时候，通过VM_EXIT就得切换到root模式，拦截VM对虚拟硬件的访。执行了，通过VM_ENTRY回到non-root即可。
    图片 8
    这种技术主要代表也intel VT-X，AMD的AMD-V
    图片 9

全虚拟化

半虚拟化

硬件辅助虚拟化

实现技术

BT和直接执行

Hypercall

客户操作系统修改/兼容性

无需修改客户操作系统，最佳兼容性

客户操作系统需要修改来支持hypercall，因此它不能运行在物理硬件本身或其他的hypervisor上，兼容性差，不支持Windows

性能

差

好。半虚拟化下CPU性能开销几乎为0，虚机的性能接近于物理机。

应用厂商

VMware Workstation/QEMU/Virtual PC

Xen

KVM 是基于CPU
帮助的全虚拟化方案，它需CPU虚拟化特性的支撑。
总结：
图片 10

4.视频市面在飞速增强，照片分享市场也以很巨大；

2.3 内存虚拟化原理

内存虚拟化指的凡共享物理系统内存，动态分配给虚拟机。虚拟机的内存虚拟化很象虚拟内存方式

虚拟内存是电脑体系内存管理之一模一样种技术，目的是叫应用程序认为它们富有连续的可用的内存（一个连完整的地址空间）。其实就算是操作系统将内存资源的虚拟化，屏蔽了外存调用的细节，对应用程序而言，不欲关注内存访问的底细，可以拿内存当作线性的内存池。，

x86 CPU 都连了一个叫内存管理之模块MMU（Memory Management Unit）和
TLB(Translation Lookaside Buffer)，通过MMU和TLB来优化虚拟内存的特性。

OS将内存以4KB为单位开展分页，形成虚拟地址和物理地址之映射表。使OS在物理机上运行，只要OS提供者页表，MMU会在访问存时自动开虚拟地址(Virtual
address, VA)到大体地址(Physical address, PA)的转账。

只是若虚拟机上运行OS，Guest
OS经过地方转化及之“物理地址”实际上是QEMU的逻辑地址，因此还亟需采取软件以该转会为实在物理内存地址

对于OS运行于大体机上的情形

图片 11

假使经过看内存的时段，发现映射表中还没物理内存进行相应。如下图

图片 12

这会儿MMU向CPU发出缺页中断，操作系统会因页表中之外存地址，在外存中找到所缺乏的平等页，将其调入内存。同时更新页表的映照关系。下一样潮访的下可以直接命中物理内存。

图片 13

于OS在虚拟机中的气象，过程将复杂很多。

对于虚拟机内的经过的换，需要进行两次变。也就是说首先将采取的逻辑地址转换为虚拟机的物理地址，而及时其实是QEMU进程的逻辑地址，所以要投到实在内存的物理地址还需要开相同次变。

图片 14

  • VA：应用之虚拟地址
  • PA：虚拟机物理地址，也是QEMU进程的逻辑地址
  • MA：物理机的大体地址

足见，KVM
为了当平雅机器及运行多个虚拟机，需要多一个新的内存虚拟化层，也就是说，必须虚拟
MMU 来支持客户OS，实现 VA -> PA -> MA 的翻。

客户操作系统继续控制虚拟地址到客户内存物理地址的映射 （VA ->
PA），但是客户操作系统不克直接访问实际机器内存，因此VMM
需要背映射客户物理内存到实际机器内存 （PA -> MA）。

图片 15

VMM 内存虚拟化的落实方式：

  • 软件方式：通过软件实现内存地址的翻译，比如 Shadow page table
    （影子页表）技术
  • 硬件实现：基于 CPU 的帮扶虚拟化功能，比如 AMD 的 NPT 和 Intel 的 EPT
    技术

5.消息传递市场之提高；

2.3.1 软件方式

黑影页表（SPT,shadow page
table）：Hypervisor为虚拟机保安了一个虚拟机的虚拟地址顶宿主机物理地址辉映的的页表。也就是说，在原来的星星点点重合地址层次基础及加以了同样交汇地下物理地址层次，通过这张表可以以客户机虚拟地址和宿主机物理地址内展开映射。

客户OS创建之后，Hypervisor创建其对承诺影子页表。刚开影子页表是拖欠的，此时其余客户OS的访存操作都见面起缺页中断，然后Hypervisor捕获缺页异常

图片 16

由此个别赖地址映射转换获得虚拟机虚拟地址和物理机物理地址的照关系，写副影子页表，逐步到位有虚拟地址到宿主机机器地址的照射。
图片 17

代价是用保障虚拟机的页表和宿主机的阴影页表的旅。

6.语音搜索与智能帮手服务的最主要；

2.3.2 通过INTEL EPT技术来落实

KVM 中，虚机的物理内存就为 qemu-kvm 进程所占有的内存空间。KVM 使用
CPU 辅助的内存虚拟化方式。在 Intel 和 AMD
平台，其内存虚拟化的落实方式分别吗：

  • AMD 平台上之 NPT （Nested Page Tables） 技术
  • Intel 平台达成的 EPT （Extended Page Tables）技术
    EPT 和 NPT采用类似的原理，都是当做 CPU
    中初的一律叠，通过硬件据此来用客户机的大体地址翻译啊主机的大体地址。也就是说Guest
    OS完成虚拟机虚拟地址–>虚拟机物理地址第一层转化，硬件同时到位虚拟机物理地址及物理机物理地址这第二交汇转化。第二交汇转换对Guest
    OS来说是晶莹底，Guest
    OS访问内存时和在物理机运行时凡同一之。这种措施而称为内存辅助虚拟化。

故而内存辅助虚拟化就是直用硬件来实现虚拟机的物理地址及宿主机的物理地址的一步到位映射。VMM不用再行保留一卖
SPT (Shadow Page
Table)，通过EPT技术，不再需要共同两个页表，虚拟机内部的切换为不需要qemu进程切换，所欲之是单独是少数蹩脚页表查找，而且是通过硬件来成功的，性能损耗低。

流程如下：

  • VM中的行使发现页没分片，MMU发起中断，从虚拟机的情理地址（QEMU的逻辑地址）中分红一页，然后更新页表。
    图片 18
  • 此刻虚拟机页的物理地址还没针对承诺物理内存的地点，所以触发了qemu进程在宿主机的page
    fault。宿主机内核分配内存页，并创新页表。
    图片 19
  • 下次拜会就可以借助EPT来进展，只待查阅两糟糕表明即可。

图片 20

总结：
图片 21

7.无人驾驶汽车之多变发展；

2.4 KVM其他内存管理技术

8.中国“从广大地方来拘禁还是互联网领导者”；

2.4.1 KSM （Kernel SamePage Merging 或者 Kernel Shared Memory）

KSM 是根本中的医护进程（称为
ksmd），它见面定期进行页面扫描，将副本页面进行统一，然后释放多余的页面。KVM使用KSM来减多单一般的虚拟机的内存占用，提高内存的使用频率，在虚拟机使用同一镜像和操作系统时，效果越来越分明。但是会追加水源开发，所以为了提升效率，可以拿这个特性关闭。

9.数据安全题材。

2.4.2 KVM Huge Page Backed Memory （巨页内存技术）

Intel 的 x86 CPU 通常使用4Kb内存页，当是经过安排，也会使巨页(huge
page): (4MB on x86_32, 2MB on x86_64 and x86_32
PAE)使用巨页，KVM的虚拟机的页表将用更不见之内存，并且用提高CPU的频率。最高情况下，可以增长20%的频率！

深受咱们独家解读一下从这些告诉背后我们能顾些什么。

2.5 IO虚拟化

  • 宪章(完全虚拟)：使用 QEMU 纯软件之办法来拟 I/O
    设备。使用一个Service VM来模拟实硬件，性能大不同。
    客户机的配备驱动程序发起 I/O
    请求操作请求，KVM会捕获此IO请求，然后嵌入IO共享页，同时用户空间的QEMU进程，QEMU模拟出本次IO操作，同样置于共享页中连同时KVM进行结果的取回。

在意：当客户机通过DMA （Direct Memory Access）访问大块I/O时，QEMU
模拟程序将无见面管结果放上一道享页中，而是经外存映射的章程以结果直接写及客户机的内存中，然后通知KVM模块告诉客户机DMA操作就成功。

图片 22

  • 半虚拟化： KVM/QEMU就应用这种模式，它于 Guest OS 内核中安前端驱动
    （Front-end driver）和以 QEMU
    中贯彻后端驱动（Back-end）的方。前后端驱动通过 vring
    （实现虚拟队列的环形缓冲区）直接通信，这就算绕了了经过 KVM
    内核模块的过程，提高了IO性能，相对于完全虚拟的模式，
    省去了纯粹模仿模式下的杀捕获环节，Guest OS 可以跟 QEMU 的 I/O
    模块直接通信。

图片 23

  • IO-through:直接把机物理设备分配为虚拟机，不过要硬件具备IO透传技术；，Intel
    定义之 I/O 虚拟化技术成为 VT-d，AMD 的称呼 AMD-V。
    KVM 支持客户机以占方式访这个宿主机的 PCI/PCI-E
    设备。通过硬件支持的 VT-d
    技术以配备分给客户机后，在客户机看来，设备是情理上连年在PCI或者PCI-E总线上之
    几乎有的 PCI 和 PCI-E
    设备还支持直接分配，除了显卡以外（显卡的特殊性在这里）。PCI
    Pass-through 需要硬件平台 Intel VT-d 或者 AMD IOMMU
    的支撑。这些特点必须于 BIOS 中吃启用
    图片 24

    • 利：减少了 VM-Exit 陷入到 Hypervisor
      的历程，极大地提高了性能，可以齐几乎和原生系统一样的习性。而且VT-d
      克服了 virtio 兼容性不好与 CPU 使用效率比较高之题材。
    • 不足：独占设备的话，无法落实设备的共享，成本提高。
    • 不足的化解方案：（1）在同一贵物理宿主机及，仅少数 I/O
      如网性要求比高之客户机使用
      VT-d直接分配设备，其他的使纯模仿或 virtio
      已高达多个客户机共享同一个设备的目的
      （2）对于网络I/O的解决办法，可以选取 SR-IOV
      是一个网卡产生多独单身的虚拟网卡，将每个虚拟网卡分配个一个客户机使用。

总结
图片 25

1及2意味着该出之新用户既主导支出的几近了，用户也更成熟，想使通过骗或是野蛮式的扬，已经收益愈小了。这一点凡咱国人不得不正面的一个巨大变化，做软件越来越需要良心和新意了。

2.6 网卡虚拟化

VM发出之流量一般有点儿栽

  • 及物理机外部的配备，
  • 顶地面物理服务器上的虚拟机。

故而我们需要保证不同虚拟机流量的相互隔离，同时以如考虑情理设备内虚拟机的互联互通。

缓解措施：
对于针对物理机外部的流量，给每个VM分配一个专用通道，共享物理网卡资源。
一言九鼎有如下几栽模式：

  • Bridge桥中继模式：把物理主机上的网卡当交换机，然后虚拟发一个Bridge来接收发朝物理机的保证。
    图片 26
  • isolation mode：仅guest OS之间通信；不与外部网络及宿主机通信。
    图片 27
  • routed mode：与外表主机通信，通过静态路由使得各Guest OS
    的流量用经物理网卡
    图片 28
  • nat：地址转换；在编造网卡和情理网卡之间建立一个nat转发服务器；对数码包进行源地址转换。
    图片 29

本着内部流量：

  • 在hypervisor上起virtual
    switch，不过会吃CPU资源，而且是比较生安全隐患。（intel的VT-c用VMDq技术如果网卡芯片处理局部vswitch的干活，同时用vFW来保障安全）
  • 得先让流量产生服务器通过安全设备区域开展数量清洗以后更返。主流方式以硬件SR-IOV对VM流量进行鉴别以及处理

总结

图片 30

3意味着对标的百度与微信在华夏占据中心，只不过在中华监管与商店良心实在有最老之别。考虑到BAT以不变应万变的给创业公司先行找模式以及教诲市场，待时机成熟直接用本与曾产生用户优势暴力复制并夺市场的永不脸做法，我们不得不考虑企业创新后乏力的题材，以及文化产权保护何时才能够于神州生根发芽的问题。

2.7 Hypervisor层底虚拟化实现

操作系统是用户与物理机的接口，也是行使与大体硬件的接口。核心职能在于任务调度和硬件抽象。

今非昔比操作系统的无限老不同在于内核。

单内核、混合本、微内核、外内核的别
图片 31

  • 单内核：内核所有的职能代码全部还运行于同一个本空间内,优点是性质性能好高，缺点是设计复杂，稳定性不足够好；
  • 微内核：类似C/S服务模式，只有极端基础之代码会运作为本空间，其他的且运作于用户空间，优点是平安无事强，缺点性能比逊色；
  • 混本：性能和安定的低头产物，完全出于设计者进行用户从定义；
  • 外内核：比微内核更加极端，连硬件抽象工作都付出用户空间，内核只待确保应用程序访问硬件资源时，硬件是悠闲的

图片 32

4和5恰巧贴合了中华长足发展之视频直播、网红经济、朋友围和运营商的事务增长，这些都是群众已解内容，我们也无须多说。

2.7.1 主流的Hypervisor总结

Hypervisor的类别

KVM

Xen

Hyper-v

ESX/ESXi

内核类型

Linux

Linux（修改）&Nemesis

Windows&Hyper-V

Linux&VMernel

内核

单核

外内核

外内核

混合内核

I/O虚拟化方式

类Service VM Model

Service VM Model

Service VM Model

Monolithic Model

特点

集成在Linux内核中

有被KVM取代之势，性能低于KVM

捆绑Windows Server

技术积累深厚，Vmkernel是核心竞争力

6、7、9在华还是勿极端受尊重的区域，当然就和当地法规、文化、习惯有关。由于材料阶层的越来越国际化，我们发理由相信这会是前景华夏互联网发展的新机遇，方式应是精品化的、细分市场、有针对性、收费式的。这是一个入股回报比较远，用户群体小且增长速度不会见太快的，BAT不绝看的上，一般的急性投资商为看无齐之商海。如果决定当是主旋律创业，必须耐得住寂寞，放长线钓大鱼。

8之言语小编在美国不时早已不仅仅一不行的为老外吹嘘中国之支付宝和微信支付有多么多么NB了，我生坚信中国的电子支付使用做领域的广大，绝对走以世界最为前端，把中华模式将去美国与其余国家复制都是产生成功机会的（当然要考虑到各级的求实习惯），这吗是创业之一个初思路，把咱的技巧输出到国外。