大页内存和虚拟机热迁移

linux内存大页配置方法及具有内存大页特性的虚拟机热迁移流程

Posted by xinxin on December 3, 2020

大页内存的作用

  CPU是通过寻址来访问内存的。32位CPU的寻址宽度是0~0xFFFFFFFF,计算后得到的大小是4G,也就是说可支持的物理内存最大是4G。但如果碰到了这样的问题,程序需要使用4G内存,而可用物理内存小于4G,导致程序不得不降低内存占用。 为了解决此类问题,现代CPU引入了 MMU(Memory Management Unit 内存管理单元)。

  MMU 的核心思想是利用虚拟地址替代物理地址,即CPU寻址时使用虚址,由 MMU负责将虚址映射为物理地址。MMU的引入,解决了对物理内存的限制,对程序来说,就像自己在使用4G内存一样。

  内存分页(Paging)是在使用MMU的基础上,提出的一种内存管理机制。它将虚拟地址和物理地址按固定大小(4K)分割成页(page)和页帧(page frame),并保证页与页帧的大小相同。这种机制,从数据结构上,保证了访问内存的高效,并使操作系统能支持非连续性的内存分配。在程序内存不够用时,还可以将不常用的物理内存页转移到其他存储设备上,比如磁盘,这中机制就是大家耳熟能详的虚拟内存。

  在上文中提到,虚拟地址与物理地址需要通过映射,才能使CPU正常工作。 而映射就需要存储映射表。在现代CPU架构中,映射关系通常被存储在物理内存上一个被称之为页表(page table)的地方。

  如下图所示: .

  从这张图中,可以清晰地看到CPU与页表,物理内存之间的交互关系。  

  页表是被存储在内存中的。我们知道CPU通过总线访问内存,肯定慢于直接访问寄存器的。进一步优化性能,现代CPU架构引入TLB(Translation lookaside buffer,页表寄存器缓冲),用来缓存一部分经常访问的页表内容。

  如下图: . 对比上图,在中间加入了TLB。

为什么要支持大内存分页?

  TLB是有限的,这点毫无疑问。当超出TLB的存储极限时,就会发生 TLB miss,之后,OS就会命令CPU去访问内存上的页表。如果频繁的出现TLB miss,程序的性能会下降地很快。

  为了让TLB可以存储更多的页地址映射关系,我们的做法是调大内存分页大小。如果一个页4M,对比一个页4K,前者可以让TLB多存储1000个页地址映射关系,性能的提升是比较可观的。

配置大页内存方法

  1. 修改系统启动配置文件:vim /etc/default/grub,在GRUB_CMDLINE_LINUX标签中添加hugepagesz= hugepages= default\_hugepagesz=1GB。hugepagesz是页的大小,取值为1GB;hugepages是页数,二者相乘就是配置的大页内存数。比如配置4G的页内存大小为1GB的大页内存,hugepagesz=1GB hugepages=4 default_hugepagesz=1GB。
  2. 执行grub2-mkconfig -o /boot/grub2/grub.cfg命令重新生成配置文件。
  3. 执行reboot重启主机生效。
  4. 主机重启后查看配置是否生效,执行cat /proc/cmdline查看GRUB_CMDLINE_LINUX中是否有大页内存的配置;执行cat /proc/meminfo $\mid$ grep Huge查看结果。
    Hugepage_Total是大页内存的总页数,HugePages_Free是可用页数,HugePagesize是页的大小。

支持内存大页的虚拟机热迁移