linux下零拷贝技术介绍

传统的数据传输方式

很长一段时间内,数据拷贝的认识仅仅停留在应用程序层,实际上隐藏在背后的数据拷贝行为比想象的要多的多。在传输数据的时候,用户应用程序需要分配一块合适大小的缓冲区来存放需要传输的数据。用户从应用程序中读取数据,然后发送出去,只需要两个系统调用read,write即可完成数据传输工作,应用程序并不知道这个数据传输过程中操作系统进行了多少次拷贝操作。某些情况下,这些数据拷贝操作会极大的降低数据传输的性能。(NIC,Network Interface Card )

传统的数据拷贝方式,如下图:

上线文切换,如图:

涉及的步骤:

(1)read()调用引发从用户模式到内核模式的上下文切换(第一次切换),在内部,发出sys_read(或者同等内容)从设备中读取数据,直接内存读取(direct memory access,DMA)执行了拷贝(第一次拷贝),它从磁盘中读取内容,然后将他们存储到一个内核地址空间缓冲区中;

(2)数据从读缓冲区拷贝到用户缓冲区(第二次拷贝),read()调用返回。该调用返回引发内核模式到用户模式的切换(第二次切换)。现在数据被存储在用户空间缓冲区中;

(3) send()套接字调用引发用户模式到内核模式的上下文切换(第三次切换),数据再次被放置到内核地址空间缓冲区中(第三次拷贝)。这次放置的缓冲区与目标套接字关联;

(4) send()系统调用返回,从内核模式切换到用户模式(第四次切换),DMA引擎将数据从内核缓冲区传输到协议引擎(第四次拷贝)。

DMA允许外围设备和贮存之间直接传输IO数据,DMA依赖于系统。每一种体系结构DMA传输不同,编程接口也不同。数据传输可以以两种方式触发:一种所软件请求数据,另一种所硬件异步传输。以read为例,它即采用第一种方式,其步骤如下:

(1) 进程调用read时,驱动程序分配一个DMA缓冲区,随后指示硬件传送它的数据,进程进入睡眠;

(2) 硬件将数据写入DMA缓冲区并在完成时产生一个中断;

(3) 中断处理程序获取输入数据,应答中断,最后唤醒进程,可以读取数据了。

由此可见,在传统的数据传输中,系统方面总共进行了4次数据拷贝,4次上线文切换,这些都会对服务器性能造成很大影响。

零拷贝概述

简单的说,零拷贝是一种避免CPU将数据从一快存储拷贝到另外一块存储的技术。零拷贝技术的目标:

避免数据拷贝

#避免操作系统内核缓冲区之间进行数据拷贝操作;

#避免操作系统内核和用户应用程序地址空间之间进行数据拷贝操作;

#用户应用程序可以避免操作系统直接访问硬件存储;

#数据传输尽量让DMA来处理。

多种操作结合在一起

#避免不必要的系统调用和上下文切换;

#需要拷贝的数据可以先缓存起来;

#对数据进行的处理尽量让硬件来做。

零拷贝的实现方式分类

直接IO

主要是通过减少操作系统内核缓冲区和应用程序地址空间数据拷贝次数,降低对文件读取和写入时带来的CPU使用和带宽的开销。对于某些页数的应用程序,比如说自缓冲应用程序来说,会是一个比较好的选择。如果要传输的数据量大,使用直接IO的方式进行数据传输,而不需要操作系统内核地址空间拷贝数据的参与,这将会提高性能。

直接IO并不是所有的情况下都有效。设置直接IO的开销非常大,而且不能利用缓存IO的优势。直接IO的读操作会造成磁盘的同步读,执行进程需要在很长的时间才能执行完;而写操作会导致应用程序关闭缓慢。应用程序使用直接IO进行数据传输通常和异步IO结合使用。

linux内核已经为快设备执行直接IO提供了支持,应用程序直接访问文件而不经过操作系统页高速缓冲存储器的时候,打开文件(open() syscall)指定O_DIRECT标示符。

总之,这种数据传输方式,应用程序直接访问硬件存储,操作系统内核只是辅助数据传输;它一般用于操作系统不需要对数据进行处理的情况,数据可以再应用程序地址空间的缓冲区和磁盘之间进行传输,而不需要linux操作系统内核提供页缓存支持。

针对数据传输不需要经过应用程序地址空间的零拷贝技术

数据传输过程中,避免数据在系统内核地址空间的缓冲区和用户应用程序地址空间的缓冲区进行拷贝。有时候,应用程序在数据传输的过程中不需要对数据进行访问,将数据从linux的页缓存拷贝到用户进程的缓冲区就可以完全避免,传输的数据在页缓冲中就可以处理。在某些情况下,这种零拷贝技术能获得很好的性能。linux下提供类似的系统调用主要有mmap(),sendfile(),splice().

使用mmap替代read,可以减少CPU拷贝次数。当应用程序调用mmap()之后,数据通过DMA拷贝拷贝到内核缓冲区,应用程序和操作系统共享这个缓冲区。这样,操作系统内核和应用程序存储空间不再需要进行任何的数据拷贝操作。当进行write()系统调用时,数据由内核缓冲区拷贝到socket缓冲区,再拷贝到协议引擎中。

这种也比较适用于传送的数据不需要经过操作系统内核的处理或者不需要经过程序的处理直接传输的情况。结合socket也能使用mmap,不过只能在RAW的情况下使用。对于传统的C/S网络游戏结构来说,使用的意义不大。

对应用程序地址空间和内核空间的数据传输进行优化的零拷贝技术

对数据在linux页缓存和用户进程缓冲区之间的传输进行优化。该零拷贝技术侧重于灵活的处理数据在用户进程中的缓冲区和操作系统的页缓冲区之间的拷贝操作。这种方式延续了传统的通信方式,但是更加灵活。linux中该方法主要利用写时复制技术。

写时复制是计算机编程中常见的一种优化策略,基本思想是这样的:如果多个应用程序需要同时访问一块数据,那么可以为这些应用程序分配指向这块数据的指针,在每个应用程序看来,他们都拥有这块数据的一份拷贝,当其中一个应用程序需要对自己的这份数据进行修改时,就需要将数据真正的拷贝到应用程序的地址空间去。如果应用程序永远不会对这块数据进行修改,那么就永远不需要将数据拷贝到应用程序的地址空间去。在stl中string的实现类似这种策略。

参考

linux 中的零拷贝技术 第1部分

http://www.ibm.com/developerworks/cn/linux/l-cn-zerocopy1/index.html

linux 中的零拷贝技术 第2部分

http://www.ibm.com/developerworks/cn/linux/l-cn-zerocopy2/index.html

linux系统内核空间与用户空间通信的实现与分析

http://www.ibm.com/developerworks/cn/linux/l-netlink/

从linux内核访问用户空间内存

http://www.ibm.com/developerworks/cn/linux/l-kernel-memory-access/

linux中直接IO机制的介绍

http://www.ibm.com/developerworks/cn/linux/l-cn-directio/

通过零拷贝实现有效的数据传输

http://www.ibm.com/developerworks/cn/java/j-zerocopy/

(0)

相关推荐

  • Linux下备份恢复技术的应用

    本文讲述Linux环境下,如何使用备份的脚本和命令以及商业化的软件来合理高效地保护磁盘数据安全。 备份与恢复系统承担着事前备份与事后恢复的职能。在当前高速发展的网络环境下,任何一个网络上的信息 系统 ...

  • linux下如何拷贝部分文件到另一个文件夹

    cp -Rf /home/user1/* /root/temp/ 将 /home/user1目录下的所有东西拷到/root/temp/下而不拷贝user1目录本身. 即格式为:cp -Rf 原路径/ ...

  • Istanbul Linux下的屏幕录像机介绍

    想把漂亮的 Linux 桌面录制下来与他人分享?要给朋友演示 Linux 的使用技巧?遇到的 Linux 问题实在难以描述?Istanbul 能满足你的要求。使用 Istanbul,你可以将 Linu ...

  • linux下ping命令使用介绍

    一、ping命令的原理和工作机制 •ping命令一般用于检测网络通与不通,也叫时延,其值越大,速度越慢PING(PacketInternetGrope),因特网包探索器,用于测试网络连接量的程序。 • ...

  • Linux下通配符的使用介绍

    linux常用通配符有* ,?,[ ],[^],[:space:],[:punct:],[:lower:],[:upper:],[:digit:],[:alnum:]等等. 操作方法 01 *  匹配 ...

  • LINUX下的文件结构介绍

    /bin 二进制可执行命令 /dev 设备特殊文件 /etc 系统管理和配置文件 /etc/rc.d 启动的配置文件和脚本 /home 用户主目录的基点,比如用户user的主目录就是/home/use ...

  • Linux下安装和部署LXC(内核虚拟化技术)的方法

    Linux Container容器是一种内核虚拟化技术,简称LXC,是一种轻量级的虚拟化手段,那么LXC要如何安装部署呢?下面小编就给大家介绍下Linux下LXC的安装部署方法。 LXC 中文名称就是 ...

  • linux下scp远程拷贝包含空格的目录或者文件的解决方法

    今天遇到个白痴问题,用了linux 这么久了,竟然还出现如此低级的错误。 记录下,免得又忘记。 描述: 今天需要远程拷贝一些文件到电脑上,ubuntu的。 远程电脑是debian的。 文件和目录包含大 ...

  • Linux下设置可使用netpas网络加速器的方法与步骤介绍

    对于在教育网内的同学来说,最大的痛苦就是教育网不能出国和访问公网速度 慢了(有钱买流量的不用看本文),所以通常有些需求的就必须购买像教育网 直通车之类的加速服务,当然还有另一种选择那就是花钱买专门的V ...