Linux内核实现多路镜像流量聚合和复制的方法

我们在进行安全性监控、测试的过程中,难免会遇到这样的问题:需要部署大量基于镜像流量的安全设备,如IPS,异常流量,数据库审计,流量分析等,可是交换机上可以做镜像流量的端口数量有限制,购买专业的设备又太昂贵。

本文就针对此种情况,从Linux内核模块对网络数据库包进行处理,解决上述问题。

应用场景

我们在进行安全性监控、测试的过程中,难免会遇到这样的问题:需要部署大量基于镜像流量的安全设备,如IPS,异常流量,数据库审计,流量分析等,可是交换机上可以做镜像流量的端口数量有限制,购买专业的设备又太昂贵。

本文就针对此种情况,从Linux内核模块对网络数据库包进行处理,解决上述问题。这里也感谢“白金PT”给予的帮助。

架构设计

内核模块的流程比较简单,转发配置从用户态提交给内核模块,如”eth1@eth2_eth1@eth3_eth1/eth4@eth5“,这段的配置是:

来自eth1的流量,复制给eth2和eth3

来自eth1和eth4的流量,聚合给eth5

MIRROR内核模块中,只需要实现参数读取,配置分析,网卡判断(源,目的)即可。

算法、代码实现

参数输入

这段代码的功能是,将前面提到的如“eth1@eth2_eth1@eth3_eth1/eth4@eth5“这样的参数,按照”_”进行拆分,分段提交给参数设置函数”option_setup”

参数设置

这里我们把得到的参数”eth0@eth1”进行进一步的拆分,分出了源网卡eth0,目的网卡eth1,在内核模块的全局变量中,有一个结构

”__read_mostly __u8 ethout_bits[MAX_OUT] ={0};“

用来存储每个网卡对应分发的网卡号,可以这样理解,如果服务器有8个网卡,那么每个网都会有一个8位的二进制数来标明它的转发,比如eth0复制到eth1,那么ethout_bits[0]就等于01000000,以此类推,如果我要把eth0复制到其他所有网卡,就会是01111111。

同时用一个全局的8字节变量,来存储哪些网卡是镜像流量口,防止多余的资源浪费。

__read_mostly__u8 ifindex_bits = 0;

Skb包复制和转发

当Linux内核收到一个skb结构的数据包时,判断这个数据包是不是在转发列表里,也就是网卡是不是镜像源。

接着我用了一个循环,来遍历存储的转发目的网口,如果匹配的话,就使用skb_clone函数将数据包复制一份,然后通过dev_queue_xmit函数直接发送出去。

最后清理skb_buff结构。

启动脚本

为了方便调试和快速提交参数,可以使用如下的shell脚本:

实测效果

编译,填充参数并执行

执行sh sh.sh

Dmesg输出

镜像流量效果

这里可以看到流量统计由于网卡速率,时间差等,并不会100%一样,是正常的。

CPU占用

当流量已经达到400M左右的时候,CPU占用仍然比较低。

MIRROR.c源代码与pdf格式下载

(0)

相关推荐

  • linux内核驱动-内核初涉

    一、为什么要学习内核? 有些人要学习内核,而有些人则可以不学习它。你如果以后要从事系统研发或驱动开发的话,就要学习内核。 刚刚接触内核,主要学习内核的接口函数。不要深入的去读内核,因为你读也读不懂,内 ...

  • Linux内核代码英文版构架图

    Linux内核代码英文版构架图:

  • Linux内核驱动fsync机制实现图解

    在Linux内核中的IO模型基本分为4类: 1、同步阻塞I/O 2、同步非阻塞I/O 3、异步阻塞I/O 4、异步非阻塞I/O 同步:应用显式地通过函数访问数据,在此函数返回时就会得到结果(成功或失败 ...

  • Linux内核的ioctl函数学习

    Linux内核的概念 Linux是最受欢迎的自由电脑操作系统内核。它是一个用C语言写成,符合POSIX标准的类Unix操作系统。Linux最早是由芬兰黑客 Linus Torvalds为尝试在英特尔x ...

  • 据Ubuntu开发人员的邮件显示 Ubuntu 14.10将使用更新Linux内核3.16.4

    Linux发行版本之一Ubuntu 14.10幸运地赶上了Linux内核更新,新内核版本号为3.16.4。 根据Ubuntu开发人员的邮件显示,10月9日是14.10内核的冻结日期,那就意味着Linu ...

  • 何处下载CentOS的Linux内核的源代码?

    今天既不分析内核源代码,也不讲如何编译源代码,只说从何处下载你的CentOS所对应的Linux内核的源代码。 一、准备工作 1. 如何查询你的CentOS的版本 参见:http://blog.csdn ...

  • unix/linux内核在系统里扮演什么

    unix/linux内核在系统里扮演什么角色? 不仅仅是FreeBSD系统,每一个操作系统都有一个内核---从MS-DOS、Windows到高级终端大型机,但是各种系统对内核的态度不同,有些系统花费了 ...

  • 减少Linux内核空循环,降低系统能耗技巧

    如果不花更多的时间看表,你将有更多充裕的时间。 通俗地讲,这就是Linux内核中一个重要变化的基本原理,编程人员希望这一变化能够提高Linux的效率。新版Linux操作系统将采用“tickless”( ...

  • Ubuntu 14.10何时使用更新Linux内核3.16.4

    Linux发行版本之一Ubuntu 14.10幸运地赶上了Linux内核更新,新内核版本号为3.16.4。 根据Ubuntu开发人员的邮件显示,10月9日是14.10内核的冻结日期,那就意味着Linu ...