从Falco看如何利用eBPF检测系统调用

admin 2022年4月23日01:29:08评论47 views字数 8488阅读28分17秒阅读模式
一、eBPF

1.1简介

eBPF是一项革命性的技术,可以在操作系统内核中运行沙盒程序。它用于安全有效地扩展内核的功能,而无需更改内核源代码或加载内核模块。通过允许在操作系统中运行沙箱程序,应用程序开发人员可以运行eBPF程序,以便在运行时向操作系统添加额外的功能。然后,操作系统保证安全性和执行效率,就像在实时(JIT)编译器和验证引擎的帮助下进行本机编译一样。这导致了一波基于eBPF的项目,涵盖了广泛的用例,包括下一代网络、可观察性和安全功能。

eBPF程序是事件驱动的,当内核或应用程序通过某个hook时运行。预定义的hook包括system calls, 函数的entry/exit, kerneltracepoints, network 事件等等。图1展示了eBPF在hook系统调用时程序调用的实际以及如何获取系统的数据。

从Falco看如何利用eBPF检测系统调用

图1 eBPF在hook系统调用时的执行位置

eBPF可以对接多种类型的探针:

•  Kprobes

•  Kretprobes

•  Tracepoints

•  Uprobes

•  Uretprobes

•  ...

eBPF中有两个比较重要的部分:Prog和 Map。

从Falco看如何利用eBPF检测系统调用

图2 eBPF采用Map实现Prog 之前的数据通信

•  eBPF Prog

为了细分不同类型的eBPF程序,截止到Kernel 5.8, eBPF划分了30种不同的eBPF 程序类型[1]。每种eBPF只能实现的有限的功能 。内核提供了一系列可供eBPF程序调用的内核函数来实现功能的可控,保障eBPF程序的安全性。这些内核函数通常被称为 helper辅助函数[2]。不同类型的程序可以使用不同的helper辅助函数。有关Prog的类型详解:使用场景、函数签名、执行位置及程序示例可以查阅产考文献[3]。

•  eBPF Map

Map是一种用来存储不同数据的动态的数据类型,允许在内核态的程序之间共享数据,也能够在内核态和用户态应用之间共享数据。可以实现用户态和内核态的双向实时通信。

随着版本迭代与功能的扩展细化,目前bpf_map_type已经有28不同类型的map[4]。所以在使用map时,需要根据应用场景指定一个合适的类型。关于BPF Map 类型详解使用可以参考[5]。map大致可以分为下面几种类型:

•  Hash tables, Arrays

•  LRU (Least Recently Used)

•  Ring Buffer

•  Stack Trace

•  LPM (Longest Prefix match)

•  ...

1.2编写eBPF

内核中提供了bpf系统调用:

int bpf(int cmd,union bpf_attr *attr,unsigned int size);

但在许多场景中,bpf不是直接使用,而是通过Cilium[6]、bcc[7]或bpftrace[8],goebpf[9],libbpf[10]等项目间接使用。这些项目在eBPF之上提供了一个抽象,不需要直接编写程序,而是提供了指定基于意图定义的能力,然后用eBPF实现这些定义。在 linux 源码中的 samples/bpf [11] 目录下可以找到对应的例子。关于eBPF的编写和使用也可以参阅往期文章[12]。

1.3eBPF应用场景

得益于eBPF的强大能力,一大批基于eBPF的优秀开源项目相继涌现,如BPFTrace,Katran[13],Cilium,Falco[14],Pixie[15],eBPF Exporter[16]等等,覆盖观测跟踪,网络,安全等各个方面。在国内,各家云厂商也开始采用eBPF技术来优化系统设计。下面我们将以Falco为例,展示下eBPF是如何实现安全监控的能力的。

二、Falco

2.1简介

Falco最初是由Sysdig[17]创建的,后来加入CNCF孵化器,成为首个加入CNCF的运行时安全项目。可以实现对调用行为的监控,并依赖于强大的规则引擎,对异常的系统调用行为进行告警。

2.2Falco架构

从Falco看如何利用eBPF检测系统调用

图3 Falco架构

Falco架构图如图3所示。有关Falco的具体的介绍和使用可以参考往期文章【探索SysdigFalco:容器环境下的异常行为检测工具】,本文重点关注Falco对系统调用的采集。Falco对系统调用的采集有两种模式:

• LKM (Linux Kernel Module)内核扩展模块

• eBPF Probe.

这两种方法在功能上是相同的,但内核模块的效率要高一些,而eBPF方法更安全。

Falco的eBPF模块主要是对内核的静态探针Tracepoints进行hook,之所以没有采用动态探针Kprobes,是因为Kprobes并不是一种稳定的探针,可能会随着内核的迭代更新而新增或者删除,对内核版本的依赖性较高,因此兼容性与稳定性也就较差。

sysdig在他们的官方博客对eBPFdriver的评价[18]如下:

可能是这个星球上最雄心勃勃的、最复杂的eBPF脚本。

下面我们从Falco利用eBPF监控系统调用的代码层面[19],了解下Falco如何利用eBPF实现系统调用的监控。

Falco主要是使用系统的raw_tracepoint或者tracepoint,这取决于不同内核所能提供的能力。

# 从linux kernel 4.17后,添加了raw_tracepoint类型。#if LINUX_VERSION_CODE >= KERNEL_VERSION(4, 17,0)#define BPF_SUPPORTS_RAW_TRACEPOINTS#endif
#ifdef BPF_SUPPORTS_RAW_TRACEPOINTS#define TP_NAME "raw_tracepoint/"#else#define TP_NAME "tracepoint/"#endif
#ifdef BPF_SUPPORTS_RAW_TRACEPOINTS#define BPF_PROBE(prefix,event,type) __bpf_section(TP_NAME #event)int bpf_##event(struct type*ctx)#else#define BPF_PROBE(prefix,event,type) __bpf_section(TP_NAME prefix #event)int bpf_##event(struct type*ctx)#endif

Falco的eBPF驱动提供了以下几种类型的调用采集的能力。

BPF_PROBE("raw_syscalls/", sys_enter, sys_enter_args)BPF_PROBE("raw_syscalls/", sys_exit, sys_exit_args)BPF_PROBE("sched/", sched_process_exit, sched_process_exit_args)BPF_PROBE("sched/", sched_switch, sched_switch_args)BPF_PROBE("exceptions/", page_fault_user, page_fault_args)BPF_PROBE("exceptions/", page_fault_kernel, page_fault_args)BPF_PROBE("signal/", signal_deliver, signal_deliver_args)

下面以tracepoint:syscalls:sys_enter为例分析下,Falco是如何利用eBPF来采集系统调用的详细信息的。

BPF_PROBE("raw_syscalls/", sys_enter, sys_enter_args){      ...      // 获取系统调用的系统调用相关信息      id =bpf_syscall_get_nr(ctx);      sc_evt =get_syscall_info(id);      evttype = sc_evt->enter_event_type;      ...      // 调用具体系统调用的信息采集方法#ifdef BPF_SUPPORTS_RAW_TRACEPOINTS      call_filler(ctx, ctx, evt_type, settings, drop_flags);#else      /* Duplicated here to avoid verifier madness */      structsys_enter_args stack_ctx;
memcpy(stack_ctx.args, ctx->args,sizeof(ctx->args)); if(stash_args(stack_ctx.args)) return0; call_filler(ctx,&stack_ctx, evt_type, settings, drop_flags);#endif return0;}

可以看到,这只是入口,实际的eBPF的程序是使用bpf_tail_call()尾调用机制调用的。有关bpf_tail_call的介绍可以从参考文献[20]中获取。

static __always_inline void call_filler(void *ctx,                              void *stack_ctx,                              enum ppm_event_typeevt_type,                              struct sysdig_bpf_settings *settings,                              enum syscall_flags drop_flags){      ...      bpf_tail_call(ctx,&tail_map, filler_info->filler_id);      bpf_printk("Can't tail call fillerevt=%d, filler=%dn",               state->tail_ctx.evt_type,               filler_info->filler_id);      ...}

bpf_tail_call是从tail_map获取指定的BPF 程序执行。tail_map是type为BPF_MAP_TYPE_PROG_ARRAY的map集合。这种类型的 array 存放的是BPF 程序的文件描述符(fd),在尾调用时使用。

struct bpf_map_def __bpf_section("maps") tail_map ={      .type = BPF_MAP_TYPE_PROG_ARRAY,      .key_size =sizeof(u32),      .value_size =sizeof(u32),      .max_entries = PPM_FILLER_MAX,};

tail_map中的BPF 程序位于driver/bpf/fillers.h中,考虑代码复用,里面使用了大量的宏定义。

#define FILLER(x,is_syscall)                               static__always_inline int__bpf_##x(struct filler_data *data);                                                               __bpf_section(TP_NAME "filler/" #x)                         static__always_inline int bpf_##x(void*ctx)                     {                                                           struct filler_data data;                                    intres;                                                                                                    res=init_filler_data(ctx,&data,is_syscall);                   if(res==PPM_SUCCESS){                                         if(!data.state->tail_ctx.len)                                          write_evt_hdr(&data);                                 res=__bpf_##x(&data);                               }                                                                                                           if(res==PPM_SUCCESS)                                           res=push_evt_frame(ctx,&data);                                                                           if(data.state)                                                   data.state->tail_ctx.prev_res=res;                                                                              bpf_tail_call(ctx,&tail_map,PPM_FILLER_terminate_filler);      bpf_printk("Can't tail call terminate fillern");                 return 0;                                       }                                                                                                           static__always_inline int __bpf_##x(struct filler_data *data)          
FILLER(sys_open_x,true){ ... // 调用参数采集 res = bpf_val_to_ring(data, dev); return res;}FILLER(sys_empty,true)...

可以将宏定义还原后,查看简化的代码结构如下:

static __always_inline int __bpf_sys_open_x(struct filler_data *data);
__bpf_section(TP_NAME "filler/" sys_open_x) static __always_inline int bpf_sys_open_x(void *ctx){ ... // 调用实际的信息获取的方法,采集系统调用信息 res = __bpf_sys_open_x(&data); ... if(res == PPM_SUCCESS) // 将采集的数据发送给用户态程序 res = push_evt_frame(ctx,&data); ...}
static __always_inline int __bpf_sys_open_x(struct filler_data *data){... // 调用参数采集,并将结果填充到data结构体中 if(retval <0||!bpf_get_fd_dev_ino(retval,&dev,&ino)) dev =0; res = bpf_val_to_ring(data, dev); return res;}static __always_inline int push_evt_frame(void *ctx, struct filler_data *data){ ...
#ifdef BPF_FORBIDS_ZERO_ACCESS int res = bpf_perf_event_output(ctx, &perf_map, BPF_F_CURRENT_CPU, data->buf, ((data->state->tail_ctx.len -1)& SCRATCH_SIZE_MAX)+1);#else int res = bpf_perf_event_output(ctx, &perf_map, BPF_F_CURRENT_CPU, data->buf, data->state->tail_ctx.len & SCRATCH_SIZE_MAX);#endif

可以看到, push_evt_frame中实际是bpf_perf_event_output()将获取到的数据发送到perf_map,利用perf 缓冲区从内核向用户空间发送数据。但是perf 缓冲区基于单个CPU的设计本身会有一定的缺陷,因此Linux 5.8开始 ,BPF提供了新的数据结构:BPF环形缓冲区(ringbuf)。有兴趣的读者可以从参考文献中了解更为详细的细节。关于BPF perfbuf和ringbuf的详细资料可以参考[21]。

struct bpf_map_def __bpf_section("maps") perf_map ={      .type = BPF_MAP_TYPE_PERF_EVENT_ARRAY,      .key_size =sizeof(u32),      .value_size =sizeof(u32),// 只能是 sizeof(u32) ,代表的是 perf_event 的文件描述符      .max_entries =0,//是perf_event 的文件描述符数量。};

perf_map是一个type为BPF_MAP_TYPE_PERF_EVENT_ARRAY的map。与其他array、hash 类型的eBPF map不同,BPF_MAP_TYPE_PERF_EVENT_ARRAY采用bpf_perf_event_output()往map中填充数据。

在这时用户态程序就可以从perf 缓冲区中获取到记录数据,传入Falco的规则引擎中进行匹配分析。

三、总结

如今,eBPF被广泛用于推动各种各样的用例:在现代数据中心和云原生环境中提供高性能网络和负载均衡,以低开销提取细粒度的安全可观察性数据,帮助应用程序开发人员跟踪应用程序,为性能故障排除、预防性应用程序和容器运行时安全实施提供见解等等。

本文以Falco为例,分析了eBPF在安全监控领域的使用方式。这只是eBPF技术的一个很小的应用场景,其他诸如加速网络访问,远程调试程序等等场景使用eBPF技术都能有很好的效果,有兴趣的读者也可以关注下。

参考文献

[1]. https://github.com/iovisor/bcc/blob/master/docs/kernel-versions.md#program-types

[2]. https://man7.org/linux/man-pages/man7/bpf-helpers.7.html

[3]. http://arthurchiao.art/blog/bpf-advanced-notes-1-zh/

[4]. https://github.com/torvalds/linux/blob/v5.8/include/uapi/linux/bpf.h#L122

[5]. http://arthurchiao.art/blog/bpf-advanced-notes-3-zh/#3-bpf_map_type_prog_array

[6]. https://github.com/cilium/cilium

[7]. https://github.com/iovisor/bcc

[8]. https://github.com/iovisor/bpftrace

[9]. https://github.com/dropbox/goebpf

[10]. https://github.com/libbpf/libbpf

[11]. https://github.com/torvalds/linux/tree/master/samples/bpf

[12]. https://mp.weixin.qq.com/s?__biz=MzIyODYzNTU2OA==&mid=2247487440&idx=1&sn=cb6379cfc4a1bba0881363840afc438a&chksm=e84fa90fdf38201990781e3c95d9857e6d4ad083ce40a575e1cbdc12aaabb4f58ba527dc58c1&scene=21#wechat_redirect

[13]. https://github.com/facebookincubator/katran

[14]. https://github.com/falcosecurity/falco

[15]. https://github.com/pixie-io/pixie

[16]. https://github.com/cloudflare/ebpf_exporter

[17]. https://sysdig.com/

[18]. https://sysdig.com/blog/sysdig-contributes-falco-kernel-ebpf-cncf

[19]. https://github.com/falcosecurity/libs/tree/master/driver/bpf

[20]. https://lwn.net/Articles/645169/

[21]. https://www.ebpf.top/post/bpf_ring_buffer



关于星云实验室

星云实验室专注于云计算安全、解决方案研究与虚拟化网络安全问题研究。基于IaaS环境的安全防护,利用SDN/NFV等新技术和新理念,提出了软件定义安全的云安全防护体系。承担并完成多个国家、省、市以及行业重点单位创新研究课题,已成功孵化落地绿盟科技云安全解决方案。

内容编辑:星云实验室 陈建军  责任编辑:高深
本公众号原创文章仅代表作者观点,不代表绿盟科技立场。所有原创内容版权均属绿盟科技研究通讯。未经授权,严禁任何媒体以及微信公众号复制、转载、摘编或以其他方式使用,转载须注明来自绿盟科技研究通讯并附上本文链接。
关于我们

绿盟科技研究通讯由绿盟科技创新中心负责运营,绿盟科技创新中心是绿盟科技的前沿技术研究部门。包括云安全实验室、安全大数据分析实验室和物联网安全实验室。团队成员由来自清华、北大、哈工大、中科院、北邮等多所重点院校的博士和硕士组成。
绿盟科技创新中心作为“中关村科技园区海淀园博士后工作站分站”的重要培养单位之一,与清华大学进行博士后联合培养,科研成果已涵盖各类国家课题项目、国家专利、国家标准、高水平学术论文、出版专业书籍等。
我们持续探索信息安全领域的前沿学术方向,从实践出发,结合公司资源和先进技术,实现概念级的原型系统,进而交付产品线孵化产品并创造巨大的经济价值。
从Falco看如何利用eBPF检测系统调用
长按上方二维码,即可关注我们

原文始发于微信公众号(绿盟科技研究通讯):从Falco看如何利用eBPF检测系统调用

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年4月23日01:29:08
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   从Falco看如何利用eBPF检测系统调用http://cn-sec.com/archives/933033.html

发表评论

匿名网友 填写信息