python调用go语言来提速

admin 2022年5月2日16:43:47评论29 views字数 5743阅读19分8秒阅读模式

No.1

声明

由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失,均由使用者本人负责,雷神众测以及文章作者不为此承担任何责任。

雷神众测拥有对此文章的修改和解释权。如欲转载或传播此文章,必须保证此文章的完整性,包括版权声明等全部内容。未经雷神众测允许,不得任意修改或者增减此文章内容,不得以任何方式将其用于商业目的。


No.2

前言

在写一些对性能要求十分严格的功能的时候,python往往力不从心。毕竟是一个解释性的语言,没有办法和变异性的语言去比较速度和内存占用率。但是python的本身的特定就使得我们可以将耗时的操作移交给编译性的语言去实现。由于项目上的关系,需要对迸发有着比较严格的要求,所以想到了go语言。这里介绍一下如何使用python调用go语言的代码。


No.3

原理

python调用go语言是通过c语言实现的,可以将go语言打包成so,然后让python通过ctypes加载so文件来实现python调用go语言。这里介绍在linux上实现的方式,在windows上,应该需要改变编译的指令。


No.4

详细解释

首先是go方面的代码:main.go文件

package mainimport "C"import "fmt"//export Sumfunc Sum(a, b int) int {    return a + b
}//export Testfunc Test() int {    var s int
   for i := 0; i < 1000000; i++ {
       s += i
   }    return s
}func main() {
   fmt.Println(Test())
}

其中Sum函数上方的//export Sum是必须的,没有这个注释,不会被识别成为导出的对象。export后面的字符是导出后的名字。import "C"也是必须的。

使用如下指令编译:

go build -buildmode=c-shared -o sum.so main.go

sum.so是编译后的文件,main.go是要编译的文件。

编译完成后,会在当前目录生成sum.so,和sum.h文件。

这里来看一下sum.h文件,下面截取了一段关键的代码:

#ifdef __cplusplusextern "C" {#endifextern GoInt Sum(GoInt p0, GoInt p1);extern GoInt Test();#ifdef __cplusplus}#endif

可以看到导出了一个Sum函数和一个Test函数,如果不写//export funcname是不会有这个的。

将sum.so和sum.h放到python的目录下面。然后再来编辑test.py文件,这个文件和sum.so同目录下即可。

test.py

from ctypes import CDLL
import ctypesif __name__ == "__main__":
   test = CDLL("./sum.so").Test
   test.restype = ctypes.c_int64
   print(test())

使用CDLL("./sum.so")加载so模块,然后使用.Test导向Test函数,这里必须和sum.h里一致。
test.restype = ctypes.c_int64将Test的函数返回类型声明为int64,在这里的机器上,默认的结果使用的返回类型为int32,会得到一个错误的结果。需要显示的声明为int64。

最后使用test()来调用。运行程序,查看结果。

python调用go语言来提速

除了上面的定义返回值得类型,还可以定义传入参数的类型,上面的代码中,还定义了一个sum函数。

   sum = CDLL("./sum.so").Sum
   sum.argtypes = [ctypes.c_int32, ctypes.c_int32]
   sum.restype = ctypes.c_int32
   print(sum(1, 2))

argtypes将接受一个列表类型,里面是各个参数的类型。

来测试一下调用go语言代码的速度,和用python自己写的速度有什么区别。

from ctypes import CDLLimport ctypesimport datetime
def speedTest():
   sum = 0
   for i in range(1000000):
       sum += i    return sumif __name__ == "__main__":
   test = CDLL("./sum.so").Test
   test.restype = ctypes.c_int64
   start = datetime.datetime.now()    for i in range(10):
       test()
   end = datetime.datetime.now()
   print(end - start)
   start = datetime.datetime.now()    for i in range(10):
       speedTest()
   end = datetime.datetime.now()
   print(end - start)
   print("done")

go的代码就不放出来了,和python一样,也就用for循环计算累加1000000的值。

python调用go语言来提速

其实这里的测试不太严谨,但是不影响粗略来看测试的结果。可以发现,两者的速度根本就不是一个数量级的。这还仅仅只是时间上的差距,内存上的差距还没有去看。所以如果对项目的耗时非常严格的话,不妨将其中的耗时操作交给go甚至是c语言去实现,能极大提升性能。

一般来说往函数传递参数的时候,不只是需要传递int值,需要穿钉string值。这个时候问题就来了,传递一个string值会怎么样?

//export printStringfunc printString(a string) {
   fmt.Println(a)}

来看看头文件:

#ifdef __cplusplusextern "C" {#endifextern void printString(GoString p0);#ifdef __cplusplus}#endif

可以看到函数的参数类型为GoString,这个类型是c语言没有的。往上翻翻能看到GoString的定义:

typedef struct { const char *p; ptrdiff_t n; } _GoString_;

是一个结构体,有一个char类型的指针和一个代表长度的整数n。

那么在调用这个函数的时候,就需要传递一个GoString的值进去。python侧需要自己来写这个结构体定义。

class GoString(ctypes.Structure):
   _fields_ = [("p", ctypes.c_char_p), ("n", ctypes.c_longlong)]

接下去构建参数传递:

msg = GoString(b"hello,world!",len(b"hello,world!"))
printString(msg)

这里得使用字节流才行,因为是C的char类型指针。
最后设置接收类型为定义好的GoString就能调用了。同理,也可以把返回值设置为string,在python里面也可以用这个GoString这个类给读出来。但是直接输出会输出一个内存地址,需要用result.p来输出,这个也是一个字节流。

其他诸如go的map和chan,在导出的时候,都会被标识为void *,读取起来非常麻烦,而slice需要一个结构体来实现。

class GoSlice(Structure):    _fields_ = [("data", POINTER(c_void_p)), ("len", c_longlong), ("cap", c_longlong)]

最后说一下限制,go语言写的结构体,是没有办法导出的,所以结果的交互要用结构体的时候,尽量用json之类的封装一下。


No.5

招聘启事

雷神众测SRC运营(实习生)
————————

工作地点:杭州(总部)、广州、成都、上海、北京

【职责描述】
1.  负责SRC的微博、微信公众号等线上新媒体的运营工作,保持用户活跃度,提高站点访问量;
2.  负责白帽子提交漏洞的漏洞审核、Rank评级、漏洞修复处理等相关沟通工作,促进审核人员与白帽子之间友好协作沟通;
3.  参与策划、组织和落实针对白帽子的线下活动,如沙龙、发布会、技术交流论坛等;
4.  积极参与雷神众测的品牌推广工作,协助技术人员输出优质的技术文章;
5.  积极参与公司媒体、行业内相关媒体及其他市场资源的工作沟通工作。

【任职要求】 
 1.  责任心强,性格活泼,具备良好的人际交往能力;
 2.  对网络安全感兴趣,对行业有基本了解;
 3.  良好的文案写作能力和活动组织协调能力。



雷神众测白帽运营(实习生)

————————

工作地点:杭州(总部)、广州、成都、上海、北京

【岗位职责】

1.准确了解白帽子爱好,发掘白帽子需求

2.负责各类周边、礼物的挑选与采购

3.对黑客文化有深刻认知

4.维护白帽关系


【任职要求】

1.具有良好的审美眼光

2.具备定制礼品礼物经验

3.较强的沟通以及协调能力

4.为人正直,具备良好的职业道德,能吃苦耐劳,具有良好的团队合作精神


【加分项】

1、具备美术功底、懂得设计美化等

2、有互联网运营经验


简历投递至 [email protected]

设计师

————————

【职位描述】
负责设计公司日常宣传图片、软文等与设计相关工作,负责产品品牌设计。

【职位要求】
1、从事平面设计相关工作1年以上,熟悉印刷工艺;具有敏锐的观察力及审美能力,及优异的创意设计能力;有 VI 设计、广告设计、画册设计等专长;
2、有良好的美术功底,审美能力和创意,色彩感强;精通photoshop/illustrator/coreldrew/等设计制作软件;
3、有品牌传播、产品设计或新媒体视觉工作经历;

【关于岗位的其他信息】
企业名称:杭州安恒信息技术股份有限公司
办公地点:杭州市滨江区安恒大厦19楼
学历要求:本科及以上
工作年限:1年及以上,条件优秀者可放宽


简历投递至 [email protected]


安全招聘
————————

公司:安恒信息
岗位:Web安全 安全研究员
部门:安服战略支援部
薪资:13-30K
工作年限:1年+
工作地点:杭州(总部)、广州、成都、上海、北京

工作环境:一座大厦,健身场所,医师,帅哥,美女,高级食堂…

【岗位职责】
1.定期面向部门、全公司技术分享;
2.前沿攻防技术研究、跟踪国内外安全领域的安全动态、漏洞披露并落地沉淀;
3.负责完成部门渗透测试、红蓝对抗业务;
4.负责自动化平台建设
5.负责针对常见WAF产品规则进行测试并落地bypass方案

【岗位要求】
1.至少1年安全领域工作经验;
2.熟悉HTTP协议相关技术
3.拥有大型产品、CMS、厂商漏洞挖掘案例;
4.熟练掌握php、java、asp.net代码审计基础(一种或多种)
5.精通Web Fuzz模糊测试漏洞挖掘技术
6.精通OWASP TOP 10安全漏洞原理并熟悉漏洞利用方法
7.有过独立分析漏洞的经验,熟悉各种Web调试技巧
8.熟悉常见编程语言中的至少一种(Asp.net、Python、php、java)

【加分项】
1.具备良好的英语文档阅读能力;
2.曾参加过技术沙龙担任嘉宾进行技术分享;
3.具有CISSP、CISA、CSSLP、ISO27001、ITIL、PMP、COBIT、Security+、CISP、OSCP等安全相关资质者;
4.具有大型SRC漏洞提交经验、获得年度表彰、大型CTF夺得名次者;
5.开发过安全相关的开源项目;
6.具备良好的人际沟通、协调能力、分析和解决问题的能力者优先;
7.个人技术博客;
8.在优质社区投稿过文章;


岗位:安全红队武器自动化攻城狮
薪资:13-30K
工作年限:2年+
工作地点:杭州(总部)

【岗位职责】
1.负责红蓝对抗中的武器化落地与研究;
2.平台化建设;
3.安全研究落地。

【岗位要求】
1.熟练使用Python、java、c/c++等至少一门语言作为主要开发语言;
2.熟练使用Django、flask 等常用web开发框架、以及熟练使用mysql、mongoDB、redis等数据存储方案;
3:熟悉域安全以及内网横向渗透、常见web等漏洞原理;
4.对安全技术有浓厚的兴趣及热情,有主观研究和学习的动力;
5.具备正向价值观、良好的团队协作能力和较强的问题解决能力,善于沟通、乐于分享。

【加分项】
1.有高并发tcp服务、分布式等相关经验者优先;
2.在github上有开源安全产品优先;
3:有过安全开发经验、独自分析过相关开源安全工具、以及参与开发过相关后渗透框架等优先;
4.在freebuf、安全客、先知等安全平台分享过相关技术文章优先;
5.具备良好的英语文档阅读能力。


简历投递至 [email protected]

安全服务工程师/渗透测试工程师


工作地点:新疆


1、掌握渗透测试原理和渗透测试流程,具备2年以上渗透测试工作经验,能够独立完成渗透测试方案和测试报告;
2、熟悉风险评估、安全评估;
3、熟练掌握各类渗透工具,如Sqlmap、Burpsuite、AWVS、Appscan、Nmap、Metasploit、Kali等;
4、熟练掌握Web渗透手法,如SQL注入、XSS、文件上传等攻击技术;
5、至少熟悉一种编程语言(php/java/python),能够独立编写poc者优先;
6、具有良好的沟通能力和文档编写能力,动手能力强;
7、对工作有热情,耐心、责任心强,具备沟通能力和良好的团队意识;
8、加分项:有安全开发经验/可进行代码审计工作;
9、加分项:有安全和网络相关证书,如CISSP、CISA、CISP 、CCNP、CCIE等认证者;
岗位职责:
1、参与安全服务项目实施,其中包括渗透测试与安全评估,代码审计,安全培训,应急响应;
2、独立完成安全服务项目报告编写,输出安全服务实施报告;


简历投递至 [email protected]

python调用go语言来提速

专注渗透测试技术

全球最新网络攻击技术


END

python调用go语言来提速


原文始发于微信公众号(白帽子):python调用go语言来提速

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年5月2日16:43:47
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   python调用go语言来提速http://cn-sec.com/archives/969163.html

发表评论

匿名网友 填写信息