利用Python去重合并文件

admin 2022年11月7日22:23:40安全开发评论9 views874字阅读2分54秒阅读模式

我们在前期对目标进行信息搜集时,有时候会利用多款工具进行收集。有时候每款工具扫描到的结果有相同的信息,也有不同的信息。怎样求同存异,才能让我们愉快的完成工作呢?因此我们可以借助脚本工具替我们去完成这一复杂的整理工作,提高渗透效率。

代码

#coding=utf-8
import os
import pandas as pd
import glob
 
outFileName = 'out_merged_result.csv'
 
def merge():
    txt_list = glob.glob('*.txt')
    print(u'共发现%s个txt文件!'% len(txt_list))
    print(u'开始合并:')
    for i in txt_list:
        fr = open(i,'r').read()
        with open(outFileName,'a'as f:
            f.write(fr)
    print(u'合并完毕!')
 
 
def unique(file):
    df = pd.read_csv(file, header=0, error_bad_lines=False, quotechar=None, quoting=3)
    dataList = df.drop_duplicates()
    dataList.to_csv(file)
 
 
if __name__ == '__main__':
    print(u'查找当前目录下的txt文件:')
    merge()
    print(u'开始去重:')
    unique(outFileName)
    print(u'去重完成!')

使用

将此文件保存文py文件。将a.txtb.txt(文件中内容的差异)和py文件放在一起。执行代码。会进行去重和合并操作。并将结果导出为csv文件,方便我们进行“渗透”。



更多精彩文章 欢迎关注我们


原文始发于微信公众号(kali黑客笔记):利用Python去重合并文件

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年11月7日22:23:40
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  利用Python去重合并文件 http://cn-sec.com/archives/1394362.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: