DynaScan - 戴拿 - 实现动态敏感文件扫描

1. 所有字典默认存放在dict目录,其目录下存在4个目录(base_var,direct_path,combin_folder,combin_files),存放不同类型的字典文件。2. 字典文件的后缀默认设置为【.lst】,默认只读取目录下该后缀的字典文件。(该参数在setting.py中可以自定义)3. 如有需求,后续可考虑使用sqlite存储字典数据库,但是手动修改目录会变得复杂.4、每一行字典支持追加 【frequency==XXX】 字段用于表明字典频率,用于阈值筛选来决定是否加载该路径。

base目录存放基础变量字典,每个基础变量字典用于自动替换字典规则中的对应基础变量(由文件名提取)。base目录下字典文件命名和产生的基本变量:字典文件名 file_name.lst ==> 删除后缀 == > file_name ==>变为基本替换规则的键 == > %file_name%对应关系:文件名【xxx.lst】其中的内容,会在初次规则渲染时【用字典内容】替换字典规则中的【%xxx%】变量简单示例情景: direct目录下某个文件字典存在一行字典规则/admin.%backup_ext%base目录下存在文件【backup_ext.lst】文件,该文件每一行内容是一个后缀【rar、zip、tar.gz、...】base目录下字典文件的大致处理过程:1、base目录下的字典文件【BACKUP_EXT.lst】会从文件名会提取出【%BACKUP_EXT%】作为替换关键字。2、字典文件内容会在读取后转变为一个后缀列表 ['rar','zip',...]3、字典文件名与内容会转变为一个替换字典 {"%BACKUP_EXT%": ['rar','zip',...],...}4、然后会对后置列表内的每个元素的【{xxx=xx:xxxx}$】规则进行渲染。5、然后在其他类型中进行直接替换,如【/admin.%BACKUP_EXT%】会变为【/admin.rar、/admin.zip、...】base字典添加注意事项:1、base字典目录下存放最基础的变量字典,每一行仅且支持一条[{xxx:xx=xxxx}$]格式的动态替换规则，不支持基础变量和因变量。2、base字典目录下的字典文件命名【如xxx.lst】和其他目录下的字典规则中的基础变量【%xxx%】有强关联性。

direct目录下的字典介绍:direct目录下的文件名无特殊的命名要求,会读取目录下所有符合定义的自定后缀的文件内容。direct目录下的字典处理: dict/direct 目录存放的字典的规则内容会被【规则解析+基本变量替换+因变量替换】，然后直接添加到URL之后。

dict/floders 和 dict/files目录下的字典介绍:dict/floders目录下仅仅存放用于组合的目录字典文件,字典的每一行是一个目录,字典文件名命名除后缀外没有要求。dict/files 目录下仅仅存放用于组合的文件名字典,字典的每一行是一个文件名,字典文件名命名除后缀外没有要求。dict/floders 和 dict/files目录下的字典处理:1、从floders目录下的所有文件读取到一个floder列表,并对列表元素进行【规则解析+基本变量替换】2、从files目录下的所有文件读取到一个file列表,并对列表元素进行【规则解析+基本变量替换】3、对floder列表和file列表,会以/{floder}/{file}的格式进行遍历拼接(笛卡尔集)。PS:所有的因变量替换实际是在循环目标的时候处理的,因为只有此时才能获取到所有的因变量

1. 对每一个行路径进行{xxx=xx:xxxx}$ 规则的解析，每行字典路径仅且支持一句解析规则2. 对基本变量关键字进行替换，每行字典路径支持多个不相同的基本变量3. 对因变量关键字进行替换，每行字典路径支持多个不相同的因变量

字典内以 %变量名% 格式出现,变量名是从base目录下的字典文件名中动态获取的。基础变量会在【基本变量替换时】被替换为字典文件的内容。基本变量替换字典示例：backup_ext.lst字典文件衍生规则: {'%backup_ext%': ['rar','zip']}

字典内以 %%变量名%% 格式出现,变量名在代码中定义,变量对应的内容获取函数也在代码中定义。目前内置有【%%domain%%、%%path%%】两个变量,会分别获取域名相关的列表和路径相关的列表。因变量会在【因变量替换时】被替换为从URL中动态获取的内容。因变量替换字典示例:解析 https://www.baidu.com 得到因变量字典: {'%%domain%%': ['baidu','baidu_com','www.baidu.com','baidu.com','www_baidu_com']}

动态替换规则指字典内以 {规则分类=规则类型(附加参数):实际解析部分}$ 格式出现的字符串。因此在字典中使用规则引擎，需要以 { 括号开头，并以 }$ 结尾，替换规则有【date、int、str、re】四种规则分类,每种规则可能存在多种规则类型。不同的规则的【实际解析部分】有不同的编写格式要求。规则   说明re     正则引擎int    整数str    字符date   日期

{date=日期类型:日期开始-日期结束}$规则类型:year(年) 2005-2015规则示例:RuleParser('{date=year:2017-2018}$').parse()规则输出:['2017', '17', '2018', '18']规则类型:mon(月) 1-12规则示例:RuleParser('{date=mon:9-10}$').parse()规则输出:['9', '09', '10']规则类型:day(日) 0-30 规则示例:RuleParser('{date=day:9-10}$').parse()规则输出:['9', '09', '10']规则类型:year_mon(年月) 200501-201512规则示例:result = RuleParser('{date=year_mon:201709-201712}$').parse() 规则输出:['201709', '20179', '201710', '201711', '201712']规则类型:mon_day(月日) 0101-1231规则示例: result = RuleParser('{date=mon_day:0928-1003}$').parse() 规则输出:['0930', '1001', '0929', '09-29', '1003', '10-01', '09-30', '10-02', '10-03', '1002']规则类型:year_mon_day(年月日) 20050101-20151231规则示例:RuleParser('{date=year_mon_day:20170111-20170112}$').parse() 规则输出:['170112', '20170112', '17-01-12', '2017-01-12']规则类型:mon_day_year(月日年) 01012005-12312015规则示例:RuleParser('{date=mon_day_year:01112017-01122017}$').parse() 规则输出:['2017-01-12', '17-01-12', '170112', '20170112']PS：日期会出现的子分类情况，初始位数补充0911,911

{int=数字类型#元素长度$步长:数字开始-数字结束}$规则类型:series(正常按照顺序递进,支持$步长选项)规则示例:RuleParser('{int=series:1-5}$').parse() 规则输出:['1', '2', '3', '4', '5']规则示例:result = RuleParser('{int=series$2:1-15}$').parse() #使用步长选项规则输出:['1', '3', '5', '7', '9', '11', '13', '15']规则提示:仅series类型支持步长仅series类型长度选项没有实际用处规则类型:digits(连号数字)规则示例:RuleParser('{int=digits#3:1-5}$').parse() 规则输出:['123', '321', '234', '432', '345', '543']规则提示:#3表示数字的长度为3规则类型:overlap(重叠数字)规则示例:RuleParser('{int=overlap#3:1-9}$').parse() 规则输出:['111', '222', '333', '444', '555', '666', '777', '888', '999']规则示例:RuleParser('{int=overlap#3:11-22}$').parse() 规则输出:['111111', '121212', '131313', '141414', '151515', '161616', '171717', '181818', '191919', '202020', '212121', '222222']规则提示:#3表示元素的个数为3

{str=字符类型#元素长度:字符开始-字符结束}$规则类型:letters(按照顺序递进)规则示例:RuleParser('{str=letters#3:a-d}$').parse()规则输出:['abc', 'bcd']规则提示:#3表示字母的长度为3规则类型:overlap(重叠字母)规则示例:RuleParser('{str=overlap#3:A-D}$').parse() 规则输出:['AAA', 'BBB', 'CCC', 'DDD']规则提示:#3表示元素的个数为3

re是正则解析器,会根据正则生成符合正则规则的字符串,是最常用的规则。已知的正则解析生成器有 exrex、sre_yield,解析结果是相同的,只不过有不同的解析算法。{re=引擎类型:正则表达式}$引擎类型:exrex(exrex正则解析引擎)规则示例:RuleParser('{re=exrex:(201[7-9]{1}[1]{1}[8-9]{1})}$').parse() 规则输出:['201718', '201719', '201818', '201819', '201918', '201919']引擎类型:sre_yield(sre_yield正则解析引擎)规则示例:RuleParser('{re=sre_yield:(201[7-9]{1}[1]{1}[8-9]{1})}$').parse()  规则输出:['201718', '201818', '201918', '201719', '201819', '201919']

1、字典内的每一行规则最多支持【两个%基本变量%】、【两个%%因变量%%】2、字典内的每一行规则最多 【一个】解析规则3、组合目录字典和组合文件字典在进行初次渲染时,会分别进行一次渲染(1-1和1-2次),每一行字典也支持如上两项。4.6 字典规则调试和验证 1、如果一行字典规则有问题,会显示错误提示,并忽略解析该条规则。

错误内容:    [22:30:20] [-] 每条字典规则仅支持单个{xx=xx:xxxx}$格式规则!!!     Rule: /{date=year:2021-2022}$-{re=exrex:([ABC])(%backup_ext%)}$     Error: too many values to unpack (expected 2)    错误原因:    本规则内带有了两条解析规则,所以导致了错误。

 1、支持#号注释,对#号开头的行,和频率字符串后面的#号都会进行删除

python3 DynaScan.py -husage: DynaScan.py [-h] [-u TARGET] [-f TARGET_FILE] [-p PROXY] [-t thread] [-d] [-v]optional arguments:  -h, --help       show this help message and exit  -u TARGET        指定扫描目标URL, Example: http://www.baidu.com  -f TARGET_FILE   指定扫描目标URL文件, Example: target.txt  -p PROXY         指定请求时使用的HTTPS或SOCKS5的代理, Example: http://127.0.0.1:8080 or socks5://127.0.0.1:1080  -t thread        指定多线程池的最大线程数  -d debug         显示程序运行时的所有调试信息,默认关闭  -v version       显示程序当前版本号Examples:  python3 DynaScan.py -u http://www.baidu.com  python3 DynaScan.py -f target.txt  python3 DynaScan.py -f target.txt -p http://127.0.0.1:8080  其他控制细节参数请通过Setting.py进行配置  T00L Version: Ver 0.0.1