数据库自动取样: DataMiner

熬夜阻断器: DataMiner

0.前言

一年一度的、能说的不能说的、猜得到的猜不到的事儿，就要来了。

每当此时，总会让我回想起那些令人薅头发的场景：呕心沥血进了内网拿了权限，呕心沥血找到了数据库连了上去，终于发现有几百个库等着我去翻，每个库可能又有几百个表，如果这恰巧是个Oracle，那么恭喜，还得再来不知道多少个表空间。

于是，能否下定决心把每个表都翻选一遍决定了这个成果究竟是100分还是1000分。

于是，需求产生了：我需要一个能自动筛选敏感数据的工具。

「DataMiner 是一款便捷的数据库自动取样工具。获得数据库的用户密码后，手工查询既耗时又耗力，使用DataMiner自动对支持的数据库进行全部数据取样（指定条数也行），支持邮箱、身份证、手机号和密码的自动识别，或者干脆你自己来写正则匹配。然后输出结果为HTML和CSV。」

值此新春佳节之际，奉上 DataMiner，愿诸位大佬或能凭此工具少熬几个通宵，保重了身体，就心满意足了。

1.功能概览

• 支持对数据库全部数据进行取样，并支持指定条数取样
• 支持对数据库指定数据表进行取样，并支持指定条数取样
• 支持对数据库中的关键敏感内容进行捕获，目前支持邮箱、身份证、手机号、密码
• 支持对数据库内容进行自定义正则表达式进行匹配
• 支持socks5代理连接远程数据库
• 支持对数据库中的数据量进行统计
• 支持批量连接数据库进行信息收集
• 数据输出为HTML和CSV
• 目前支持Mysql、Mssql、Oracle和Mongodb数据库

2.使用说明

命令：
Sampledata,缩减命令: SD              //数据库全部取样功能
Overview,缩减命令: OV                //数据库数据量统计功能
SearchSensitiveData,缩减命令: SS     //数据库敏感数据捕获功能
SingleTable,缩减命令: ST             //数据库单表取样功能
参数：
-T  databaseType                    //数据库类型(必选参数，目前支持 mysql、mssql、oracle、mongodb)
-da 127.0.0.1:3306                  //数据库地址(必选参数，除非使用-f参数文件输入数据)
-du name                            //数据库用户名(必选参数，除非使用-f参数文件输入数据)
-dp passwd                          //数据库密码(必选参数，除非使用-f参数文件输入数据)
-pa 127.0.0.1:8080                  //代理地址(可选参数)
-pu name                            //代理用户名(可选参数)
-pp passwd                          //代理密码(可选参数)
-n  1                               //指定取样数据条数，默认为3(可选参数)
-t 1                                //数据库敏感数据捕获功能使用线程数量，默认为5(可选参数)
-p 自定义正则表达式                  //数据库敏感数据捕获功能自定义正则匹配参数(可选参数)
-WA                                 //使用Windows本地认证方式登录(仅针对于mssql数据库)
-f data.txt                         //批量数据库信息导入文件，文本中一条数据库信息占用一行
                                    文本格式：schema://user:password@host:port 
                                    如：mysql://root:[email protected]:3306
                                        mssql://sa:[email protected]:1433
                                        oracle://system:[email protected]:1521
                                        mongo://admin:[email protected]:27017
                                        mongo://admin:[email protected]:27017?admin
                                        mongo://:@127.0.0.1:27017
                                        上述后两条分别为mongodb数据库 指定admin数据库登录模式与无用户密码登录模式

//指定mysql数据库，连接数据库，每个表中内容取样条数为2
DataMiner SD -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2
//指定mssql数据库，使用socks代理连接数据库，每个表中内容取样条数为2
DataMiner SD -T mssql -da 127.0.0.1:1433 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
//使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2
DataMiner SD -f data.txt  -n 2
//使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2
DataMiner SD -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2
//MSSQL数据库本地Windows认证登录使用全部数据库取样功能
DataMiner SD -T mssql -WA
//Mongodb数据库无用户密码登录模式使用全部数据库取样功能
DataMiner SD -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用全部数据库取样功能
DataMiner SD -T mongo -da 127.0.0.1:27017?admin -du name -dp password

//指定oracle数据库，连接数据库，使用数据量统计命令
DataMiner OV -T oracle -da 127.0.0.1:1521 -du name -dp passwd
//指定mysql数据库,使用socks代理连接数据库，使用数据量统计命令
DataMiner OV -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd
//使用文件批量导入数据库连接信息进行连接，使用数据量统计命令
DataMiner OV -f data.txt
//使用文件批量导入数据库连接信息并使用socks代理进行连接，使用数据量统计命令
DataMiner OV -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd
//MSSQL数据库本地Windows认证登录使用数据量统计概览功能
DataMiner OV -T mssql -WA
//Mongodb数据库无用户密码登录模式使用数据量统计概览功能
DataMiner OV -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用数据量统计概览功能
DataMiner OV -T mongo -da 127.0.0.1:27017?admin -du name -dp password

//指定mssql数据库，连接数据库，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -T mssql -da 127.0.0.1:1433 -du name -dp passwd -n 2 -t 6
//指定mysql数据库,使用socks代理连接数据库，每个表中内容取样条数为2，并指定使用6个线程
DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
//使用文件批量导入数据库连接信息进行连接，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -f data.txt  -n 2 -t 6
//使用文件批量导入数据库连接信息并使用socks代理进行连接，每个表中内容取样条数为2,并指定使用6个线程
DataMiner SS -f data.txt -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -t 6
//指定mysql数据库,连接数据库，每个表中内容取样条数为2,指定使用6个线程，并使用自定义正则匹配用户名
DataMiner SS -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -t 6 -p ^[x{4e00}-x{9fa5}]{2,4}$
//MSSQL数据库本地Windows认证登录使用关键敏感信息捕获功能
DataMiner SS -T mssql -WA
//Mongodb数据库无用户密码登录模式使用关键敏感信息捕获功能
DataMiner SS -T mongo -da 127.0.0.1:27017
//Mongodb数据库指定admin数据库登录模式使用关键敏感信息捕获功能
DataMiner SS -T mongo -da 127.0.0.1:27017?admin -du name -dp password

//指定mysql数据库,连接数据库，指定test数据库中users表，取样条数为2
DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -n 2 -dt test.users
//指定mysql数据库,使用socks代理连接数据库，指定test数据库中users表，取样条数为2
DataMiner ST -T mysql -da 127.0.0.1:3306 -du name -dp passwd -pa 127.0.0.1:8080 -pu name -pp passwd -n 2 -dt test.users

• 取样Sample模块HTML结果输出样例

• 取样Sample模块CSV结果输出样例

• 数据量统计模块HTML结果输出样例

• 敏感数据捕获模块 CSV结果输出样例

项目地址

https://github.com/wjlab/DataMiner