基于python对涉案APP的数据爬取

admin 2024年7月23日10:50:40评论13 views字数 1285阅读4分17秒阅读模式
 

背景:

在一次案件协助中,涉案服务器由于在境外,无法获取到服务器数据库及源码数据,在警方扣押的涉案手机中发现了涉案APP与服务器可以进行通讯,应客户要求将该APP的数据进行爬取,该APP为一款播放器,要求为根据关键字进行搜索,对搜索到的视频标题、上传者进行爬取导出。
基于python对涉案APP的数据爬取

一、市场现状:

目前市面上都是基于web端的数据爬取,各取证厂家基于该需求都各自发布了自己的网页取证产品,在手机端APP的数据爬取还未有相应的对应产品。
二、软件准备环境:

Python集成开发环境、Appium客户端库、AndroidSDK运行环境、AppiumDesktop、安卓手机一台。

三、软件简介:

Appium是移动端的自动化测试工具,利用Appium可以驱动Android、IOS等移动设备完成自动化测试,例如模拟点击、滑动、输入等操作,也可以利用Appium的这些特性编写爬虫程序。
基于python对涉案APP的数据爬取

四、实验模拟:

基于案件的保密性,及涉案手机已移交该实验未采用涉案手机APP,此次实验以“优酷”APP为例,爬取原理同样,在爬取前,最繁琐的工作为,软件的安装及环境变量的配置。
1. 安装Appium

Appium是移动端的自动化测试工具,类似于Selenium,利用Appium可以驱动Android、IOS等移动设备完成自动化测试,例如模拟点击、滑动、输入等操作,也可以利用Appium的这些特性编写爬虫程序。

2.安装JDK

实验环境默认安装在:D:Javajdk1.8.0_131

设置环境变量:

变量名:JAVA_HOME ;变量值:D:Javajdk1.8.0_131

在path里,添加:%JAVA_HOME%bin

变量名:CLASSPATH

变量值:;%JAVA_HOME%lib;%JAVA_HOME%libtools.jar

打开CMD,输入java 验证是否安装成功

3.安装Android SDK

运行SDK Manager.exe,安装Tools下的Android SDK Platform-tools、Android SDK Build-tools、Android SDK Tools

变量名:ANDROID_HOME,变量值:D:Androidandroid-sdk

path里添加:

・%ANDROID_HOME%tools

%ANDROID_HOME%platform-tools

%ANDROID_HOME%build-tools29.0.3

打开CMD,输入adb验证是否安装成功

4. 安装Appium Inspector,Appium Inspector是appium自带的一个元素定位工具
5.启动Appium

点击Edit Configurations,设置:

ANDROID_HOME:D:Androidandroid-sdk

JAVA_HOME:D:Javajdk1.8.0_131

然后点:Sava and Resart

基于python对涉案APP的数据爬取

7. 启动Appium Inspector

根据需求选择相应的APP id进行模拟操作,比如窗口id。

基于python对涉案APP的数据爬取

 

基于python对涉案APP的数据爬取

五、实验源码:

基于python对涉案APP的数据爬取

基于python对涉案APP的数据爬取

基于python对涉案APP的数据爬取

 

六、爬取结果

基于python对涉案APP的数据爬取

基于python对涉案APP的数据爬取

 

基于python对涉案APP的数据爬取

原文始发于微信公众号(网络安全与取证研究):技术分享|基于python对涉案APP的数据爬取

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年7月23日10:50:40
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   基于python对涉案APP的数据爬取https://cn-sec.com/archives/2988531.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息