【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

admin 2023年12月10日02:43:16评论55 views字数 3519阅读11分43秒阅读模式

接口分析

获取接口地址

选择自己感兴趣的抖音博主,本次以“经典老歌【车载U盘】”为例
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
每次请求的页面会有很多接口,需要对接口进行筛选:
第一步筛选XHR筛选
第二步筛选URL中带有post
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
通过筛选play_add值找到视频的地址
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

分析请求头

通过对比两次请求发现只有X-Bogus数值会有变化,max_cursor是用翻页,后文再介绍。
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

JS逆向分析

找入口

先通过简单方式搜索关键字找:
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
在当前两个位置增加断点,发现并没有断到请求,说明没有走两个位置
通过开发者工具中中的启动器定位:
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
断第一个,发现这是个ajax请求,不止一个请求会走这里,通过XHR断点的方式指定访问路径
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析 上图就是当前的访问URL。 在控制端输入this或者鼠标悬停方式发现已生成X-Bogus 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

分析前一步调用的js
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
这段代码是一个简单的循环语句。它根据 _0x2458f0['y'] 的值来执行不同的逻辑。
在每次循环中,它首先对 _0x2458f0['y'] 进行自增操作(++),然后使用逻辑运算符 ? : 进行条件判断:
如果条件为真,执行 _0xcc6308[++_0x2e1055] = _0x2458f0['apply'](_0xc26b5e, _0x1f1790);
如果条件为假,不执行任何操作。
这段代码的具体意义需要结合上下文来进行分析和理解,无法单独判断出它的功能和目的。

通过日志断点来分析当前_0x2458f0['apply'](_0xc26b5e, _0x1f1790)语句生成的结果。日志断点语句console.log(_0x2458f0['apply'](_0xc26b5e, _0x1f1790))。控制台只允许显示信息类数据,通过日志分析找到了X-Bogus参数:DFSzswVOljJANtOstup5PBt/pL3I
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
由于输出数据过多需要通过条件断点来继续追踪,因为每次生成的X-Bogus长度是固定28位,通过条件断点语句_0x2458f0['apply'](_0xc26b5e, _0x1f1790).length==28。
查看_0x2458f0调用的函数
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
定位到加密函数
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
验证当前加密函数
当前位置打上断点,在控制台输入返回的值生成了X-Bogus
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

JS实现生成X-Bogus值

新建JS文件,将webmssdk.es5.js中所有代码复制到js文件中,并直接执行,差什么补什么
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
以下是需要加入的代码

window = global
document = {}
document.addEventListener =function (){}

这时候就会发现不再报错了,那么就可以使用一个全局变量获取X-Bogus值了,找到之前加密的函数_0x5a8f25那里。
【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析
再补一次

navigator = {
"userAgent":'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36'
}

【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

Python调用js

import execjs

with open("douyin.js") as f:
js_data = f.read()

js_compile =execjs.compile(js_data)
xb_data =js_compile.call("window.xiaoc",)
print(xb_data)

【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

Python获取视频URL

获取页面信息

import execjs,requests
headers = {
# UA 要和JS代码里的UA保持一致
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36",
"Referer": "https://www.douyin.com/user/MS4wLjABAAAAF0zlK2_5qCr5Lqy6zLNMH8W146aOetdfKSX95jYXwi8",
"Cookie": "xxxxxx"
}

with open("douyin.js") as f:
js_data = f.read()

js_compile =execjs.compile(js_data)
url = "https://www.douyin.com/aweme/v1/web/aweme/post/?"
params =f'device_platform=webapp&aid=6383&channel=channel_pc_web&sec_user_id=MS4wLjABAAAAF0zlK2_5qCr5Lqy6zLNMH8W146aOetdfKSX95jYXwi8&max_cursor=0&locate_query=false&show_live_replay_strategy=1&need_time_list=1&time_list_query=0&whale_cut_token=&cut_version=1&count=18&publish_video_strategy_type=2&pc_client_type=1&version_code=170400&version_name=17.4.0&cookie_enabled=true&screen_width=1707&screen_height=1067&browser_language=zh-CN&browser_platform=Win32&browser_name=Chrome&browser_version=119.0.0.0&browser_online=true&engine_name=Blink&engine_version=119.0.0.0&os_name=Windows&os_version=10&cpu_core_num=16&device_memory=8&platform=PC&downlink=7.9&effective_type=4g&round_trip_time=50&webid=7310230678028846631&msToken=XWdh8ZPfrgSs9QombFXY3DJxXhH3HTyjw7NtYb6tpW9wYpaZqIAuhcZmOtQBu-7qgnSFswVdEZ2cKWsg6A4_WkxwyxIH3CCuMoLOUh4H6iqGBk7-ba8jaBufrmt2jw=='
xb_data =js_compile.call("window.xiaoc",params)
urls = url +params + "&X-Bogus=" + xb_data
print(urls)
response = requests.get(url=urls,headers=headers)
print(response.json())

【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析 ###数据清洗 获取视频URL ```python douyin_videos = response.json().get("aweme_list") for douyin_video in douyin_videos: print(douyin_video["video"]['play_addr']['url_list'][0]) ``` 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

下载视频

os.makedirs(f"./DouYin/")
douyin_videos = response.json().get("aweme_list")
for douyin_video in douyin_videos:
douyin_video_title =douyin_video['desc']
douyin_video_url = douyin_video["video"]['play_addr']['url_list'][0]
res = requests.get(douyin_video_url, headers=headers)

try:
with open(f"./DouYin/{douyin_video_title}.mp4", "wb") as f:
f.write(res.content)
print(f"视频{douyin_video_title}-----下载完成")
except Exception as e:
print(f"视频{douyin_video_title}+++++++++++++++=下载出错 {e}")

【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析 【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

后续

  • 翻页爬取

  • 获取多用户视频

  • 批量下载(多线程)

  • 爬取评论


原文始发于微信公众号(小C学安全):【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年12月10日02:43:16
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   【Python爬虫案例】抖音下载视频+X-Bogus参数JS逆向分析https://cn-sec.com/archives/2283511.html

发表评论

匿名网友 填写信息