GitHub代码搜索限制

• 说明

• 尝试绕过

• 通过搜索引擎如 Google

• 通过完善搜索的语法

• 通过 GitHub API

说明

不知道从何时起，GitHub 限制了搜索代码的结果，只能获取默认的前 100 条代码，且不支持排序筛选。

具体表现如下：

搜索aaa，共有22.5M条数据，我每页展示 20 条数据，当查看到第 5 页时，无法继续点击下一页，当通过修改参数查询第 6 页时，提醒我没有搜索结果。

后翻了一下官方的文档^[1]，可见是官方限制了搜索展示结果数量。

尝试绕过

当前阶段还是想尽可能多的获取到代码结果，毕竟从 GitHub 信息收集也主要依赖代码搜索；但直接绕过 GitHub 搜索策略是不现实的（能绕过我就提 hackerone 了），所以只能从测面想一些办法尽可能多的获取到结果，一个人的思路比较局限，有其他师傅有思路可以相互交流。

演示以搜索 163 的 SMTP 账号密码为例，GitHub 直接搜smtp.163.com password出来前 100 个结果没有 1 个能用的。

通过搜索引擎如 Google

site:github.com intext:"smtp.163.com" intext:password

可见能搜索一些可用的 SMTP 账号和密码。

通过完善搜索的语法

GitHub 搜索语法更新，可以使用正则表达式、布尔^[2]等高级搜索语法进行条件限制。

163 默认邮箱生成的客户端密钥是 16 位，如JLLM**********GL，因此可以采用增加搜索规则的方式来缩小搜索范围，如使用正则表达式

smtp.163.com AND /password = "[w+]{16}"/

由于部分用户可能改过密钥，所以也可以用如下语法：

smtp.163.com AND /password = "w+"/ NOT /password = "(password|xxx|your_email_password|123456|X+|密码|authCode)"/

通过 GitHub API

在 GitHub API 文档^[3]中，发现可通过 page 来控制查询的页数，如果我们每页 1 条数据，那么第 101 页就是第 101 条数据，也就绕过了 web 的 100 条数据限制。具体演示如下：

# 认证
gh auth login
# 查询
gh api -H "Accept: application/vnd.github+json" -H "X-GitHub-Api-Version: 2022-11-28" '/search/code?q=smtp.163.com+password&per_page=1&page=101'

可见能成功获取到对应的仓库信息。

一行获取对应文件的内容

curl $(gh api -H "Accept: application/vnd.github+json" -H "X-GitHub-Api-Version: 2022-11-28" '/search/code?q=smtp.163.com+password&per_page=1&page=205' | jq -r .items[0].git_url) | jq -r .content | base64 -d

问题点：

Github API 查询的结果数量和 GitHub 网页中查询的结果数量不一致，会少很多很多。

参考资料

- END -