提及开发一个可以搜索ip地址的搜索引擎，这个想法大约是从2024年的12月份产生，由于工作繁忙的原因，写代码实现全过程实在断断絮絮中进行，今天趁周末，天气冷，加紧把这样的搜索引擎发布上线。
链接：https://www.nphot.com/ipsearcher/index
实现的效果是根据关键词批量反查出对应的ip地址，最直接的使用场景就是，比如希望查询到武汉市范围的IP地址，则直接搜武汉，即可将武汉市全部的ip地址搜索出来。
使用python编程，批量生成所有的ip地址，保存到本地数据库中。由于数据量太大，使用关系型数据库（比如mysql)是承载，随着单表的数据量增大后，更新操作相当慢；解决的方法可以分表，比如每张表只保存2亿行数据，勉强能执行语句，但是面对数亿次的查询，把任务执行完成需要很长的时间。
使用python脚本把42.9亿的ip地址生成出来需要几天时间，再对这些ip地址比对归属地，任务执行完成又需要十余天。
经过这次开发过程，最大的感受就是处理超大数据时的算力局限。单台计算机的性能十分有限，做科学家需要逐步建立自己的分布式计算集群。
在处理大量数据查询的时候，建立索引是非常正确的选择。使用java开发索引构建程序，完成42.9亿行数据构建索引需要的时间大约在5天。
在索引构建完成之后，在使用搜索技术查询时，就会很快得到结果。
在第2步中的搜索是出于命令行界面的，操作起来非常的不方便。
因此使用php开发网页，如上面截图中展示的，提供一个输入框和搜索按钮，输入查询的关键词，点击按钮，自动显示搜索结果。
使用php做网页最大优点就是方便，这样的解释性脚本，修改完成之后只需要使用git提交代码就可以即时更新。从开发的角度来说可以节约许多时间。
从上面的简单描述，可以得知，开发这样的一个搜索引擎，除了需要性能优越的计算机外，还分别使用不同的编程语言。
同时在开发的另一个日志收集软件中，对ip地址的识别一直没有做，等这个搜索引擎做出来之后，可以用于补充，对ip地址的识别将非常有助于的判断请求日志是不是攻击行为。
网络空间资产探测，整个网络空间是非常庞大的，在没有足够的算力支持的前提下，不可能做到对全部网络空间的探测。有了ip搜索引擎，可以将区域精确到足够小，小范围的网络空间资产探测将会非常的可行。
原文始发于微信公众号（核点点）：可以搜索ip地址的搜索引擎
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
点赞
https://cn-sec.com/archives/3900139.html
复制链接
复制链接
-
左青龙
- 微信扫一扫
-
-
右白虎
- 微信扫一扫
-
评论