Python 查询 IP 地址段,并获取 Hostname

news/2024/7/19 10:49:12 标签: python, tcp/ip, 爬虫

最近 LinkedIn 爬虫大量抓取网站,需要确定那些是 LinkedIn 的爬虫,经过对 IP 地址反向查询,确定了 hostname。

确定了 IP 地址段之后,我们需要确定每个 IP 的 hostname 是不是:x.fwd.linkedin.com

下面是使用 Python 确定每个 IP 地址的 hostname,代码示例:

python">import socket

# 定义 IP 地址范围
start_ip = "108.174.2.0"
end_ip = "108.174.255.255"

# 将 IP 地址字符串转换为整数,以便在范围内进行迭代
def ip_to_int(ip):
    parts = ip.split(".")
    return (int(parts[0]) << 24) + (int(parts[1]) << 16) + (int(parts[2]) << 8) + int(parts[3])

start_ip_int = ip_to_int(start_ip)
end_ip_int = ip_to_int(end_ip)

# 遍历 IP 地址范围并获取主机名
for ip_int in range(start_ip_int, end_ip_int + 1):
    ip = ".".join(str((ip_int >> i) & 255) for i in (24, 16, 8, 0))  # 将整数转换回 IP 地址字符串
    try:
        hostname, _ = socket.gethostbyaddr(ip)
        print(f"IP: {ip} -> Hostname: {hostname}")
    except socket.herror:
        # 如果无法解析主机名,则打印 N/A
        print(f"IP: {ip} -> Hostname: N/A")

 这样就可以确定那些 IP 地址是 LinkedIn 的爬虫了。

 


http://www.niftyadmin.cn/n/5151573.html

相关文章

emoji对齐 特殊字符对齐 文本对齐

emoji如何对齐 特殊字符如何对齐 高级文本对齐 问题引出 我们在程序打印输出时&#xff0c;如何我们所输出的字符中包含emoji文本&#xff0c;或者其它特殊的字符文本&#xff0c;则我们的打印对齐效果将出现错位。以下代码复现了这一效果&#xff08;tips&#xff1a; 马老师…

BEV-YOLO 论文学习

1. 解决了什么问题&#xff1f; 出于安全和导航的目的&#xff0c;自驾感知系统需要全面而迅速地理解周围的环境。目前主流的研究方向有两个&#xff1a;第一种传感器融合方案整合激光雷达、相机和毫米波雷达&#xff0c;和第二种纯视觉方案。传感器融合方案的感知表现鲁棒&am…

基于单片机的滚筒洗衣机智能控制系统设计

收藏和点赞&#xff0c;您的关注是我创作的动力 文章目录 概要 一、系统整体设计方案2.1控制系统的功能2.2设计的主要内容 二、硬件设计3.1 控制系统整体框图3.2 电源电路 三 软件设计主程序设计仿真设计 四、 结论 概要 因此我们需要一个完善的智能系统来设计一个全自动滚筒洗…

你了解SonarQube 吗

你了解SonarQube 吗 文章目录 你了解SonarQube 吗一、介绍二、idea代码检测工具SonarLint安装方法使用方法 三、常见的Sonar解决方法Unused "private" fields should be removedSections of code should not be "commented out"Useless imports should be …

kafka3.6.0集群部署

环境准备 机器环境 系统主机名IP地址centos7.9kafka01192.168.200.51centos7.9kafka02192.168.200.52centos7.9kafka03192.168.200.53 所需软件 jdk-8u171-linux-x64.tar.gzapache-zookeeper-3.8.3-bin.tar.gz https://dlcdn.apache.org/zookeeper/zookeeper-3.8.3/apache-zook…

mysql 中!= 到底走不走索引?

mysql 中! 到底走不走索引&#xff1f; 很多人疑惑! 到底走不走索引&#xff0c; 这里可以肯定的说该操作是可以走索引的&#xff0c;但实际情况中都为啥都不走索引呢&#xff1f; 首先我们要知道走索引与数据量和数据趋势&#xff08;cardinality&#xff09;有很大的关系&…

2010年408计网

下列选项中, 不属于网络体系结构所描述的内容是&#xff08;C&#xff09;A. 网络的层次B. 每层使用的协议C. 协议的内部实现细节D. 每层必须完成的功能 本题考查网络体系结构的相关概念 再来看当今世界最大的互联网&#xff0c;也就是因特网。它所采用的TCP/IP 4层网络体系结…

Leetcode—421.数组中两个数的最大异或值【中等】明天写一下字典树做法!!!

2023每日刷题&#xff08;十九&#xff09; Leetcode—421.数组中两个数的最大异或值 算法思想 参考自灵茶山艾府 实现代码 class Solution { public:int findMaximumXOR(vector<int>& nums) {int maxValue *max_element(nums.begin(), nums.end());int highId…