一种分布式网络资产探测方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 109660401 A(43)申请公布日 2019.04.19

(21)申请号 201811591364.6(22)申请日 2018.12.20

(71)申请人 中国电子科技集团公司第三十研究

所

地址 610000 四川省成都市高新区创业路6

号(72)发明人 段梦军　刘方　张江　徐锐　

饶志宏　(74)专利代理机构 成都九鼎天元知识产权代理

有限公司 51214

代理人 邓世燕(51)Int.Cl.

H04L 12/24(2006.01)H04L 12/26(2006.01)H04L 29/06(2006.01)

权利要求书1页 说明书5页 附图1页

G06F 9/455(2006.01)G06F 16/951(2019.01)

CN 109660401 A(54)发明名称

一种分布式网络资产探测方法(57)摘要

本发明公开了一种分布式网络资产探测方法，包括如下步骤：1)部署多个具备资产探测功能的探测节点；2)根据IP位置信息，将IP地址划分为多个探测目标IP列表；3)构建探测节点选择策略模型，并为各目标IP列表选择合理的探测节点；4)在各探测节点对目标IP列表进行活跃主机存活性探测；5)对存活目标IP进行开放端口探测；6)对存活目标IP开放端口发送探测报文，并通过比对指纹库获取网络资产信息。本方法通过构建多个不同国家地区的探测节点，并且采用探测节点优化选择策略，选择最适合目标IP列表的探测节点，显著提高了网络资产的探测效率和探测结果的准确度。

CN 109660401 A

权　利　要　求　书

1/1页

1.一种分布式网络资产探测方法，其特征在于，包括如下步骤：1)部署多个具备资产探测功能的探测节点；2)根据IP位置信息，将IP地址划分为多个探测目标IP列表；3)构建探测节点选择策略模型，并为各目标IP列表选择合理的探测节点；4)在各探测节点对目标IP列表进行活跃主机存活性探测；5)对存活目标IP进行开放端口探测；

6)对存活目标IP开放端口发送探测报文，并通过比对指纹库获取网络资产信息。2.如权利要求1所述的分布式网络资产探测方法，其特征在于，还包括验证步骤：结合爬虫技术，采用图片及文本识别方式对资产探测结果进行验证。3.如权利要求1所述的分布式网络资产探测方法，其特征在于，步骤3)中构建探测节点选择策略模型的方法为：

以现有不同探测节点的探测结果为样本，利用Logistic回归模型分析各探测节点属性特点对探测结果的影响，构建探测节点选择策略模型。

4.如权利要求3所述的分布式网络资产探测方法，其特征在于，步骤3)中为各目标IP列表选择合理的探测节点的依据为：

网络时延、网络带宽、探测风险、探测节点资源利用情况以及探测目标IP位置信息与探测节点之间的关系中的至少一种。

5.如权利要求1所述的分布式网络资产探测方法，其特征在于，所述各探测节点的探测工具为C/S构架，客户端和服务器端均采用SSL协议；

所述服务器端根据探测节点选择策略分发探测任务，所述客户端执行相应的探测任务并将探测结果返回服务器端，所述客户端可以部署在具备互联网接入条件的任何位置。

6.如权利要求1所述的分布式网络资产探测方法，其特征在于，采用虚拟专用服务器构建所述探测节点。

7.如权利要求1所述的分布式网络资产探测方法，其特征在于，步骤4)基于ICMP、TCP、SCTP协议探测目标主机存活性。

8.如权利要求1所述的分布式网络资产探测方法，其特征在于，步骤5)中对存活IP进行开放端口探测的方法为：

在各探测节点对相应的存活目标IP的所有端口发送SYN报文，如果端口能够收到存活目标IP的ACK报文，说明该端口开放，将该存活目标IP及存活端口存入数据库。

9.如权利要求1所述的分布式网络资产探测方法，其特征在于，步骤6)中，根据不同的应用层协议或者服务组件，发送不同的数据包来获取目标设备的应答Banner数据，根据Banner数据中的特征字段与指纹库中的设备指纹的匹配结果来完成设备识别。

10.如权利要求2所述的分布式网络资产探测方法，其特征在于，资产探测结果中，TCP 80端口为web服务端口，TCP8080为提供web服务代理的端口，TCP443端口为HTTPS服务端口，选取开放80、443、8080端口的http、https协议数据进行爬取网页图片及文本识别等方式对探测结果进行进一步验证。

2

CN 109660401 A

说　明　书

一种分布式网络资产探测方法

1/5页

技术领域

[0001]本发明涉及网络管理技术领域，具体涉及一种分布式网络资产探测方法。背景技术

[0002]随着网络的不断发展以及用户对网络使用需求的急剧增长，网络规模正在不断扩大，并且趋于复杂化，越来越多的终端设备加入到了网络空间中，比如智能移动手机、打印机、网络摄像头、数字媒体设备等设备。通过网络空间资产探测，可以及时地发现潜在的安全风险，避免被不法之徒攻击。因此设备资产识别对网络安全评估与威胁预警有着重要的意义。网络空间已成为国民经济和社会生活的重要场所，网络技术已成为考察和衡量国家核心技术的重要指标，网络安全已成为国家安全的重要构成。网络资产探测是认识、研究网络空间的根基，研究网络资产探测有助于加强网络安全事件应急指挥能力建设。[0003]现有全球网络探测技术存在如下缺点：[0004](1)现有的网络空间资产探测方法，分布式探测构建采用多个同地区单一的探测节点，并且没有采用探测节点选择策略，未考虑不同地区以及探测节点自身属性的优化选择策略，导致探测效率较低，探测效果不佳；[0005](2)现有的网络空间资产探测方法，只能通过协议识别出网络空间资产的厂商、型号等基本信息，不能通过其他方法相结合判断，未对探测结果进行准确度验证，网络设备banner信息不准确，可信度不高。发明内容

[0006]为了克服现有技术的上述缺点，本发明提供了一种构建多个探测节点、构建探测节点选择策略、并结合爬虫技术对资产探测结果进行验证的分布式网络资产探测方法。[0007]本发明解决其技术问题所采用的技术方案是：一种分布式网络资产探测方法，包括如下步骤：

[0008]1)部署多个具备资产探测功能的探测节点；[0009]2)根据IP位置信息，将IP地址划分为多个探测目标IP列表；[0010]3)构建探测节点选择策略模型，并为各目标IP列表选择合理的探测节点；[0011]4)在各探测节点对目标IP列表进行活跃主机存活性探测；[0012]5)对存活目标IP进行开放端口探测；

[0013]6)对存活目标IP开放端口发送探测报文，并通过比对指纹库获取网络资产信息。[0014]上述技术方案中，通过构建多个不同国家地区的探测节点，并且采用探测节点优化选择策略，选择最适合目标IP列表的探测节点，显著提高了网络资产的探测效率和探测结果的准确度。其中，所述网络资产信息包括服务、操作系统、设备厂商、设备类型、设备型号等信息。

[0015]进一步地，上述分布式网络资产探测方法还包括验证步骤：[0016]结合爬虫技术，采用图片及文本识别方式对资产探测结果进行验证。本方法首次

3

CN 109660401 A

说　明　书

2/5页

实现基于端口探测和网络爬虫的分布式网络资产快速探测功能，大幅提升探测命中率和准确率，为网络安全提供基础保障。[0017]优选地，步骤3)中构建探测节点选择策略模型的方法为：[0018]以现有不同探测节点的探测结果为样本，利用Logistic回归模型分析各探测节点属性特点对探测结果的影响，构建探测节点选择策略模型。

[0019]根据探测结果状况将探测节点分为适合作为探测节点和不适合作为探测节点两种类别，并以判断结果为因变量，以探测节点本身具有的对探测结果影响有显著统计学意义的因素(探测节点属性特点，如：探测时延、节点任务数、网络带宽等)作为变量，利用Logistic回归模型分析并构建探测节点选择策略模型，并通过该探测节点选择策略模型，针对不同的目标IP列表选择最为合适的探测节点。[0020]优选地，步骤3)中为各目标IP列表选择合理的探测节点的依据为：[0021]网络时延、网络带宽、探测风险、探测节点资源利用情况以及探测目标IP位置信息与探测节点之间的关系中的至少一种。通常综合考虑IP位置信息、网络探测节点带宽、探测节点资源利用情况等因素，为各目标IP列表选择合理的探测节点并进行任务分发。[0022]优选地，所述各探测节点的探测工具为C/S构架，客户端和服务器端均采用SSL协议；

[0023]所述服务器端根据探测节点选择策略分发探测任务，所述客户端执行相应的探测任务并将探测结果返回服务器端，所述客户端可以部署在具备互联网接入条件的任何位置。

[0024]优选地，采用虚拟专用服务器构建所述探测节点。为实现全球化资源探测，采用VPS(Virtual Private Server虚拟专用服务器)构建探测节点。与传统的虚拟主机相比，VPS服务器由于不是采用大量虚拟主机共享同一个主机硬件资源的形势，因此在带宽、速度、网站和安全性等方面都具有较为明显的优势，并且可以根据需要灵活配置，支持实现有效的远程管理。[0025]优选地，步骤4)基于ICMP、TCP、SCTP协议探测目标主机存活性。多协议相结合的扫描技术，可以提高探测效率，能实现探测更多的网络空间资产，能够大规模快速探测整个互联网空间资产。[0026]优选地，步骤5)中对存活IP进行开放端口探测的方法为：

[0027]在各探测节点对相应的存活目标IP的所有端口发送SYN报文，如果端口能够收到存活目标IP的ACK报文，说明该端口开放，将该存活目标IP及存活端口存入数据库。[0028]优选地，步骤6)中，根据不同的应用层协议或者服务组件，发送不同的数据包来获取目标设备的应答Banner数据，根据Banner数据中的特征字段与指纹库中的设备指纹的匹配结果来完成设备识别。通过深度扫描，可以完成主要包括服务、操作系统、设备厂商、设备类型、设备型号等信息的探测。[0029]优选地，资产探测结果中，TCP 80端口为web服务端口，TCP8080为提供web服务代理的端口，TCP443端口为HTTPS服务端口，选取开放80、443、8080等端口的http、https协议数据进行爬取网页图片及文本识别等方式对探测结果进行进一步验证。[0030]采用上述技术方案，本发明具有如下积极效果：[0031]1、本方法采用分布式探测方法进行全球网络资产探测，并构建多个不同国家地区

4

CN 109660401 A

说　明　书

3/5页

的探测节点，采用探测节点优化选择策略，提高了探测效率和探测结果的准确度。[0032]2、本方法采用ICMP、TCP、SCTP、UDP等多协议相结合的扫描技术，可以提高探测效率，能实现探测更多的网络空间资产，能够大规模快速探测整个互联网空间资产。[0033]3、本方法与爬虫技术相结合，采用图片及文本识别等方式对探测结果进行进一步验证，从而得到更准确的全球网络资产信息，能够大幅提升探测命中率和准确率。附图说明

[0034]本发明将通过例子并参照附图的方式说明，其中：[0035]图1为本发明分布式网络资产探测方法流程图。

具体实施方式

[0036]针对现有技术在分布式网络资产探测构建中，没有采用探测节点选择策略，未考虑不同地区以及探测节点自身属性对探测结果影响的优化选择策略，导致探测效率较低，探测效果不佳；以及通过协议识别，未对探测结果进行准确度验证，探测结果探测准确率的问题，本发明提供了一种构建多个探测节点、构建探测节点选择策略、并结合爬虫技术对资产探测结果进行验证的分布式网络资产探测方法。该探测方法采用分布式探测方法进行全球网络资产探测，并构建多个不同国家地区的探测节点，采用探测节点优化选择策略，提高了探测效率和探测结果的准确度；采用了ICMP、TCP、SCTP、UDP等多协议相结合的扫描技术，可以提高探测效率，并能实现探测更多的网络空间资产，能够大规模快速检测整个互联网空间资产；结合爬虫技术，采用图片及文本识别等方式对探测结果进行进一步验证，得到全球网络资产信息，能够最大限度的提高探测命中率和准确率。所述方法的流程图如图1所示。

[0037]本发明的基本方法包括如下步骤：

[0038]1)部署多个具备资产探测功能的探测节点；[0039]2)根据IP位置信息，将IP地址划分为多个探测目标IP列表；[0040]3)构建探测节点选择策略模型，并为各目标IP列表选择合理的探测节点；[0041]4)在各探测节点对目标IP列表进行活跃主机存活性探测；[0042]5)对存活目标IP进行开放端口探测；

[0043]6)对存活目标IP开放端口发送探测报文，并通过比对指纹库获取网络资产信息。[0044]首先在全球网络空间部署多个具备资产探测功能的探测节点；基于全球范围内分配的IP地址，按照IP位置信息划分为多个探测目标IP列表，综合考虑IP位置信息、网络探测节点带宽和可用算力的节点效率，采用Logistic回归模型构建探测节点选择策略模型，并为各个目标IP列表选择合理探测节点进行任务分发；在各探测节点使用ICMP ECHO/TIMESTAMP/NETMASK报文、TCPSYN/ACK包、SCTP INIT/COOKIE-ECHO包报文对目标IP列表进行活跃主机存活性探测；然后对存活IP进行端口探测，探测出所有IP开放端口情况；并对所有IP的开放端口发送探测报文，通过比对指纹库获取服务、操作系统、设备厂商，设备类型，设备型号等信息；最后结合爬虫技术，图片及文本识别等方式对探测结果进行进一步验证，得到全球网络资产信息。本发明能够最大限度的提高探测效率、探测命中率和准确率。首次实现基于端口探测和网络爬虫的分布式网络资产快速探测功能，为网络安全提供基础保

5

CN 109660401 A

说　明　书

4/5页

障。

实施例

[0046]一种分布式网络资产探测方法，包括如下步骤：

[0047]1)在全球网络空间部署多个具备网络资产探测功能的探测节点。探测工具为全球资产分布式探测系统，采用C/S架构构建，客户端、服务器端通信机制采用可靠的SSL(协议)；服务器端负责根据探测节点选择策略分发探测任务，客户端负责执行相应的探测任务，并将探测结果返回到服务器端，客户端可以部署在具备互联网接入条件的任何位置。为实现全球化资源探测，采用VPS(Virtual Private Server虚拟专用服务器)构建探测节点。与传统的虚拟主机相比，VPS服务器由于不是采用大量虚拟主机共享同一个主机硬件资源的形势，因此在带宽、速度、网站和安全性等方面都具有较为明显的优势，并且可以根据需要灵活配置，支持实现有效的远程管理。

[0048]2)按照开源数据集获取探测目标IP的地理信息，并根据目标IP的地理信息将全球IP段划分为多个探测目标IP列表。

[0049]3)以现有不同探测节点的探测结果作为样本，使用Logistic回归模型先分析出各个探测节点属性特点对于探测结果的影响，建立探测节点选择策略模型。目标IP列表再根据探测节点网络带宽、可用算力和网络时延，制定合理的探测策略，控制节点通过RPC(Remote Procedure Call，远程过程调用)与探测节点通信，可以实现可靠的任务下发、消息传递和异常处理，并综合考虑现有网络节点的带宽和对目标节点的时延情况，合理选择适合各目标IP列表的探测节点并进行分布式任务分发。在探测节点的选择上，一般综合考虑时延、探测风险、节点资源利用情况、探测目标IP与探测节点之间的关系等条件，来选择适合探测目标的探测节点。

[0050]探测节点选择策略模型的构建方法如下：

[0051]根据探测节点对目标IP列表的探测结果状况将探测节点分为适合作为探测节点和不适合作为探测节点两类别，并以判断结果为因变量(适合作为探测节点赋值0，不适合作为探测节点赋值为1)，以探测节点本身具有的对探测结果影响有显著统计学意义的因素(探测节点属性特点，如探测时延、节点任务数、网络带宽等)作为变量。在a＝0.05，p＝0.10下建立多因素二元Logistic回归模型，通过Logistic逐步回归分析得出选择探测节点本身具有的对探测结果影响有显著统计学意义的主要因素，对模型进行检验，在P<0.05显著水平下回归方程有意义，下表为模型主要研究因素及赋值。

[0052][0045]

因素赋值探测节点资源节点任务个数网络带宽网络带宽值(单位为兆)网络时延时延(单位为秒)因变量适合作为探测节点＝0，不适合作为探测节点＝1[0053]通过选取探测决策分析指标，并采用已有的探测结果数据，利用Logistic回归模型，得到适用于探测节点选择策略模型。可以通过该探测节点选择策略模型，针对不同的探测目标选择最为适宜的探测节点。[0054]4)基于ICMP、TCP、SCTP协议探测目标主机存活性，按照常用端口排名顺序，依次进

6

CN 109660401 A

说　明　书

5/5页

行常用100个端口存活性探测。为提高探测的效率，采用异步端口存活性探测，记录目标IP端口存活情况的探测结果。基于各个网络探测节点，对相应的探测目标IP列表采用随机算法打乱列表中IP顺序，在各探测节点向目标发送ICMP ECHO/TIMESTAMP/NETMASK报文、发送TCPSYN/ACK包、发送SCTP INIT/COOKIE-ECHO包报文对目标IP列表进行活跃主机存活性扫描，探测报文快速扫描网络中存活的主机，并记录；[0055]5)重复步骤4)直到探测完所有IP；

[0056]6)将步骤5)的探测结果作为存活IP集，在各个探测节点分别对该集合的所有目标IP的所有端口发送SYN报文，如果端口能够收到目标IP的ACK报文，说明该端口开放，则将该IP及其存活端口存入数据库；

[0057]7)重复步骤6)直到探测完所有存活IP和常用100个端口；[0058]8)进入深度扫描阶段，深度扫描主要包括服务、操作系统、设备厂商，设备类型，设备型号等探测，对步骤7)得到的IP和端口开放数据，针对目标主机的某端口，发送探测报文，分析回应报文，并从软件指纹库中得出该端口所对应的协议，然后向该目标主机的端口发送符合对应协议格式的数据包、操作系统识别、发送资产探测报文，探测获取设备类型；在探测操作系统时，利用TCP/IP协议栈指纹技术，通过发送一系列特殊的网络探测包来获取目标操作系统的TCP/IP协议栈特征，之后将其特征与操作系统指纹库中的指纹相匹配并得出结果。据不同的应用层协议或者服务组件，发送不同的数据包来获取目标设备的应答Banner数据，根据Banner中的特征字段与指纹库中的设备指纹的匹配结果来完成设备识别。

[0059]9)对于步骤8)得到的IP和端口开放数据，TCP 80端口为web服务端口，TCP8080为提供web服务代理的端口，TCP443端口为HTTPS服务端口，选取开放80、443、8080等端口的http、https协议数据进行爬取网页图片及文本识别等方式对探测结果进行进一步验证。

7

CN 109660401 A

说　明　书　附　图

1/1页

图1

8