一种驾驶员行为分析预警系统[发明专利]

(12)发明专利申请

(10)申请公布号 CN 1111496 A(43)申请公布日 2020.05.12

(21)申请号 2020100069.7(22)申请日 2020.01.03

(71)申请人 建德市交通大队

地址 311600 浙江省杭州市建德市新安江

街道新衢路106号(72)发明人 柯汉根　赵斌　

(74)专利代理机构 北京细软智谷知识产权代理

有限责任公司 11471

代理人 刘冬梅(51)Int.Cl.

G08B 21/06(2006.01)G08B 31/00(2006.01)G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/08(2006.01)

权利要求书2页 说明书9页 附图2页

()发明名称

一种驾驶员行为分析预警系统

(57)摘要

本申请涉及一种驾驶员行为分析预警系统，该系统包括：视频单元，用于获取车辆的车载视频；行为分析单元，用于对所述车载视频进行驾驶员行为分类，获取行为分类结果；控制单元，用于根据所述行为分类结果对所述车辆的驾驶员发出警报。本申请提供的技术方案，实现了及时纠正车辆驾驶员的违规行为，行驶速度，保障车辆人员和道路参与者的生命财产安全，减少了工程车辆交通事故的发生。

CN 1111496 ACN 1111496 A

权　利　要　求　书

1/2页

1.一种驾驶员行为分析预警系统，其特征在于，所述系统包括：视频单元，用于获取车辆的车载视频；行为分析单元，用于对所述车载视频进行驾驶员行为分类，获取行为分类结果；控制单元，用于根据所述行为分类结果对所述车辆的驾驶员发出警报。2.根据权利要求1所述的系统，其特征在于，所述行为分析单元，包括：图片获取模块，用于利用目标跟踪算法获取所述车载视频中存在驾驶员的视频；分类模块，用于利用预设深度学习网络对所述存在驾驶员的视频中每一帧图片进行行为分类，获取行为分类结果；

分析模块，用于根据所述行为分类结果判断驾驶员是否存在危险驾驶行为。3.根据权利要求2所述的系统，其特征在于，所述分析模块具体用于：以所述驾驶员行为的视频中每一帧图片为预设深度学习网络的输入，获取所述驾驶员行为的视频中每一帧图片对应的类别。

4.根据权利要求2所述的系统，其特征在于，所述行为分析单元，还包括：建立模块，用于建立所述预设深度学习网络。

5.根据权利要求4所述的系统，其特征在于，所述建立模块，包括：利用历史的驾驶员行为图片为深度学习网络的输入层训练样本，以所述历史的驾驶员行为图片的类别为深度学习网络的输出层训练样本进行训练，获取所述预设深度学习网络。

6.根据权利要求3所述的系统，其特征在于，所述分析模块，具体用于：若所述行为分类结果为抽烟、接打电话或不目视前方，则驾驶员存在危险驾驶行为，并将所述行为分类结果传送至报警单元；否则，不需要将所述行为分类结果传送至报警单元；

若所述行为分类结果为疲劳驾驶，则利用基于PERCLOS的驾驶员疲劳检测算法判断驾驶员是否疲劳驾驶，若驾驶员疲劳驾驶，则驾驶员存在危险驾驶行为，并将所述行为分类结果传送至报警单元；若驾驶员未疲劳驾驶，则不需要将所述行为分类结果传送至报警单元。

7.根据权利要求6所述的系统，其特征在于，所述控制单元，包括：判断模块和语音模块；

判断模块，用于当所述车辆的速度为大于等于第一预设值时，将所述行为分类结果传送至语音模块；当所述车辆的速度为小于第一预设值时，不将所述行为分类结果传送至语音模块；

语音模块，用于当接收到的所述行为分类结果为抽烟时，对所述车辆的驾驶员发出禁止抽烟的警报；当接收到的所述行为分类结果为接打电话时，对所述车辆的驾驶员发出禁止接打电话的警报；当接收到的所述行为分类结果为不目视前方时，对所述车辆的驾驶员发出请目视前方的警报；当接收到的所述行为分类结果为疲劳驾驶时，对所述车辆的驾驶员发出禁止疲劳驾驶的警报。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：速度传感器，用于监测所述车辆的速度；

所述判断模块，还用于判断速度传感器监测的所述车辆的速度是否大于超速报警阈值，若所述车辆的速度大于超速报警阈值且所述车辆的速度大于超速报警阈值的时间大于预设时间段，则所述判断模块将所述车辆需要减速的信息发送至所述语音模块；若所述车

2

CN 1111496 A

权　利　要　求　书

2/2页

辆的速度小于等于超速报警阈值，则所述判断模块不需要将所述车辆需要减速的信息发送至所述语音模块；若所述车辆的速度大于超速报警阈值的时间小于等于预设时间段，则所述判断模块不需要将所述车辆需要减速的信息发送至所述语音模块；

所述语音模块，还用于根据判断模块发送的所述车辆需要减速的信息对所述车辆的驾驶员发出减速警报。

9.根据权利要求1-8任一项所述的系统，其特征在于，所述控制单元还包括：定位模块，用于获取所述车辆的位置；

存储模块，用于存储车辆的车载视频和警报信息。10.根据权利要求9所述的系统，其特征在于，所述系统还包括：无线通信单元，用于利用无线通讯技术将所述车辆的车载视频、警报信息和位置信息传送至管理中心平台。

3

CN 1111496 A

说　明　书

一种驾驶员行为分析预警系统

1/9页

技术领域

[0001]本申请属于工程自卸车安全运输技术领域，具体涉及一种驾驶员行为分析预警系统。

背景技术

[0002]城市工程车辆运输过程中各种乱象丛生。如何有效规范城市工程车辆安全运营和运输物的合法管理已经成为了相关管理部门必须严肃面对的问题；如何让执法处罚有理有据，有效监督和维护城市工程车辆运营市场是管理者迫切需要解决的问题。[0003]城市工程车辆管理工作复杂，每年都有因驾驶员行为不规范造成工程车辆交通事故的发生，对车辆人员和道路参与者的生命财产安全造成严重威胁。发明内容

[0004]为至少在一定程度上克服相关技术中存在工程车辆驾驶员违规行为造成交通事故的发生的问题，本申请提供一种驾驶员行为分析预警系统。[0005]为实现以上目的，本申请采用如下技术方案：[0006]本申请提供一种驾驶员行为分析预警系统，所述系统包括：[0007]视频单元，用于获取车辆的车载视频；[0008]行为分析单元，用于对所述车载视频进行驾驶员行为分类，获取行为分类结果；[0009]控制单元，用于根据所述行为分类结果对所述车辆的驾驶员发出警报。[0010]优选的，所述行为分析单元，包括：[0011]图片获取模块，用于利用目标跟踪算法获取所述车载视频中存在驾驶员的视频；[0012]分类模块，用于利用预设深度学习网络对所述存在驾驶员的视频中每一帧图片进行行为分类，获取行为分类结果；[0013]分析模块，用于根据所述行为分类结果判断驾驶员是否存在危险驾驶行为。[0014]进一步的，所述分析模块具体用于：以所述驾驶员行为的视频中每一帧图片为预设深度学习网络的输入，获取所述驾驶员行为的视频中每一帧图片对应的类别。[0015]优选的，所述行为分析单元，还包括：建立模块，用于建立所述预设深度学习网络。[0016]进一步的，所述建立模块，包括：[0017]利用历史的驾驶员行为图片为深度学习网络的输入层训练样本，以所述历史的驾驶员行为图片的类别为深度学习网络的输出层训练样本进行训练，获取所述预设深度学习网络。

[0018]进一步的，所述分析模块，具体用于：[0019]若所述行为分类结果为抽烟、接打电话或不目视前方，则驾驶员存在危险驾驶行为，并将所述行为分类结果传送至报警单元；否则，不需要将所述行为分类结果传送至报警单元；

[0020]若所述行为分类结果为疲劳驾驶，则利用基于PERCLOS的驾驶员疲劳检测算法判

4

CN 1111496 A

说　明　书

2/9页

断驾驶员是否疲劳驾驶，若驾驶员疲劳驾驶，则驾驶员存在危险驾驶行为，并将所述行为分类结果传送至报警单元；若驾驶员未疲劳驾驶，则不需要将所述行为分类结果传送至报警单元。

[0021]优选的，所述控制单元，包括：判断模块和语音模块；[0022]判断模块，用于当所述车辆的速度为大于等于第一预设值时，将所述行为分类结果传送至语音模块；当所述车辆的速度为小于第一预设值时，不将所述行为分类结果传送至语音模块；

[0023]语音模块，用于当接收到的所述行为分类结果为抽烟时，对所述车辆的驾驶员发出禁止抽烟的警报；当接收到的所述行为分类结果为接打电话时，对所述车辆的驾驶员发出禁止接打电话的警报；当接收到的所述行为分类结果为不目视前方时，对所述车辆的驾驶员发出请目视前方的警报；当接收到的所述行为分类结果为疲劳驾驶时，对所述车辆的驾驶员发出禁止疲劳驾驶的警报。[0024]优选的，所述系统还包括：速度传感器，用于监测所述车辆的速度；[0025]所述判断模块，还用于判断速度传感器监测的所述车辆的速度是否大于超速报警阈值，若所述车辆的速度大于超速报警阈值且所述车辆的速度大于超速报警阈值的时间大于预设时间段，则所述判断模块将所述车辆需要减速的信息发送至所述语音模块；若所述车辆的速度小于等于超速报警阈值，则所述判断模块不需要将所述车辆需要减速的信息发送至所述语音模块；若所述车辆的速度大于超速报警阈值的时间小于等于预设时间段，则所述判断模块不需要将所述车辆需要减速的信息发送至所述语音模块；[0026]所述语音模块，还用于根据判断模块发送的所述车辆需要减速的信息对所述车辆的驾驶员发出减速警报。[0027]优选的，所述控制单元还包括：定位模块，用于获取所述车辆的当前位置；[0028]存储模块，用于存储车辆的车载视频和警报信息。[0029]优选的，所述系统还包括：无线通信单元，用于利用无线通讯技术将所述车辆的车载视频、警报信息和位置信息传送管理平台。

[0030]本申请的实施例提供的技术方案可以包括以下有益效果：[0031]通过对车辆的车载视频进行驾驶员行为分类，获取行分类结果，并根据行为分类结果对车辆的驾驶员发出警报，及时纠正了车辆驾驶员的违规行为，行驶速度，保障车辆人员和道路参与者的生命财产安全，减少了工程车辆交通事故的发生。[0032]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能本申请。

附图说明

[0033]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

[0034]图1是根据本申请一个实施例提供的一种驾驶员行为分析预警系统的结构示意图；

[0035]图2是根据本申请一个实施例提供的另一种驾驶员行为分析预警系统的结构示意图；

5

CN 1111496 A[0036]

说　明　书

3/9页

图3是根据本申请一个实施例提供的某工程车辆的驾驶员行为分析预警系统中的

驾驶室摄像机的示意图；

[0037]图4是根据本申请一个实施例提供的某工程车辆的驾驶员行为分析预警系统中的前方路况摄像机的示意图；

[0038]图5是根据本申请一个实施例提供的某工程车辆的驾驶员行为分析预警系统中的左侧鱼眼摄像机和右侧鱼眼摄像机的示意图。

具体实施方式

[0039]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

[0040]图1是根据本申请一个实施例提供的一种驾驶员行为分析预警系统的结构示意图，如图1所示，该系统包括：[0041]视频单元，用于获取车辆的车载视频；[0042]行为分析单元，用于对车载视频进行驾驶员行为分类，获取行为分类结果；[0043]控制单元，用于根据行为分类结果对车辆的驾驶员发出警报。[0044]容易理解的是，车载视频是指录制的车辆内驾驶员行为的视频；车载视频可通过摄像机录制。

[0045]本实施例提供的一种驾驶员行为分析预警系统，通过对车辆的车载视频进行驾驶员行为分类，获取行分类结果，并根据行为分类结果对车辆的驾驶员发出警报，及时纠正了车辆驾驶员的违规行为，行驶速度，保障车辆人员和道路参与者的生命财产安全，减少了工程车辆交通事故的发生。

[0046]作为上述实施例的一种改进，本发明实施例提供的另一种驾驶员行为分析预警系统的结构示意图，如图2所示，包括：[0047]视频单元，用于获取车辆的车载视频；[0048]行为分析单元，用于对车载视频进行驾驶员行为分类，获取行为分类结果；[0049]控制单元，用于根据行为分类结果对车辆的驾驶员发出警报。[0050]进一步的可选的，行为分析单元，包括：[0051]图片获取模块，用于利用目标跟踪算法获取车载视频中存在驾驶员的视频；[0052]分类模块，用于利用预设深度学习网络对存在驾驶员的视频中每一帧图片进行行为分类，获取行为分类结果；[0053]分析模块，用于根据行为分类结果判断驾驶员是否存在危险驾驶行为。[00]通过利用目标跟踪算法识别车载视频中的驾驶员，可提高驾驶员的检出准确率，防止将乘客误认为司机。[0055]需要说明的是，本发明实施例中涉及的“目标跟踪算法”方式，是本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。[0056]进一步的可选的，分析模块具体用于：以驾驶员行为的视频中每一帧图片为预设深度学习网络的输入，获取驾驶员行为的视频中每一帧图片对应的类别。

6

CN 1111496 A[0057]

说　明　书

4/9页

例如，假设输入到深度学习网络为驾驶员正在抽烟的图片，则该图片对应的类别

为驾驶员抽烟；假设输入到深度学习网络为驾驶员正在打电话的图片，则该图片对应的类别为驾驶员打电话。[0058]进一步可选的，行为分析单元，还包括：建立模块，用于建立预设深度学习网络。[0059]具体可选的，建立模块，包括：[0060]利用历史的驾驶员行为图片为深度学习网络的输入层训练样本，以历史的驾驶员行为图片的类别为深度学习网络的输出层训练样本进行训练，获取预设深度学习网络。[0061]需要说明的是，“预设深度学习网络”的建立过程是基于“深度学习算法”，此方面为本领域技术人员所熟知的，因此，其具体实现方式不做过多描述。[0062]一些实施例中，利用大量的已标定图像(例如，500张已标定的图像)训练深度学习网络，深度学习网络可学习到如何检测和分类目标。输入一张图像，深度学习网络能输出检测到目标的位置和类别。[0063]一些实施例中，利用深度学习算法回归人脸关键点，利用3D旋转公式可计算得到人脸的3个姿态角度，再结合视频信息可以得到司机是否存在长时间不目视前方的情况。[00]进一步可选的，分析模块，具体用于：[0065]若行为分类结果为抽烟、接打电话或不目视前方，则驾驶员存在危险驾驶行为，并将行为分类结果传送至报警单元；否则，不需要将行为分类结果传送至报警单元；[0066]若行为分类结果为疲劳驾驶，则利用基于PERCLOS的驾驶员疲劳检测算法判断驾驶员是否疲劳驾驶，若驾驶员疲劳驾驶，则驾驶员存在危险驾驶行为，并将行为分类结果传送至报警单元；若驾驶员未疲劳驾驶，则不需要将行为分类结果传送至报警单元。[0067]例如，利用深度学习算法首先定位驾驶员面部关键点(眼睛和嘴巴等)，然后基于PERCLOS的驾驶员疲劳检测算法，通过一定时间内眼睛闭合所占的时间比例以及张嘴打哈欠的频度来评价驾驶员的疲劳状态；由于部分驾驶员会带墨镜，无补光的话无法看到人眼，所以专用驾驶员IPC使用全天候红外补光穿透墨镜的方法解决该问题。故监控画面默认是黑白成像。

[0068]进一步可选的，控制单元，包括：判断模块和语音模块；[0069]判断模块，用于当车辆的速度为大于等于第一预设值时，将行为分类结果传送至语音模块；当车辆的速度为小于第一预设值时，不将行为分类结果传送至语音模块；[0070]语音模块，用于当接收到的行为分类结果为抽烟时，对车辆的驾驶员发出禁止抽烟的警报；当接收到的行为分类结果为接打电话时，对车辆的驾驶员发出禁止接打电话的警报；当接收到的行为分类结果为不目视前方时，对车辆的驾驶员发出请目视前方的警报；当接收到的行为分类结果为疲劳驾驶时，对车辆的驾驶员发出禁止疲劳驾驶的警报。[0071]需要说明的时，本领域技术人员可根据经验或实验数据等对“第一预设值”进行设定；本领域技术人员也可以根据需要在判断模块中设置多个的预设值。[0072]例如，假设第一预设值为10公里/小时，A车辆的行驶速度为2公里/小时，此时驾驶员正在打电话，则不需要将驾驶员正在打电话的信息传送至语音模块；[0073]假设第一预设值为10公里/小时，A车辆的行驶速度为40公里/小时，此时驾驶员正在打电话，则需要将驾驶员正在打电话的信息传送至语音模块，语音模块对驾驶员发出“禁止打电话”的语音提醒，防止因为驾驶员打电话，注意力没有集中在开车上，造成的交通事

7

CN 1111496 A

说　明　书

5/9页

故。

进一步可选的，该系统还包括：速度传感器，用于监测车辆的速度；

[0075]判断模块，还用于判断速度传感器监测的车辆的速度是否大于超速报警阈值，若车辆的速度大于超速报警阈值且车辆的速度大于超速报警阈值的时间大于预设时间段，则判断模块将车辆需要减速的信息发送至语音模块；若车辆的速度小于等于超速报警阈值，则判断模块不需要将车辆需要减速的信息发送至语音模块；若车辆的速度大于超速报警阈值的时间小于等于预设时间段，则判断模块不需要将车辆需要减速的信息发送至语音模块；

[0076]语音模块，还用于根据判断模块发送的车辆需要减速的信息对车辆的驾驶员发出减速警报。[0077]例如，车辆A安装有驾驶员行为分析预警系统，超速报警阈值为60公里/小时，预设时间段为2分钟，假设车辆A的行驶速度为70公里/小时，当车辆A以70公里/小时的速度行驶的时间超过2分钟后，驾驶员行为分析预警系统中的语音模块就会对驾驶员发出需要减速的语音警报；

[0078]假设车辆A的行驶速度为70公里/小时，当车辆A以70公里/小时的速度只行驶了1分钟，则驾驶员行为分析预警系统中的语音模块不会对车辆A发出需要减速的语音警报；[0079]假设车辆A的行驶速度为50公里/小时，不论车辆A以50公里/小时的速度行驶多长时间，驾驶员行为分析预警系统中的语音模块都不会对车辆A发出需要减速的语音警报。[0080]容易理解的是，通过设定超速报警阈值，使得当车辆的行驶速度大于超速报警阈值时，对驾驶员发出减速的语音提示，避免了因车辆速度太快造成事故的发生，保障车辆人员和道路参与者的生命财产安全。[0081]需要说明的是，本领域技术人员可根据需要设定超速报警阈值(例如，装满货物的车辆的超速报警阈值为50公里/小时，没有装货的车辆的超速报警阈值为60公里/小时)。[0082]进一步可选的，控制单元还包括：定位模块，用于获取车辆的位置；[0083]存储模块，用于存储车辆的车载视频、警报信息和位置信息。[0084]需要说明的是，定位模块可以但不限于通过GPS/北斗定位技术实现。[0085]进一步可选的，该系统还包括：无线通信单元，用于利用无线通讯技术将车辆的车载视频、警报信息和位置信息传送至管理中心平台。[0086]容易理解的是，警报信息包括：禁止抽烟的警报、禁止抽烟的警报对应的时间、禁止抽烟的警报对应的日期和禁止抽烟的警报对应的地点；禁止接打电话的警报、禁止接打电话的警报对应的时间、禁止接打电话的警报对应的日期和禁止接打电话的警报对应的地点；禁止疲劳驾驶的警报、禁止疲劳驾驶的警报对应的时间、禁止疲劳驾驶的警报对应的日期和禁止疲劳驾驶的警报对应的地点；减速警报、减速警报对应的时间、减速警报对应的日期和减速警报对应的地点。[0087]需要说明的是，管理中心平台可以为但不限于监管平台或企业运营平台。[0088]容易理解的是，驾驶员可通过利用无线通讯技术和语音模块与管理中心平台进行语音通话。

[00]需要说明的是，通过利用无线通讯技术将车辆的车载视频、警报信息和位置信息传送至管理中心平台，可以随时掌握工程车辆的出行路线，避免了黑车运输和不按规定时

8

[0074]

CN 1111496 A

说　明　书

6/9页

间线路行驶等问题的发生；有利于对驾驶员违规行为进行取证，使得执法处罚有理有据，有效监督和维护城市工程车辆运营市场，提升了监管力度和执法效率。[0090]本实施例提供的一种驾驶员行为分析预警系统，通过对车辆的车载视频进行驾驶员行为分类，获取行分类结果，并根据行为分类结果对车辆的驾驶员发出警报，及时纠正了车辆驾驶员的违规行为，行驶速度，保障车辆人员和道路参与者的生命财产安全，减少了工程车辆交通事故的发生。

[0091]为了便于读者对上述驾驶员行为分析预警系统的进一步理解，本发明实施例针对某工程车辆的驾驶员行为分析预警系统架构提供一具体实例，该工程车辆的驾驶员行为分析预警系统，包括：四个摄像机、车载主机、报警设备和语音设备；[0092]四个摄像机，用于录制工程车辆的车载视频；[0093]车载主机，用于对车载视频进行驾驶员行为分类，获取行为分类结果，并根据行为分类结果利用报警设备发出警报，利用语音设备对驾驶员发出语音警报。[0094]进一步的，四个摄像机、报警设备和语音设备均与车载主机连接。[0095]进一步的，车载主机、报警设备和语音设备均设置于工程车辆驾驶室前面板处。[0096]进一步的，该工程车辆的驾驶员行为分析预警系统还包括：速度传感器，用于监测该工程车辆的行驶速度。[0097]具体的，车载主机内设置有存储模块、GPS/北斗通信模块和网络终端。[0098]容易理解的是，车载主机内的存储模块可以但不限于存储车辆的行驶时间和日期、与车辆的行驶时间和日期对应的行驶速度、与车辆的行驶时间和日期对应的地理位置以及四个摄像机录制的车载视频(例如，某年某月某日某时间车辆的行驶速度和地理位置)，可为交通事故提供证据；其中，存储模块具有防篡改功能，车载视频不可以裁剪。[0099]需要说明的是，网络终端可以但不限于为：3G、4G或5G网络终端。[0100]具体可选的，车载主机上设置有若干种类型的接口。[0101]容易理解的是，车载主机上的若干种接口，可以但不限于与显示屏、摄像机和拾音器等车载设备连接。[0102]进一步的，四个摄像机，包括：[0103]参见图3，驾驶室摄像机，设置于工程车辆的驾驶室内，用于拍摄驾驶员安全驾驶情况(具备驾驶员行为分析功能)及声音录制，有利于提高驾驶员的交通规则意识，保障行车安全、辨别事故责任；[0104]参见图4，前方路况摄像机，设置于车辆的驾驶座前方的车内顶板，其镜头对着前方路面，用于拍摄正前方路况、行车标志信息和红绿灯等，可记录车辆行驶状况、前方车辆的行驶状况；

[0105]参见图5，左侧鱼眼摄像机，设置于车辆的左侧后视镜下方或侧面，用于监控和记录车辆的车身左侧外围区域的情况，避免左拐弯盲区所造成安全隐患问题；[0106]参见图5，右侧鱼眼摄像机，设置于车辆的右侧后视镜下方或侧面，用于监控和记录车辆的车身右侧外围区域的情况，避免右拐弯盲区所造成安全隐患问题。[0107]需要说明的是，由于部分驾驶员会带墨镜，无补光的话无法看到人眼，所以专用驾驶员IPC使用全天候红外补光穿透墨镜的方法解决该问题。故监控画面默认是黑白成像。[0108]容易理解的是，车载视频即为上述驾驶室摄像机、前方路况摄像机、左侧鱼眼摄像

9

CN 1111496 A

说　明　书

7/9页

机和右侧鱼眼摄像机录制的视频。[0109]需要说明的是，本实施例通过航空接口的线缆及延长线将摄像机监控的图像传至车载主机内录像存储。容易理解的是，摄像机录制的视频信息存储在存储模块中。[0110]为了保证车辆行车安全以及驾驶员和行人的安全，摄像机的部署位置需要以保障驾驶室内及车辆外侧无盲区为前提，通常车厢内部和转向区域为作为重点监控区域；同时安装位置的选择，需要考虑到布线的便利性和隐蔽性，避免影响车辆的正常运行。[0111]进一步的，该工程车辆的驾驶员行为分析预警系统具体工作流程包括：[0112]步骤1：车载主机利用目标跟踪算法识别上述四个摄像机录制的车载视频中的驾驶员，并利用预设深度学习网络识别车载视频中的驾驶员的行为类别；[0113]当车载视频中的驾驶员的行为类别为抽烟、接打电话或不目视前方时，执行步骤2；当车载视频中的驾驶员的行为类别为疲劳驾驶时，执行步骤3；[0114]步骤2：车载主机根据速度传感器监测的该工程车辆的行驶速度判断该工程车辆的当前车速是否小于第一预设值，若该工程车辆的当前车速大于等于第一预设值，则驾驶员存在危险驾驶行为，车载主机将驾驶员的行为类别传送至语音设备，并执行步骤5；若该工程车辆的当前车速小于第一预设值，则驾驶员不存在危险驾驶行为，车载主机不需要将驾驶员的行为类别传送至语音设备；[0115]步骤3：车载主机利用基于PERCLOS的驾驶员疲劳检测算法再次判断驾驶员是否疲劳驾驶，若利用基于PERCLOS的驾驶员疲劳检测算法判断出驾驶员确定疲劳驾驶，则执行步骤4；若利用基于PERCLOS的驾驶员疲劳检测算法判断出驾驶员没有疲劳驾驶，则车载主机不需要将驾驶员的行为类别传送至语音设备；[0116]步骤4：车载主机根据速度传感器监测的该工程车辆的行驶速度判断该工程车辆的当前车速是否小于第一预设值，若该工程车辆的当前车速大于等于第一预设值，则车载主机将驾驶员的行为类别传送至语音设备，并执行步骤6；若该工程车辆的当前车速小于第一预设值，则车载主机不需要将驾驶员的行为类别传送至语音设备；[0117]步骤5：当语音设备接收到的驾驶员的行为类别为抽烟时，对该工程车辆的驾驶员发出禁止抽烟的语音警报；当语音设备接收到的驾驶员的行为类别为接打电话时，对该工程车辆的驾驶员发出禁止接打电话的语音警报；当语音设备接收到的驾驶员的行为类别为不目视前方时，对该工程车辆的驾驶员发出请目视前方的语音警报；[0118]步骤6：语音设备对该工程车辆的驾驶员发出禁止疲劳驾驶的语音警报。[0119]具体的，步骤1中利用预设深度学习网络识别车载视频中的驾驶员的行为类别的实现过程包括：

[0120]基于深度学习算法，利用大量的已标定的驾驶员行为的图像训练深度学习网络，深度学习网络可学习到如何检测和分类目标；输入一张图像，深度学习网络能输出检测到目标的位置和类别。[0121]容易理解的是，基于深度学习算法，可实现高效准确的目标检测。[0122]具体的，步骤3中利用基于PERCLOS的驾驶员疲劳检测算法再次判断驾驶员是否疲劳驾驶，包括：[0123]利用深度学习算法回归人脸关键点，首先定位驾驶员面部关键点(眼睛和嘴巴等)，然后基于PERCLOS的驾驶员疲劳检测算法，通过一定时间内眼睛闭合所占的时间比例

10

CN 1111496 A

说　明　书

8/9页

以及张嘴打哈欠的频度来评价驾驶员的疲劳状态。[0124]进一步的，该工程车辆的驾驶员行为分析预警系统具体工作流程，还包括步骤7：[0125]车载主机根据判断速度传感器监测的该工程车辆的行驶速度判断该工程车辆的当前车速是否大于超速报警阈值，若该工程车辆的当前车速大于超速报警阈值且该工程车辆的速度大于超速报警阈值的时间大于预设时间段，则车载主机将需要减速的信息发送至语音设备，语音设备对驾驶员发出需要减速的语音警报；[0126]若该工程车辆的当前车速小于等于超速报警阈值，则车载主机不需要将减速的信息发送至语音设备；

[0127]若该工程车辆的当前车速大于超速报警阈值且该工程车辆的速度大于超速报警阈值的时间小于预设时间段，则车载主机不需要将减速的信息发送至语音设备。[0128]进一步的，该工程车辆的车载主机内的存储模块还可以用于但不限于存储该工程车辆的超速时刻、持续时间和最大车速。[0129]进一步的，该工程车辆的车载主机内的GPS/北斗通信模块，用于定位该工程车辆的当前的经纬度等数据信息，支持停车监控时向后台发送实时车辆位置，用于失踪车辆或事故车辆的定位追踪。[0130]进一步的，该工程车辆的驾驶员行为分析预警系统还包括：显示屏，设置于该工程车辆驾驶室的前面板处，可以用于但不限于显示车载视频。[0131]具体的，该工程车辆的驾驶员行为分析预警系统采用嵌入式linux系统架构。[0132]进一步的，该工程车辆的驾驶员行为分析预警系统可通过网络终端或无线通讯技术将该工程车辆的车载视频、警报信息和位置信息传送至管理中心平台；其中，管理中心平台可以但不限于为监管平台或企业运营平台。

[0133]本实施例提供的一种驾驶员行为分析预警系统，通过对车辆的车载视频进行驾驶员行为分类，获取行分类结果，并根据行为分类结果对车辆的驾驶员发出警报，及时纠正了车辆驾驶员的违规行为，行驶速度，保障车辆人员和道路参与者的生命财产安全，减少了工程车辆交通事故的发生；

[0134]通过利用网络终端或无线通讯技术将车辆的车载视频、警报信息和位置信息传送至管理中心平台，可以随时掌握工程车辆的出行路线，避免了黑车运输和不按规定时间线路行驶等问题的发生；有利于对驾驶员违规行为进行取证，使得执法处罚有理有据，有效监督和维护城市工程车辆运营市场，提升了监管力度和执法效率。[0135]可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。[0136]需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。

[0137]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

11

CN 1111496 A[0138]

说　明　书

9/9页

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述

实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

[0139]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。[0140]此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

[0141]上述提到的存储介质可以是只读存储器，磁盘或光盘等。[0142]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0143]尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

12

CN 1111496 A

说　明　书　附　图

1/2页

图1

图2

13

CN 1111496 A

说　明　书　附　图

2/2页

图3

图4

图5

14