嚣 电债科掌 咚 ３类。云计算以数据为中心，在并行数据处理、编程模式和 虚拟化等方面具有独特的技术。 ２．２ Ｈａｄｏｏｐ 数据存储。 Ｈａｄｏｏｐ具有可扩展、高容错、经济、可靠、高效的优点， 被广泛应用在云计算领域，在Ｙａｈｏｏ、Ｆａｃｅｂｏｏｋ、支付宝、人 人网等大型网站上都已经得到了应用．是目前应用最为广 Ｈａｄｏｏｐ是由Ａｐａｃｈｅ基金会组织开发的分布式计算开 源框架，利用低廉设备搭建大计算池，以提高分析海量数据 的速度和效率，是低成本的云计算解决方案。其模仿和实现 泛、成熟的开源云计算平台。 ３基于Ｈａｄｏｏｐ的海量电信数据云计算 了Ｇｏｏｇｌｅ云计算的主要技术。包括ＨＤＦＳ（Ｈａｄｏｏｐ ｄｉｓｔｒｉｂｕｔｅｄ ｉｆｌｅ ｓｙｓｔｅｍ，Ｈａｄｏｏｐ分布式文件系统）、ＭａｐＲｅｄｕｃｅ、ＨＢａｓｅ、 ＺｏｏＫｅｅｐｅｒ等，分别对应于Ｇｏｏｇｌｅ成熟商用云计算平台的 ＧＦＳ（Ｇｏｏｇｌｅｆｉｌｅｓｙｓｔｅｍ，Ｇ００ｄｅ文件系统） 叩Ｒｅｄｕｃｅ、ＢｉｇＴａｂｌｅ、 Ｃｈｕｂｂｙ，支持通过Ｇｏｏｇｌｅ的ＭａｐＲｅｄｕｃｅ编程范例创建并 执行应用程序。 Ｈａｄｏｏｐ是相关子项目的集合，核心是Ｈａｄｏｏｐ Ｃｏｍｍｏｎ、ＨＤＦＳ和ＭａｐＲｅｄｕｃｅ，其他子项目提供补充性服 务。Ｈａｄｏｏｐ技术栈如图１所示，具体介绍如下。 Ｐｉｇ Ｃｈｕｋｗａ Ｈｉｖｅ Ｈｂａｓｅ ＭａｐＲｅｄｕｃｅ ＨＤＦＳ ＺｏｏＫｅｅｐｅｒ Ｈａｄｏｏｐ Ｃｏｍｍｏｎ Ａｖｒｏ 图１ Ｈａｄｏｏｐ技术栈 Ｈａｄｏｏｐ Ｃｏｍｍｏｎ：支撑Ｈａｄｏｏｐ的公共部分．是最底层 的模块，为其他子项目提供各种工具。 ＨＤＦＳ：是一个主从（ｍａｓｔｅｒ／ｓｌａｖｅ）结构．由一个 ＮａｍｅＮｏｄｅ（名称节点）和若干个ＤａｔａＮｏｄｅ（数据节点）构 成，ＮａｍｅＮｏｄｅ管理文件系统的元数据，ＤａｔａＮｏｄｅ存储实际 数据。 ＭａｐＲｅｄｕｃｅ：处理海量数据的并行编程模型和计算框 架，采用“分而治之”思想，包括分解任务的ｍａｐ函数和汇 总结果的ｒｅｄｕｃｅ函数，ＭａｐＲｅｄｕｃｅ任务由一个ＪｏｂＴｒａｃｋｅｒ 和若干个ＴａｓｋＴｒａｃｋｅｒ控制完成．ＪｏｂＴｒａｃｋｅｒ负责调度和管 理ＴａｓｋＴｒａｃｋｅｒ，ＴａｓｋＴｒａｃｋｅｒ负责执行任务。 Ｐｉｇ：ＳＱＬ—ｌｉｋｅ语言，是在ＭａｐＲｅｄｕｃｅ上构建的一种高 级查询语言，以简化ＭａｐＲｅｄｕｃｅ任务的开发。 Ｈｉｖｅ：数据仓库工具，提供ＳＱＬ查询功能。 Ｈｂａｓｅ：基于列存储模型的分布式数据库。 ＺｏｏＫｅｅｐｅｒ：针对分布式系统的协调服务。 Ｃｈｕｋｗａ：分布式数据收集和分析系统。 Ａｖｒｏ：提供高效、跨语言ＲＰＣ的数据序列系统，持久化 平台设计 目前。电信运营商对海量电信数据的分析都是基于传 统的关系型数据库，这种分析方法依赖于高性能机器，分 析时间长、效率不高。直接影响了业务决策时机。 针对这些问题，结合海量电信数据的特点，本文提出 利用Ｈａｄｏｏｐ云计算技术对海量电信数据进行分析的方 法．该方法通过构建基于Ｈａｄｏｏｐ的海量电信数据云计算 平台．采用ＭａｐＲｅｄｕｃｅ编程模型加强对数据的管理，提高 数据分析的速度和效率。解决了电信运营商对海量电信数 据管理和分析难的问题。 ３．１ 平台设计的目标与原则 海量电信数据云计算平台的设计目标是利用Ｈａｄｏｏｐ 基于低廉设备的海量数据处理优势．利用一批下线的低端 ＰＣ服务器搭建Ｈａｄｏｏｐ云计算平台。支撑海量电信数据的 分析需求．提高数据分析的速度和效率，达到为业务决策 提供即时、准确信息的目的，同时为公司节约投资成本。 平台的设计原则包括：经济原则．充分利用现有资源 搭建平台基础设施，根据Ｈａｄｏｏｐ对硬件要求不高的特点， 采用一批下线低端ＰＣ服务器搭建Ｈａｄｏｏｐ集群：高效原 则．充分利用云计算平台的特性，提高海量电信数据的处 理效率：安全原则，在平台设计过程中，必须充分考虑平台 的自身安全和信息安全，采取必要措施，规避安全风险。 ３．２平台框架结构 结合海量电信数据自身的特点．海量电信数据云计算 平台在设计上采用分布式、分层结构．可以划分为数据层、 模型层、应用层３层结构，如图２所示。 （１）数据层 海量电信数据包括网络域数据和业务支撑域数据。其 中，网络域数据包括Ｇｂ １３数据、Ａ １３数据、ＷＬＡＮ数据等； 业务支持域数据包括客户信息、客户业务订购数据、客户 消费数据等客户基本数据。数据层通过Ｈａｄｏｏｐ的ＨＤＦＳ 存储这些数据，然后利用Ｈｂａｓｅ、Ｈｉｖｅ、Ｐｉｇ、ＺｏｏＫｅｅｐｅｒ等数 据处理和管理工具，用类ＳＱＬ语言定义统计指标，动态生 一 一一堂 ￥ｈａｄｏ０ｐ ｊａｒ ｗａｎｇ如ｎ２．ｊ ／ｗｆｉｎｐｕｔ／ｗｆｏｕｔｐｕｔ ２０１２—０３—１６ ０７—０９－１７－２４ Ｅｘｅｃｕｔｅ ｗｉｔｈｏｕｔ ａｒｇｕｍｅｎｔ ｆｏｒ ｈｅｌｐ． １２／４／１２ ０６：０５４：１２ ＷＡＲＮ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：Ｕｓｅ ＧｅｎｅｒｉｃＯｐｔｉｏｎｓＰａｒｓｅｒ ｆｏｒ ｐａｒｓｉｎ ｇ ｔｈｅ ａｒｇｕｍｅｎｔｓ．Ａｐｐｌｉｃａｔｉｏｎｓ ｓｈｏｕｌｄ ｉｍｐｌｅｍｅｎｔ Ｔｏｏｌ ｆｏｒ ｔｈｅ ｓａｍｅ． １２／０４／１２ ０６：５４：１３ ＩＮＦＯ ｉｎｐｕｔ．ＦｉｌｅｌｎｐｕｔＦｏｒｍａｔ：Ｔｏｔａｌ ｉｎｐｕｔ ｐａｔｈｓ ｔｏ ｐｒｏｃｅｓｓ：３ １２／０４／１２ ０６：５４：１３ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：Ｒｕｎｎｉｎｇ ｊｏｂ：ｊｏｂ一２０１２０３２６１９１０＿＿０００５ １２／０４／１２ ０６：５４：１４ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：ｍａｐ ０％ｒｅｄｕｃｅ Ｏ％ １２／０４／１２ ０６：５４：４０ ＩＮＦ０ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：ｍａｐ １％ｒｅｄｕｃｅ ０％ １２／０４／１２ ０７：３１：１３ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：ｍａｐ １００％ｒｅｄｕｃｅ １００％ １２／０４／１２ ０７：３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：Ｊｏｂ ｃｏｍｐｌｅｔｅ：ｊｏｂ＿２０１２０３２６１９１０＿０００５ １２／４／１２ ０７：０３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：Ｃｏｕｎｔｅｒｓ：１９ １２／４／１２ ０７：０３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：Ｊｏｂ Ｃｏｕｎｔｅｒｓ １２／４／１２ ０７：０３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ：１２／４／１２ ０７：０３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ： １２／４／１２ ０７：０３１：２１ ＩＮＦＯ ｍａｐｒｅｄ．ＪｏｂＣｌｉｅｎｔ： Ｌａｕｎｃｈｅｄ ｒｅｄｕｃｅ ｔａｓｋｓ＝２‘ ’ ‘‘ Ｍａｐ ｏｕｔｐｕｔ ｒｅｃｏｒｄｓ＝３６９５５０９０ Ｒｅｄｕｃｅ ｉｎｐｕｔ ｒｅｃｏｒｄｓ＝３６９５５０９０ 图６实验三的ＭａｐＲｅｄｕｃｅ计算过程 可以看出，与传统的数据分析方法相比，本文提出的 以进一步提高海量数据的运算效率。 针对海量电信数据的分布式云计算方法，即基于Ｈａｄｏｏｐ 的海量电信数据云计算平台，有效地提高了海量数据分析 的速度和效率。 参考文献 １ Ｗｂｉｔｅ Ｈａｄｏｏｐ：ｔｈｅ Ｄｅｆｉｎｉｔｉｖｅ Ｇｕｉｄｅ Ｏ’Ｒｅｉｌｌｌｙ Ｍｅｄｉａ，Ｉｎｃ．，２００９ ２ 张建勋．古志民，郑超．云计算研究进展综述．计算机应用研 ５ 结束语 本文针对传统数据分析方法面对海量电信数据存在 分析效率不高的问题．提出了基于Ｈａｄｏｏｐ的分布式云计 算方法。设计了基于Ｈａｄｏｏｐ的海量电信数据云计算平台， 并对平台的部分功能进行了实现。实验表明。本文提出的 究．２０１０．２７（２）：４２９～４３３ ３施岩．云计算研究及Ｈａｄｏｏｐ应用程序的开发与测试．北京邮 电大学硕士学位论文，２０１ １ ４ Ｈａｄｏｏｐ官方网站．ｈｔｔｐ：／／ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ，２０１２ ５刘鹏，黄宜华，陈卫卫．实战Ｈａｄ０ｏｐ——开启通向云计算的捷 径．北京：电子工业出版社，２０１１ ［作者简介】黎宏剑，硕士，主要研究方向为管理信息系统； 刘恒，硕士，主要研究方向为决策支持系统与数据挖掘；黄广文， 硕士，主要研究方向为系统架构、信息系统； 立，硕士，主要研究 方向为决策支持系统与数据挖掘。 方法是有效和可行的．为进一步研究Ｈａｄｏｏｐ在海量电信 数据分析方面的应用做出了指引，在下一步的研究中．重 点讨论ＭａｐＲｅｄｕｃｅ编程模型改进和数据节点的扩展问题。 Ｓｔｕｄｙ ｏｎ Ｍａｓｓｉｖｅ Ｔｅｌｅｃｏｍ Ｄａｔａ Ｃｌｏｕｄ Ｃｏｍｐｕｔｉｎｇ Ｐｌａｔｆｏｒｍ Ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ Ｌｉ Ｈｏｎｇｊｉａｎ，Ｌｉｕ Ｈｅｎｇ，Ｈｕａｎｇ Ｇｕａｎｇｗｅｎ，Ｂｕ Ｌｉ （Ｚｈｏｎｇｓｈａｎ Ｂｒａｎｃｈ ｏｆ Ｃｈｉｎａ Ｍｏｂｉｌｅ Ｇｒｏｕｐ Ｇｕａｎｇｄｏｎｇ Ｃｏ．，Ｌｔｄ．，Ｚｈｏｎｇｓｈａｎ ５２８４０３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ Ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｄａｔａ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄｓ ｈａｖｅ ｄｉｆｆｉｃｕｌｔｙ ｉｎ ｔｈｅ ｆａｃｅ ｏｆ ｔｈｅ ｍａｓｓｉｖｅ ｄａｔａ ｍａｎａｇｅｍｅｎｔ ａｎｄ ａｎａｌｙｓｉｓ． Ｈａｄｏｏｐ ｉｓ ａ ｌａｒｇｅ－ｓｃａｌｅ ｄｉｓｔｉｂｕｔｒｅｄ ｃｏｍｐｕｔｉｎｇ ｆｒａｍｅｗｏｒｋ，ｈａｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｈｉｇｈ ｅｆｉｆｃｉｅｎｔ，ｒｅｌｉａｂｌｅ ａｎｄ ｓｃａｌａｂｌｅ，ｉｓ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ｂａｓｅｄ ｏｎ ｔｈｅ ａｎａｌｙｓｉｓ ａｎｄ ｒｅｓｅａｒｃｈ ｏｆ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｈａｄｏｏｐ，ａ ｄｉｓｔｒｉｂｕｔｅｄ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｍｅｔｈｏｄ ｉｓ ｐｒｏｐｏｓｅｄ ｉｎ ｔｈｅ ｌｉｇｈｔ ｏｆ ｍａｓｓｉｖｅ ｔｅｌｅｃｏｍ ｄａｔａ ａｎｄ ａ ｍａｓｓｉｖｅ ｔｅｌｅｃｏｍ ｄａｔａ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ ｂａｓｅｄ ｏｎ Ｈａｄｏｏｐ ｉｓ ｂｕｉｌｔ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｐｌａｔｆｏｒｍ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｏｆ ｄａｔａ ｍａｎａｇｅｍｅｎｔ ａｎｄ ａｎａｌｙｓｉｓ ｔａｓｋｓ ａｎｄ ｉｍｐｒｏｖｅ ｔｈｅ ｓｐｅｅｄ ａｎｄ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｍａｓｓｉｖｅ ｄａｔａ ａｎａｌｙｓｉｓ． Ｋｅｙ ｗｏｒｄｓ ｃｌｏｕｄ ｃｏｍｐｕｔｉｎｇ ｐｌａｔｆｏｒｍ，Ｈａｄｏｏｐ，ＭａｐＲｅｄｕｃｅ，ｍａｓｓｉｖｅ ｄａｔａ，ｔｅｌｅｃｏｍ ｏｐｅｒａｔｏｒ （收稿日期：２０１２—０５—２２）
