大数据治理

内容简介

大数据将打开各行各业的数据“潘多拉魔盒”。
　　社交网站、电商巨头、电信运营商乃至金融、医疗、教育等行业，都将加入大数据的“淘金”热潮，政府部门同样会从大数据中获益匪浅。如何将海量数据应用于决策、营销和产品创新？如何利用大数据平台优化产品、流程和服务？如何利用大数据更科学地制定公共政策、实现社会治理？所有这一切，都离不开大数据治理。可以说，在大数据战略从顶层设计到底层实现的“落地”过程中，治理是基础，技术是承载，分析是手段，应用是目的。桑尼尔·索雷斯的《大数据治理》的翻译出版，正当其时。
　　《大数据治理》一书较好地满足了理解大数据治理框架的需要，系统地阐述了大数据治理的各个版块，分析了五大类大数据的治理，考察了大数据治理在典型行业的实践，并深入浅出地介绍了当今主流的大数据技术与平台。该书具有一定的可参照性、可操作性和可读性，是大数据治理领域值得一读的参考书。

目录

第一部分　开篇
　第1章　大数据治理概述
　第2章　大数据治理的框架
　　2.1 大数据类型
　　2.2 信息治理准则
　　2.3 大数据治理的产业和功能场景
　第3章　成熟度评估
　　3.1 IBM信息治理委员会的成熟度模型
　　3.2 评估成熟度的示例问题
　第4章　业务案例
　　4.1 通过大数据治理，提高运营实时性和旅客安全度
　　4.2 量化大数据治理对客户隐私的财务影响
　　4.3 通过治理大数据生命周期，降低IT成本
　　4.4 评估数据质量和主数据对大数据计划的影响
　　4.5 计算大数据质量的价值
　第5章　路线图
　　5.1 路线图案例研究
第二部分　大数据治理准则
　第6章　大数据治理的组织
　　6.1 绘制关键流程图并建立职责分配模型，以识别大数据治理中的利益攸关者
　　6.2 确定新角色和既有角色的适当组合
　　6.3 酌情任命大数据主管
　　6.4 在传统信息治理角色的基础上，酌情增加大数据责任
　　6.5 建立承担包括大数据在内的责任混合式信息治理组织
　第7章　元数据
　　7.1 创建一个体现关键大数据术语的业务定义的词库
　　7.2 理解对ApacheHadoop中元数据的持续支持
　　7.3 对业务词库中的敏感大数据进行标记
　　7.4 从相关的大数据存储中输入技术元数据
　　7.5 将相关的数据源与业务词库中的术语进行链接
　　7.6 使用运营元数据监测大数据的流动
　　7.7 保留技术元数据，以支持数据血统和影响分析
　　7.8 从非结构化文件中采集元数据，支持企业搜索
　　7.9 扩展既有的元数据角色，将大数据纳入其中
　第8章　大数据隐私
　　8.1 识别敏感的大数据
　　8.2 对元数据库中的敏感大数据进行标记
　　8.3 应对国家、州（省）层面的隐私立法和隐私限制
　　8.4 管理个人数据跨国界流动的情况
　　8.5 监控特权用户对敏感大数据的访问
　第9章　大数据质量
　　9.1 与商业上的利益攸关者协作，建立并测度大数据质量的置信区间
　　9.2 利用准结构化和非结构化数据，提高人口稀疏的结构化数据的质量
　　9.3 使用流数据分析技术解决内存中的数据质量问题，无须将中间结果输入硬盘
　　9.4 任命对信息治理委员会负责的数据主管，由其负责提高测度的质量
　第10章　业务流程整合
　　10.1 识别将会受到大数据治理影响的关键流程
　　10.2 建立关键活动的流程图
　　10.3 针对业务流程中的关键步骤，制定大数据治理政策
　第11章　主数据整合
　　11.1 提高主数据的质量，以支持大数据分析
　　11.2 利用大数据提高主数据的质量
　　11.3 提高关键参考数据的质量和一致性，以支持大数据治理计划
　　11.4 审视社交媒体平台政策，以确定与主数据管理整合的程度
　　11.5 从非结构化文本中挖掘有用信息，以丰富主数据
　第12章　管理大数据的生命周期
　　12.1 基于规制和业务要求，扩展保留时间表，将大数据包含其中
　　12.2 提供法律保留区，并支持电子证据展示（eDiscovery）
　　12.3 压缩大数据并将其存档，降低IT成本，提高应用绩效
　　12.4 管理实时流数据的生命周期
　　12.5 保留社交媒体记录，以符合规制要求，并支持电子证据展示
　　12.6 基于规制和业务要求，正当合理地处置不再需要的大数据
第三部分　大数据的类型
　第13章　Web和社交媒体数据
　　13.1 在制定有关客户社交媒体数据的可接受使用的政策时，考虑不断变化的规制和习俗
　　13.2 制定有关雇员和求职者社交媒体数据的可接受使用的政策
　　13.3 利用置信区间评估社交媒体数

摘要与插图

第1章大数据治理概述当下，数据正在将我们淹没。蔚为壮观的数据，来自于社交媒体、电话GPS信号、公用事业智能仪表、RFID标签、数字图片和其他数据源中的在线视频。
　　IDC宣称，2011年，数字世界的信息量超过1.8ZB(泽字节，1.8亿GB)，预计将以每两年翻番的速度增长。
　　大部分数据可视为大数据。谈到大数据，通常以“3V”——体量(Volume)、速度(Velocity)和多样性(Variety)概括其特征。我们增加了一个“V”(Value)，代表数据的价值。以下是对这四个特征的简单描述：体量(数据的静态描述)。大数据通常具有较大体量。企业被数据堆砌，很容易积攒TB(太字节)级和PB(拍字节)级的信息，甚至在将来可轻易积攒ZB级的信息。
　　速度(数据的动态描述)。通常具有时间敏感性，流数据的分析必须以毫秒计，以支撑实时决策。
　　多样性(数据的多格式化)。大数据包括结构化数据、准结构化数据和非结构化数据，如电子邮件、音频、视频、点击流、日志文档和生物计量学数据。
　　价值(数据的经济有效性)。组织正在努力以经济有效的方式从大数据中获得洞察力。这正是ApacheHadoop等开源技术大行其道的原因所在。本书后续章节中详细介绍的Hadoop，是一种以经济有效的方式处理成百上千台计算机中的大数据集的软件。
　　组织必须治理全部大数据，由此引出了本书的主题。我们将大数据治理定义如下：大数据治理是广义信息治理计划的一部分，即制定与大数据有关的数据优化、隐私保护与数据变现的政策。
　　我们将上述大数据治理的定义分解为以下部分：(1)大数据是广义信息治理计划的一部分。信息治理机构必须采取以下措施，以将大数据整合到既有的信息治理框架中：扩展信息治理宪章的外延，将大数据治理纳入其中；拓宽信息治理委员会成员的范围，将数据科学家等大数据的用户吸纳进来；任命处理社交媒体等特定大数据的主管；将大数据与元数据、隐私、数据质量和主数据等信息治理准则结合。
　　(2)大数据治理关乎政策制定。政策包括人们在特定情形下如何作为的成文和非成文的宣告。譬如，大数据治理政策可能申明，未经顾客知情并同意，组织不得将顾客的Facebook资料整合到其主数据记录中。
　　(3)大数据必须优化。考虑一下组织是如何将现实世界的准则应用到大数据治理中的。公司设计了精致的企业资产管理计划，对机器、飞机、交通工具和其他资产进行妥善管理。与对实物资产进行登记类似，组织必须对大数据进行如下优化：元数据——建立大数据类别信息数据质量管理——像公司对实物资产进行定期检修一样，定期净化大数据。
　　信息生命周期管理——对大数据进行存档，并在没必要继续保存某些数据时，将其删除。
　　(4)大数据隐私至关重要。组织同样必须建立旨在防止大数据误用的适当政策。组织在处理社交媒体、地理定位、生物计量学和其他形式的个人可识别信息(PII)时，必须考虑涉及的声誉、规制和法律风险。
　　(5)大数据必须变现。所谓变现，就是将数据等资产转化为现金的过程，变现的方式可以是将数据卖给第三方，也可以是利用数据开发新的服务。在传统的会计准则下，不允许公司在平衡报表中将信息视同为财务资产，除非信息是从外部来源购买的。尽管传统的会计处理趋于保守，但在当下，公司意识到，必须将大数据视为具有财务价值的企业资产。例如，运营部门可以通过传感器数据，根据定期检修计划，提高设备正常运行时间。呼叫中心可以分析客户代表的记录，通过了解顾客呼叫的原因，降低呼叫量。此外，商可以使用主数据激活Facebook的应用程序，提升顾客忠诚度。
　　……P3-5