大数据实践之路：数据中台+数据分析+产品应用 电子书 pdf 百度云 下载 epub 2025 免费 mobi 在线

本书共13 章，汇集了7 位作者（来自各大互联网企业）的知识总结和经验分享。本书借助老汤姆、小风、阿北、小诺在某电商企业数据部门工作的故事，通过大量案例深入浅出地介绍了数据中台建设与应用之路。本书以Why-What-How 的思路展开，从0 到1 介绍知识点，并重点讲述How 的过程，同时结合某个场景下的具体案例，以使读者 好地理解实操过程。每个企业都会面临各种各样的数据问题，有数据质量的问题、数据获取效率的问题、数据应用价值的问题等。本书首先介绍数据中台的建设，确保数据的质量，为企业的数据质量体系建设提供坚实的基础；然后，进行偏向深入业务的分析探索，介绍如何从数据分析角度 好地赋能业务发展； ，介绍数据应用，解决数据获取效率的问题，并把一些分析思路和业务策略沉淀为数据产品，从而 好地将数据应用于业务。本书结合各大互联网企业的实际项目案例，让读者真正掌握数据产品经理这个新兴职业的 技能和核心能力。

章 那些困扰我们的数据问题 ??????????????????????????????????????????????????????????1

1.1 数据质量的问题 ....................................................................................... 1

1.2 数据获取效率的问题 ............................................................................... 5

1.3 数据应用价值的问题 ............................................................................... 8

数据中台篇

第2 章 元数据中心 ?????????????????????????????????????????????????????????????????????????? 15

2.1 元数据中心概述 ..................................................................................... 16

2.2 元数据中心的核心功能 ......................................................................... 17

2.2.1 数据整合 ..................................................................................... 17

2.2.2 数据管理 ..................................................................................... 19

2.2.3 数据地图 ..................................................................................... 25

第3 章 数据指标中心 ??????????????????????????????????????????????????????????????????????? 29

3.1 数据指标中心概述 ................................................................................. 30

3.2 数据指标中心的设计思路 ..................................................................... 30

3.2.1 定义指标并将其归集到对应的主题域 ....................................... 30

3.2.2 拆分原子指标与派生指标 .......................................................... 31

3.2.3 定义原子指标与派生指标的生产逻辑 ....................................... 32

3.2.4 通过指标管理平台对指标进行规范生产 ................................... 33

第4 章 数仓模型中心 ??????????????????????????????????????????????????????????????????????? 37

4.1 数仓模型中心概述 ................................................................................. 38

4.2 数仓模型中心的设计思路 ..................................................................... 39

4.2.1 控制数据源 ................................................................................. 39

4.2.2 划分主题域 ................................................................................. 39

4.2.3 构建一致性维度 ......................................................................... 41

4.2.4 构建总线矩阵 ............................................................................. 42

4.2.5 数仓分层建设 ............................................................................. 42

4.2.6 数仓效果评估 ............................................................................. 43

第5 章 数据资产中心 ??????????????????????????????????????????????????????????????????????? 47

5.1 数据资产中心概述 ................................................................................. 48

5.2 数据资产中心的治理流程 ..................................................................... 49

5.2.1 数据资产定级 ............................................................................. 49

5.2.2 数据资产质量治理 ..................................................................... 52

5.2.3 数据资产成本治理 ..................................................................... 56

第6 章 数据服务中心 ??????????????????????????????????????????????????????????????????????? 61

6.1 数据服务中心概述 ................................................................................. 62

6.2 数据服务中心的设计思路 ..................................................................... 62

6.2.1 将数据写入查询库 ..................................................................... 62

6.2.2 搭建元数据模型 ......................................................................... 63

6.2.3 按主题归类 ................................................................................. 65

6.2.4 缓存优化 ..................................................................................... 65

6.2.5 数据接口化 ................................................................................. 67

6.2.6 构建API 集市 ............................................................................. 68

6.2.7 统一数据服务 ............................................................................. 68

数据分析篇

第7 章 数据分析理论 ??????????????????????????????????????????????????????????????????????? 73

7.1 业务和数据 ............................................................................................ 73

7.1.1 业务和数据的闭环 ..................................................................... 74

7.1.2 不同岗位的职责边界与合作 ...................................................... 75

7.1.3 数据、信息和知识 ..................................................................... 75

7.1.4 业务策略的闭环 ......................................................................... 77

7.1.5 人人都会数据分析的趋势 .......................................................... 78

7.2 数据分析师的全貌 ................................................................................. 79

7.2.1 数据分析的定义与流程 .............................................................. 79

7.2.2 数据分析的3 种场景 .................................................................. 82

7.2.3 数据分析师的核心能力 .............................................................. 84

7.2.4 数据分析师的职业素养 .............................................................. 85

7.2.5 数据分析师的工作内容 .............................................................. 86

7.2.6 数据分析师的考核 ..................................................................... 86

7.3 数据分析团队的组织架构及其对应的工作模式 ................................... 88

7.3.1 数据分析团队的组织架构 .......................................................... 88

7.3.2 不同组织架构的工作模式 .......................................................... 89

7.4 数据分析师的工作方式 ......................................................................... 90

7.4.1 工作象限图 ................................................................................. 91

7.4.2 1+N 的工作内容 ......................................................................... 91

7.4.3 与业务方的合作模式 .................................................................. 92

7.4.4 有关工作方式常见问题的解法思考 ........................................... 94

第8 章 数据分析实操 ??????????????????????????????????????????????????????????????????????? 97

8.1 预测性分析 ............................................................................................ 97

8.1.1 预测性分析的目的 ..................................................................... 98

8.1.2 分析思路与方法 ......................................................................... 99

8.1.3 预测性分析案例 ......................................................................... 99

8.2 描述性分析 .......................................................................................... 101

8.2.1 描述性分析的目的 ................................................................... 101

8.2.2 分析思路与方法 ....................................................................... 102

8.2.3 描述性分析案例 ....................................................................... 103

8.3 诊断性分析 .......................................................................................... 104

8.3.1 诊断性分析的目的 ................................................................... 105

8.3.2 分析思路与方法 ....................................................................... 105

8.4 数据分析报告 ...................................................................................... 110

8.4.1 数据分析报告的定位 ................................................................ 110

8.4.2 预测性分析报告的结构 ............................................................ 111

8.4.3 描述性分析报告的结构 ............................................................ 111

8.4.4 诊断性分析报告的结构 ............................................................ 112

数据应用篇

第9 章 BI 系统 ??????????????????????????????????????????????????????????????????????????????? 117

9.1 让人头疼的看板需求 ........................................................................... 117

9.2 BI 系统介绍 ......................................................................................... 119

9.2.1 什么是BI 系统 ......................................................................... 119

9.2.2 BI 系统有哪些 .......................................................................... 119

9.2.3 BI 系统的相关人员................................................................... 120

9.2.4 BI 系统的特点 .......................................................................... 121

9.3 BI 系统的关键技术 .............................................................................. 122

9.4 BI 系统实践 ......................................................................................... 124

9.4.1 数据接入 ................................................................................... 125

9.4.2 数据集加工 ............................................................................... 127

9.4.3 数据集权限控制 ....................................................................... 129

9.4.4 可视化报表配置 ....................................................................... 130

9.4.5 可视化结果展示 ....................................................................... 136

9.4.6 数据分析OLAP ........................................................................ 137

9.4.7 如何衡量BI 系统是否成功 ...................................................... 142

0 章 用户画像 ?????????????????????????????????????????????????????????????????????????? 143

10.1 用户画像的全貌 ................................................................................. 143

10.1.1 初识用户画像 ......................................................................... 144

10.1.2 基本概念 ................................................................................. 145

10.1.3 用户画像体系建设 .................................................................. 146

10.1.4 人员配合流程 ......................................................................... 149

10.2 用户画像的需求 ................................................................................. 150

10.2.1 对内需求盘点 ......................................................................... 151

10.2.2 对外竞品调研 ......................................................................... 156

10.3 用户画像的规划 ................................................................................. 158

10.3.1 用户画像的业务架构 .............................................................. 158

10.3.2 用户画像的产品架构 .............................................................. 159

10.3.3 用户画像的版本计划 .............................................................. 162

10.3.4 用户画像的项目执行计划 ...................................................... 163

10.4 用户ID 体系 ...................................................................................... 164

10.4.1 方法 ........................................................................................ 164

10.4.2 实施过程 ................................................................................. 166

10.5 标签体系 ............................................................................................ 167

10.5.1 标签分类 ................................................................................. 168

10.5.2 标签分级 ................................................................................. 175

10.6 用户画像系统..................................................................................... 177

10.6.1 概述 ........................................................................................ 177

10.6.2 首页 ........................................................................................ 178

10.6.3 洞察 ........................................................................................ 179

10.6.4 标签广场 ................................................................................. 180

10.6.5 人群 ........................................................................................ 181

10.6.6 系统管理 ................................................................................. 183

10.6.7 总结 ........................................................................................ 183

10.7 用户画像的应用 ................................................................................. 183

1 章 电商反作弊体系 ????????????????????????????????????????????????????????????????? 189

11.1 “网络黑产”的现状 ......................................................................... 189

11.1.1 “网络黑产薅羊毛”事件 ...................................................... 189

11.1.2 “网络黑产”的类型 .............................................................. 190

11.1.3 电商“薅羊毛”场景 .............................................................. 191

11.1.4 “网络黑产”的发展趋势 ...................................................... 192

11.1.5 “网络黑产”的 ...................................................... 192

11.2 “网络黑产”的防控方案 .................................................................. 194

11.2.1 活动的损失评估...................................................................... 194

11.2.2 反“网络黑产”作弊案例 ...................................................... 194

2 章 内容个性化推荐 ????????????????????????????????????????????????????????????????? 201

12.1 资讯的内容处理 ................................................................................. 201

12.1.1 资讯的内容来源 ..................................................................... 202

12.1.2 资讯的分类体系 ..................................................................... 203

12.1.3 常见的分类问题及内容分类原则 ........................................... 205

12.1.4 分类体系的构建 ..................................................................... 206

12.1.5 内容的标注与机器学习 .......................................................... 208

12.2 资讯用户的画像和特征 ..................................................................... 209

12.2.1 资讯用户的画像 ..................................................................... 209

12.2.2 资讯用户的特征 ..................................................................... 209

12.3 资讯的 算法 ................................................................................. 211

12.3.1 资讯的信息抽取 ..................................................................... 211

12.3.2 资讯的分词方法 ..................................................................... 212

12.3.3 资讯的过滤排重 ..................................................................... 213

12.3.4 资讯的召回模型 ..................................................................... 214

12.3.5 资讯的算法排序 ..................................................................... 216

12.4 资讯的重排策略及案例 ..................................................................... 216

12.4.1 常见的重排策略及策略的目标 ............................................... 216

12.4.2 资讯的重排策略案例 .............................................................. 217

3 章 电商个性化推送 ????????????????????????????????????????????????????????????????? 221

13.1 push 的衡量 ........................................................................................ 222

13.1.1 push 的目标与本质 ................................................................. 222

13.1.2 push 的衡量指标 ..................................................................... 222

13.2 push 的优化方向 ................................................................................ 223

13.2.1 效率高 .................................................................................... 223

13.2.2 算法准 .................................................................................... 224

13.2.3 好 .................................................................................... 226

13.2.4 展示靓 .................................................................................... 227

13.3 push 的 案例 ................................................................................ 228

13.3.1 新用户 方案 ..................................................................... 228

13.3.2 的效果评测 ..................................................................... 232

林泽丰，笔名小风，某国有企业的数据中台产品负责人。UBDC全域大数据峰会“灯塔人物”，“友盟杯”数据大赛三等奖获得者，公众号“一个数据人的自留地”的课程讲师。在电商、社交、交通、直播等领域担任过产品、运营、数据等部门的负责人，有7年多的互联网从业经验。跨领域、跨部门实战经验丰富，曾从0到1搭建过企业数据中台、大数据平台、智能营销平台，擅长埋点模型设计、指标质量治理、数仓架构、数据运营等。许秋贵，笔名阿北，贝壳找房的 数据分析师，毕业于东北农业大学。在校期间 开发了校园拼车等应用，帮助大学生拼车省钱出行。曾就职于百度、滴滴等互联网“大厂”，有多年数据分析经验。陈斌，笔名小诺，某互联网“大厂”的策略产品经理，毕业于大连东软信息学院。人人都是产品经理网站的“20年度热文作者”，公众号“一个数据人的自留地”的联合创办人。先后就职于百度、小米，在搜索引擎、资讯、电商等领域从事过搜索、 、BI、画像、反作弊、消息触达等产品工作，涉猎范围较广，经验丰富。陈丽媛，笔名草帽小子，自如画像数据产品经理，拥有两项发明专利。人人都是产品经理网站的专栏作家，公众号“一个数据人的自留地”联合创办人。在用户画像、数据埋点、指标体系、BI等方面具有丰富的实战经验，所著系列文章深受广大读者喜爱。

暂无出版社相关信息，正在全力查找中！

小诺在完成需求阶段的梳理之后，其状态焕然一新，从 开始的大脑一片空白，变成现在成竹在胸的状态。要做好用户画像的规划，需要紧抓整体规划，绘制蓝图，自上而下地梳理业务架构和产品架构。10.3.1 用户画像的业务架构从框架层来看，梳理清楚用户画像的业务架构，有助于产品经理清晰地了解用户有哪些，需要解决用户的什么问题，产品的价值、产品的功能优先级，以及要完成这个产品需要投入哪些资源。 下面我们来看如何采用六层次方法梳理用户画像的业务架构，如图10-11所示。 图10-11用户画像的业务架构围绕两个方面展开：一方面是用户需求，用户在什么场景下使用用户画像、解决什么问题，或者说使用用户画像给用户带来了哪些价值；另一方面是用户画像实现，要实现用户画像需要哪些资源、需要哪些部门协同配合。1．用户场景价值层我们要明确目标用户，要清晰地知道用户画像体系是给谁用的。通常，用户画像体系的目标用户有精准营销人员、产品经理、搜索 人员、用户运营人员、客服人员等。用户画像体系的应用场景包括精准广告投放、个性化推荐、智能运营、客服话术分级等。 2．产品运营资源层（1）产品/服务层：产品/服务层要梳理清楚用户在哪些场景使用用户画像。这样，用户画像能提供的核心功能就会变得十分清晰。其核心在于数据采集、用户ID标识、标签管理、用户画像系统。 （2）运营管理层：运营管理层要实现这个庞大的用户画像体系，需要多方协作完成。在组织层面，组织包括产研团队、运营团队；在绩效层面，需要分析清楚组织的绩效目标（职能绩效目标、业务绩效目标），多方协作发力；在系统层面，需要列举出与用户画像体系相关联的系统（push/短信系统）；在流程层面，需要考虑研发流程、用户画像体系与其他业务系统的对接流程。（3）资源层：资源层需要考虑由哪些人员来做、数据采集预算和服务器资源预算是多少、需要哪些数据资源、是否需要购买第三方数据等。 10.3.2 用户画像的产品架构业务架构比较宏观，并注重自上而下，从业务场景应用层面来进行整体架构的搭建；而产品架构则 注重落地，从自下而上地盘点清楚数据现状角度来建设用户画像体系，以满足核心业务场景的需要。用户画像的产品架构如图10-12所示。 图10-121．数据采集层数据采集讲究大而全，要想 全面地描绘用户画像，我们需要想方设法采集与用户相关的所有数据。（1）

业务数据：伴随着业务产生，包括用户的基础信息，用户在平台上的购买业务数据、评价数据等。（2）

埋点行为数据：通过埋点的方式采集到的一些行为数据，如浏览数据、点击数据、停留时长等。（3）

日志数据：一般是Web端日志记录的数据。（4）

第三方数据：在业务线较为单一的情况下，能拿到的用户数据不多，这时我们可以考虑接入第三方数据。2．ETL对一些不符合标准的数据进行抽取、清洗、转换、装载，得到标准数据。3．数据分析与挖掘层对标准数据进行标签建模，得到具有商业价值的标签。（1）

统一用户ID标识：很多人不了解用户ID标识，在用户画像体系建设之初，往往会漏掉这个关键步骤。举个简单的例子，是一个拥有多条业务线的企业，其业务涉及电商、金融、广告、文化、教育、娱乐、设备和社交等领域。若消费者路飞在 上进行了基金理财操作，同时在钉钉上发布了自己的动态，并在上浏览了棉花糖商品。在这个过程中，路飞登录了不同的账号，你如何把这些行为关联到路飞身上呢？这个问题留给读者自己去思考吧。（2）

用户档案建设：前期可进行数仓主题层的建设，将与用户相关的表汇集在一起，建设一个用户集市，包括用户基础信息表、用户行为表、用户交易行为表等基础表。 （3）

标签建模：计算不同类型的标签，如事实类标签、规则类标签、预测类标签。 （4）

标签宽表存储：主要将标签数据统一落在几个大宽表中，如用户基础信息宽表、用户行为宽表、用户偏好宽表等。 4．服务层服务层需描述清楚用户画像体系能对外提供的服务，包括业务服务和系统服务两大类。（1）

业务服务：包括用户画像系统需具备的能力，如画像看板、单用户画像、群体用户画像、相似性人群拓展、标签市场、人群洞察、标签管理（如标签上下架、标签规则）等。 （2）

系统服务：主要为接口服务，将用户分群以接口的形式对接至各个业务系统。在绘制完用户画像蓝图之后，接下来我们需要制订切实可行的项目计划、梳理版本等，以便后续申请相关资源。5．应用层用户画像应用为整个用户画像体系中十分重要的一环，用户画像服务可对接广告投放系统，支持广告精准投放，提升广告投放转化率；可对接营销系统，支持个性化营销信息推送；可对接 系统，支持个性化推荐；可对接用户分析平台，深度洞察用户行为，拓展现有商机或挖掘新的商业机会。10.3.3 用户画像的版本计划用户画像体系的建设涉及面很广，无法一蹴而就，应当循序渐进。在制订用户画像的版本计划的过程中，我们既需要结合业务当前的需要，争取快、准、狠地在业务上有所应用，又需要考虑系统基础建设，如此才能走得 快、 远。 用户画像的版本计划可分阶段进行，设定每个版本的目标及进度计划，如V1.0、V2.0、V3.0的建设目标、迭代时间等，如图10-13所示。并依照“二八定律”，建设MVP版本，先推出一版，快速满足业务需要。

在线阅读地址：大数据实践之路：数据中台+数据分析+产品应用在线阅读

在线听书地址：大数据实践之路：数据中台+数据分析+产品应用在线收听

在线购买地址：大数据实践之路：数据中台+数据分析+产品应用在线购买

暂无原文赏析，正在全力查找中！

书籍介绍

《大数据实践之路：数据中台+数据分析+产品应用》共13 章，汇集了7 位作者（来自多个大型互联网企业）的知识总结和经验分享。本书借助老汤姆、小风、阿北、小诺在某电商企业数据部门工作的故事，通过大量案例深入浅出地介绍了数据中台建设与应用之路。本书以Why-What-How 的思路展开，从0 到1 介绍知识点，并重点讲述How 的过程，同时结合某个场景下的具体案例，以使读者更好地理解实操过程。

每个企业都会面临各种各样的数据问题，有数据质量的问题、数据获取效率的问题、数据应用价值的问题等。本书首先介绍数据中台的建设，确保数据的质量，为企业的数据质量体系建设提供坚实的基础；然后，进行深入业务的分析探索，介绍如何从数据分析角度更好地赋能业务发展；最后，介绍数据应用，解决数据获取效率的问题，并把一些分析思路和业务策略沉淀为数据产品，从而更好地将数据应用于业务。本书结合多个大型互联网企业的实际项目案例，让读者真正掌握数据产品经理这个新兴职业的必备技能和核心能力。

本书主要面向数据产品经理，数据分析师、数据运营人员等数据行业从业者也可以在本书中找到一些思路和方法，如了解数据的应用、掌握分析方法等。本书也可以为想转行做数据产品经理的读者提供帮助。