数仓项目

数仓项目题目：电商交易域模型建设&用户主题资产建设 项目流程： 1.交易数据接入： 完成数据源到数仓的数据接入，完成ODS层的交易数据同步。 2.交易数据明细层模型建设： DWD&DWM：按照电商交易业务流程SOP划分完成相应内容类型的数据域建设，梳理清楚模型设计5要素（数据域、粒度、维度、度量、事实），构建总线矩阵，完成明细层转换、解析清洗，并维度退化，合并成大宽表，包括：交易域
#数仓项目

datawarehouse

数仓知识1.什么是数据仓库 数据仓库是面向主题的（主要用于业务分析），集成的（将多源数据集成在一起），相对稳定的（数据进入到数据仓库中不易发生改变），随时间变化（随着时间发展，数据仓库中存留的数据会越来越多）的数据集合。 2.数仓建模有哪几种方式 ER建模（范式建模）、维度建模、Data Vault建模、Anchor建模，其中ER和维度是主流建模，ER建模常用于关系数据库，维度建模常用于数仓建模。
#数仓知识

SparkRDD

SparkRDD概念1.采用装饰器设计模式，层层包装，类似于传输管道，本身不保留数据 2.类似于Java String这样的工具类 3.Spark基于MR设计，操作文件的类都采用MapReduce设计，因此SparkRDD的分区是依赖MapReduce的切片规则实现的。 在简单内存数据读取的过程中，分区按三个规则走，首先检查是否规定了任务的分区数，若没有则检查默认分区配置，没有则再采用分配的线程核
#spark

大数据开发之路-读书

大数据之路1. 日志数据采集1.1 浏览器的页面日志采集浏览器页面采集往往分为两部分： （1）页面浏览日志：分为页面浏览量PV和页面访客数UV ​ 将JavaScript脚本植入到HTML文档内，当页面被浏览器解析的过程中自动执行 ​ 采集后，大多数情况会立即执行发送，发送到日志服务器 ​ 日志服务端收到日志后立即做出回复 ​ 服务端解析日志并进行存档 （2）页面交互日志：记录用户在页面上与控件互
#读书