# e-commerce

**Repository Path**: Nube/e-commerce

## Basic Information

- **Project Name**: e-commerce
- **Description**: flink-电商用户行为数据分析
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2021-03-18
- **Last Updated**: 2021-05-12

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

#### 介绍

基于Flink的电商平台用户行为数据分析系统，采用了天池提供的数据集，地址：https://tianchi.aliyun.com/dataset/dataDetail?dataId=649

#### e-commerce-message-producer

循环读取数据集文件（从上面的地址中下载的数据集）的一行并进行预处理（更新时间戳以及添加省份ID），模拟生成用户行为数据，最后发送到Kafka指定的Topic上。

#### e-commerce-data-analysis

使用Flink，从Kafka中订阅指定topic，读取用户行为数据，执行计算，最后将结果写入到HBase中

#### e-commerce-data-supply

使用SpringBoot编写的数据接口，从HBase中获取计算结果。

#### e-commerce-data-show

使用Vue、element-ui、v-charts编写的前端应用，将获取到的数据以图表的形式进行展示。

#### environment

环境配置目录，其中shell目录用于存放脚本文件：

- build-env.sh	用于构建初始环境，主要是创建docker镜像
- start-container.sh	用于启动所有容器，启动容器后需要进入到hadoop-master容器启动hadoop（start-dfs.sh && start-yarn.sh） ，如果是首次使用hadoop还需要使用`hdfs namenode -format`命令进行初始化），然后进入到hbase1容器启动hbase（start-hbase.sh）
- stop-container.sh	用于关闭所有容器

注意：

- 需要配置本机hosts文件，将各docker容器的ip地址添加进去才可以正常使用

- HBase建表相关命令：

  ```shell
  create 'user','count','convert','info'
  create 'platform_daily','count'
  create 'platform_hourly','count'
  create 'user_daily','count'
  create 'user_hourly','count'
  ```