大数据
组件名称 | 组件版本 |
---|---|
cdh | 5.16 |
hadoop | 2.6.0 |
hbase | 1.2 |
hive | 1.1 |
kafka | 4.1 |
impala | 2.12 |
spark | 1.6 |
scala | 2.11 |
flink | 1.10.1 |
zookeeper | 3.4.5 |
大数据涉及的相关算法
算法名称 | 应用场景 |
---|---|
一致性哈希 | 分布式数据存储 |
哈希算法 | map-reduce map 溢写文件分区 |
快速排序 | map-reduce map 溢写文件 |
归并排序 | map-reduce map 文件合、reduce 获取 map 文件的合并 |
堆排序 | map-reduce reduce 文件合并 |