BlackC

ES压测工具使用esrally

发表于 2020-06-22 更新于 2021-03-21 分类于大数据

对ES集群的性能进行测试,判断程序是否有优化的空间

发表于 2020-06-19 更新于 2021-03-21 分类于大数据

架构与算法

发表于 2020-06-18 更新于 2021-03-21 分类于大数据

Flink的CK机制可以说是一个亮点,基于Chandy-Lamport算法
CK的配置在生成ExecutionGroup时就已经被设置传送门

发表于 2020-06-16 更新于 2021-03-21 分类于大数据

请注意版本问题,Flink使用的orc-core过新,对于老版本的hive并不支持,可以通过重写OrcFile类以支持低版本

发表于 2020-06-12 更新于 2021-03-21 分类于大数据

在前面的文章里StreamGraph,JobGraph以及ExecutionGraph的生成逻辑已经整理的差不多
接下来就是如何去真正执行
了解用户逻辑代码最终如何被Flink执行

发表于 2020-06-11 更新于 2021-03-21 分类于大数据

这一篇只是对于FlinkSQL创建表语句的解析，有涉及FlinkSQL源码部分可参考前面文章-FlinkSQL源码概览

发表于 2020-06-11 更新于 2021-03-21 分类于大数据

Flink本身的format.type目前支持json，avro，csv三种格式
对于涉及的源码会另开一章进行介绍

发表于 2020-06-10 更新于 2021-03-21 分类于大数据

记录一下Hive的配置参数漏配的严重后果

发表于 2020-06-08 更新于 2021-03-21 分类于大数据

整理下Flink1.11有什么新的功能,以及坑,只有自己用到的

发表于 2020-06-05 更新于 2021-03-21 分类于大数据

整理下步骤,以防手忙脚乱