flink-沧海月明

解决了什么问题，做了什么优化

累计撰写 166 篇文章
累计创建 38 个标签
累计收到 1 条评论

目录CONTENT

以下是 flink 相关的文章

2025-08-06
apache.Flink - prcess函数 Process方法和ProcessFunction 在 Apache Flink 中，ProcessFunction 是一个低层次、功能强大的流处理 API，它提供了对数据流处理的细粒度控制。它是构建更复杂流处理逻辑的基础工具，主要作用包括：复杂事件处理：例如，需要跨多个事件进行状态跟踪（如会话窗
- 2025-08-06
- 1
- 0
- 0
- 大数据组件
2025-07-22
大数据组件的常用命令 Yarn 查看yarn日志：yarn logs <applicationid> HDFS hdfs检索对应目录：hdfs dfs -ls <HDFSpath> hdfs上传文件到对应目录：hdfs dfs -put /opt/test.txt <HDFSpath> Hive 创建表：create t
- 2025-07-22
- 2
- 0
- 0
- 大数据组件
2025-07-09
apache.Flink - 时间和窗口 Flink中的时间语义事件时间和处理时间为什么要研究Flink中的时间意义？对于一个流式系统，要求数据处理实时性，尤其是Flinkh中的keyBy操作，如果要求对时间做分类，例如处理8~9点的数据，就可能产生如下场景：一条数据生成是8:59:59，到达Flink节点1的时间是9:00:01，
- 2025-07-09
- 4
- 0
- 0
- 大数据组件
2025-07-07
【实践】pulsar+flink流式架构目标：搭建一个简单的流式框架，处理Pulsar中topicA的信息，处理后转发至topicB，其中： topicA中的一条message是一行行数据组成的list 处理后的结果应该是一行数据对应一个HandleResult，也以一条message的形式下发构建FLink项目引入pom依赖 <pr
- 2025-07-07
- 3
- 0
- 0
- 大数据组件
- 技术实践
2025-07-07
apache.Flink - 富含数类、sink算子富含数类 map算子、Filter算子、reduce算子等都可以使用富含数类作为算子，富含数类是增强型函数接口，为数据处理逻辑提供了生命周期管理和状态访问能力。它们是构建复杂流处理应用的关键基础富函数类一般以抽象类形式存在，例如RichMapFunction、RichFilterFunction、
- 2025-07-07
- 4
- 0
- 0
- 大数据组件
2025-06-27
apache.flink - 转换算子、聚合算子转换算子转换算子的作用是对一条流进行转换、分流合流转换，把流变成新的流 map - 单流转换算子一一映射，示例如下： // 从元素种读取数据 DataStreamSource<Event> stream = env.fromElements(new Event("Mary", "./home",
- 2025-06-27
- 3
- 0
- 0
- 大数据组件
2025-06-26
apache.flink - 环境和源算子获取执行环境 getExecutionEnvironment // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 流处理环境 StreamExecutionEnvironment
- 2025-06-26
- 6
- 0
- 0
- 大数据组件
2025-06-26
apache.flink - flink的javaAPI 编写实例场景一、使用DataSetAPI做批处理 // 1、获取运行环境和数据源 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // 1.1 DataSource类读取txt，返回的是数据流，
- 2025-06-26
- 9
- 0
- 0
- 大数据组件
2025-06-25
Flink基础 Flink是什么流式处理、事件驱动、实时管道、数据处理 Flink处理的框架如下：对于批和流的概念：批处理：攒一批处理一次，hadoop、spark；流处理：来一个
- 2025-06-25
- 2
- 0
- 0
- 大数据组件
2025-05-05
【实践】windows系统flink集群搭建使用windows快捷搭建起一个单机flink 首先找到apache.flink的镜像包官网，选择需要的版本https://archive.apache.org/dist/flink/ 解压到本地后获得一个flink目录，找到
- 2025-05-05
- 33
- 0
- 0
- 大数据组件
- 技术实践