2025-03-02 13:03:56
523
326
经过分析我发现我们这边的分区是以月维度划分的，而且bucket的个数为2，这样每次写入数据的时候，就会把一个月的的数据的索引加载到内存中，这样就会导致BE的内存占用越来越大，除此之外，我们的业务场景就是会 更新 以往 的历史数据，且这样类似的任务有很多。我们的表结构是主键表。在Flink Yaml CDC 任务往 Starrocks写数据的过程中，突然遇到了。本文基于 StarRocks 3.3.5。可以通过如下命令查看 索引所占用的内存。所以我们进行了bucket调整，内存占用节约了5GB。
2024-10-27 22:10:16
747
228
索引创建之后，等于有了关系型数据库中的Database，Elasticsearch7.x取消了索引type类型的设置，不允许指定类型，默认为_doc，但字段仍然是有的，我们需要设置字段的约束信息，叫做字段映射（mapping）主要注意的是：修改映射只能是增加字段的操作，其他的更改只能删除索引重新建立索引来实现。文档，即索引库中的数据，会根据规则创建索引，将用来搜索，可以类比做数据库中的一行数据。实际上创建索引和映射是可以放到一起来做的， 在创建索引的同时，直接指定映射。_elasticsearch17 建立索引
2024-06-16 09:06:45
867
587
以上，介绍了Flink 支持的数据格式中的csv和json，并分别以sql和table api作为示例进行了说明。本文介绍了Flink 支持的数据格式中的csv和json，并分别以sql和table api作为示例进行了说明。本文的示例是在Flink 1.17版本（flink 集群和maven均是Flink 1.17）中运行。参考上文中关于CSV Format的table api 建表示例，变化的是json的格式参数。下表列出了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。_flink 的 formats 之csv 和 json format