2025-03-05 18:03:11
872
243
【技海登峰】Kafka漫谈系列（四）基于Kraft模式实现Kafka集群部署与配置：本文主要介绍了Zookeeper模式与Kraft模式的区别与特点，并详细说明了如何基于Kraft模式搭建及配置Kafka集群环境，最后列举了一些常用的Kafka脚本命令及实践。
2025-03-05 18:03:10
404
570
这是 Kafka 中最严格的消息确认机制，确保消息不会丢失。尽管 Kafka 本身设计为高可靠、高吞吐的系统，但在实际使用中，仍需通过合理的配置和最佳实践来确保消息的 0 丢失。，即使某个 Broker 落后原先的 Leader 很多，它仍然可以成为新的 Leader，这可能导致消息丢失。例如，业务系统可以在本地保存未成功消费的消息，在系统启动时或者定时进行消息的重新扫描和处理，从而避免消息丢失。在高可靠性要求的业务场景中，可以通过结合业务系统本地的消息表和定时扫描机制，进一步增强消息丢失的防范能力。_kafka数据零丢失
2024-11-10 09:11:31
128
250
但是在实际开发时，队列和交换机是程序员定义的，将来项目上线，又要交给运维去创建，那么程序员就需要把程序中运行的所有队列和交换机都写下来，交给运维，在这个过程中是是很容易出错的。默认情况下，消息是平均分配每个消费者，并没有考虑到消费者的处理能力，没有充分利用每一个消费者的能力，这样显然是有问题的。Work queues，任务模型，简单来说就是让多个消费者绑定到一个队列，共同消费队列中的消息，如果直接将消息发送到队列中，则队列每一个消息只能被处理一次，每一个消息都不能被多个消费者同时消费。
2024-08-30 03:08:13
901
355
系统阐述的是使用足球联赛管理系统的设计与实现，对于Java、B/S结构、MySql进行了较为深入的学习与应用。主要针对系统的设计，描述，实现和分析与测试方面来表明开发的过程。开发中使用了ssm框架和MySql数据库技术搭建系统的整体架构。
2024-08-24 23:08:10
231
284
上节研究了SparkSQL的核心操作，Action详细解释 测试案例，与Transformation详细解释 测试案例。本节研究SparkSQL的数据源操作，输入与输出数据。df.write.format(“jdbc”).option(“url”, “jdbc:mysql://host/db”).option(“dbtable”, “table”).option(“user”, “username”).option(“password”, “password”).save()
2024-08-10 00:08:37
686
185
[高并发下的分布式缓存 | 缓存系统稳定性设计](https://editor.csdn.net/md/?articleId=140971647)[高并发下的分布式缓存 | 设计和实现LRU缓存](https://editor.csdn.net/md/?articleId=140901891)[高并发下的分布式缓存 | 设计和实现LFU缓存](https://editor.csdn.net/md/?articleId=140901918)[高并发下的分布式缓存 | Cache-Aside缓存模式](h
2024-06-30 21:06:49
638
792
雪花算法是一种生成分布式ID的算法。此种算法由Twitter创建，并应用于推文的ID。一个SnowFlake有64位：• 符号位（1） ：正数0，负数1。一般生成的ID 都为正数，所以默认为0.• 时间戳（41）：表示毫秒值。• 数据编码（5） 机器编码（5）：计算机ID，防冲突• 序列号（12）：每台机器生成的ID序列号。理论上，当机器编码和数据编码不变的情况下，可以生成2^53个ID，达到千万亿级别。二、实现代码/*** 起始的时间戳*//**_雪花算法截短
2024-05-10 08:05:44
201
8
用 JSON Schema 来描述表单适合于低代码或者数据中台的快速开发。前端不需要维护 schema，schema 可以存在后端，随意分发动态渲染。_jsonscheme自动表单