Kafka 中两个重要概念：主题与分区
Kafka 中两个重要概念：主题与分区
在 Kafka 中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka 中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到 Kafka 集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。这里补充了对Kafka基本概念了解，附上上篇中的Kafka 体系结构概要图便于理解
主题是一个逻辑上的概念，它还可以细分为多个分区，一个分区只属于单个主题，很多时候也会把分区称为主题分区（Topic-Partition）。同一主题下的不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。
offset 是消息在分区中的唯一标识，Kafka 通过它来保证消息在分区内的顺序性，不过 offset 并不跨越分区，也就是说，Kafka 保证的是分区有序而不是主题有序。
如上图所示，主题中有4个分区，消息被顺序追加到每个分区日志文件的尾部。Kafka 中的分区可以分布在不同的服务器（broker）上，也就是说，一个主题可以横跨多个 broker，以此来提供比单个 broker 更强大的性能。
每一条消息被发送到 broker 之前，会根据分区规则选择存储到哪个具体的分区。如果分区规则设定得合理，所有的消息都可以均匀地分配到不同的分区中。如果一个主题只对应一个文件，那么这个文件所在的机器I/O将会成为这个主题的性能瓶颈，而分区解决了这个问题。在创建主题的时候可以通过指定的参数来设置分区的个数，当然也可以在主题创建完成之后去修改分区的数量，通过增加分区的数量可以实现水平扩展。
Kafka 为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。
同一分区的不同副本中保存的是相同的消息（在同一时刻，副本之间并非完全一样），副本之间是“一主多从”的关系，其中 leader 副本负责处理读写请求，follower 副本只负责与 leader 副本的消息同步。副本处于不同的 broker 中，当 leader 副本出现故障时，从 follower 副本中重新选举新的 leader 副本对外提供服务。Kafka 通过多副本机制实现了故障的自动转移，当 Kafka 集群中某个 broker 失效时仍然能保证服务可用。
如上图所示，Kafka 集群中有4个 broker，某个主题中有3个分区，且副本因子（即副本个数）也为3，如此每个分区便有1个 leader 副本和2个 follower 副本。生产者和消费者只与 leader 副本进行交互，而 follower 副本只负责消息的同步，很多时候 follower 副本中的消息相对 leader 副本而言会有一定的滞后。
Kafka 消费端也具备一定的容灾能力。Consumer 使用拉（Pull）模式从服务端拉取消息，并且保存消费的具体位置，当消费者宕机后恢复上线时可以根据之前保存的消费位置重新拉取需要的消息进行消费，这样就不会造成消息丢失。
- END -
Kafka 中两个重要概念：主题与分区 相关文章
- 如何开发一个完善的Kafka生产者客户端
Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性
- Kafka 中的消息存储在磁盘上的目录布局是怎样的
Kafka 中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分
- 设计模式（七大原则）
1、设计模式相关概念 （1）重要性 设计模式（design pattern）对软件设计中普片存在的问题所提出的解决方案（不拘泥于某种语言），可以增强项目的扩展性、维护性，因为设计模式不是为了软件的功能的实现，而是站在软件的设计的角度 （2）目的 增强可维护性、
- 2021-02-12：如何判断两个字符串是否互为旋转字符串
2021-02-12：如何判断两个字符串是否互为旋转字符串 福哥答案2021-02-12： 假设字符串str1是“ABCDE”，字符串str2是“CDEAB”。字符串str2可以拆分成“CDE”和“AB”，可以拼成“ABCDE”。所以str1和str2互为旋转字符串。 解法： 1.判断str1和str2的字符串
- 字符串的排列（双指针）
先给题 给定两个字符串s1和s2，写一个函数来判断 s2 是否包含 s1的排列。 换句话说，第一个字符串的排列之一是第二个字符串的子串。 示例1: 输入: s1 = "ab" s2 = "eidbaooo" 输出: True 解释: s2 包含 s1 的排列之一 ("ba"). 示例2: 输入: s1= "ab" s2 = "e
- 剑指 Offer 57. 和为s的两个数字
题意 在一个有序数组里找两个和为s的数字 思路 1??有序，立刻联想到二分查找，我们可以依次遍历数组中的每个数字，然后二分查找另一个数字使得和可以为s。 2??双指针的写法 一开始分别放在最左和最右，对应为最小和最大的数字，记两个指针指向的元素的和为 s
- Kafka 博文索引
博文索引 KafkaBroker 简析 KafkaConsumer 简析 KafkaProducer 简析 KafkaMirrorMaker 的不足以及一些改进 Kafka 简介 数据是系统的燃料，系统的效率高低很大程度取决于数据流转是否及时： 将数据从生产源头移动到分析处理终端，这个过程完成得越快，组织的
- KafkaBroker 简析
Kafka 依赖 Zookeeper 来维护集群成员的信息： Kafka 使用 Zookeeper 的临时节点来选举 controller Zookeeper 在 broker 加入集群或退出集群时通知 controller controller 负责在 broker 加入或离开集群时进行分区 leader 选举 broker 管理 每个 broker 都有
- KafkaConsumer 简析
使用方式 创建一个 KafkaConsumer 对象订阅主题并开始接收消息： Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "localhost:9092"); properties.setProperty("key.deserializer", "org.apache.kafka.common.seria
- 数组中的逆序对
/* 在数组中的两个数字，如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。输入一个数组，求出这个数组中的逆序对的总数。 输入: [7,5,6,4]输出: 5 *///其实就是归并排序 在左侧的一个元素大于右数组的一个元素时 左侧元素本身以及左数组剩余的