๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ
728x90

Kafka2

[Kafka] Zookeeper ๊ธฐ๋ณธ ๊ฐœ๋… ์ •๋ฆฌ https://zookeeper.apache.org/ Apache ZooKeeperzookeeper.apache.org Zookeeper?๋ถ„์‚ฐ ์ฝ”๋””๋„ค์ด์…˜ ์„œ๋น„์Šค๋ฅผ ์ œ๊ณตํ•˜๋Š” ์˜คํ”ˆ์†Œ์Šค ํ”„๋กœ์ ํŠธ์ง์ ‘ ์–ดํ”Œ๋ฆฌ์ผ€์ด์…˜ ์ž‘์—…์„ ์กฐ์œจํ•˜๋Š” ๊ฒƒ์„ ์‰ฝ๊ฒŒ ๊ฐœ๋ฐœํ•  ์ˆ˜ ์žˆ๋„๋ก ๋„์™€์ค€๋‹ค.์ผ๋ฐ˜์ ์œผ๋กœ N๊ฐœ์˜ ์ฃผํ‚คํผ ์„œ๋ฒ„์˜ ์ง‘ํ•ฉ์ธ Ensemble๋กœ ๊ตฌ์„ฑleader-follower ๊ตฌ์กฐ : Leader๊ฐ€ Follwer์—๊ฒŒ ๋™๊ธฐํ™”๋ฅผ ์œ„ํ•œ ๋ช…๋ น์„ ๋‚ด๋ฆฐ๋‹ค.์ผ๋ฐ˜์ ์œผ๋กœ Server๋กœ Zookeeper, Client๋กœ Kafka๋กœ ๊ตฌ์„ฑ๋ถ„์‚ฐ ์ฝ”๋””๋„ค์ด์…˜ ์„œ๋น„์Šค?๋ถ„์‚ฐ ์‹œ์Šคํ…œ์—์„œ ์‹œ์Šคํ…œ ๊ฐ„์˜ ์ •๋ณด ๊ณต์œ , ์ƒํƒœ ์ฒดํฌ, ์„œ๋ฒ„๋“ค ๊ฐ„์˜ ๋™๊ธฐํ™”๋ฅผ ์œ„ํ•œ ๋ฝ ๋“ฑ์„ ์ฒ˜๋ฆฌํ•ด์ฃผ๋Š” ์„œ๋น„์Šค→ ์—ฌ๋Ÿฌ ์„œ๋ฒ„ ๊ฐ„์˜ ๋™๊ธฐํ™”๋ฅผ ๋‹ด๋‹นํ•˜์—ฌ ํด๋Ÿฌ์Šคํ„ฐ ๋‚ด์˜ ์„œ๋น„์Šค๋“ค์ด ์•ˆ์ •์ ์œผ๋กœ ๋™์ž‘ํ•  ์ˆ˜ ์žˆ๋„๋ก.. 2024. 5. 9.
[Kafka] ์นดํ”„์นด ๊ธฐ๋ณธ ์šฉ์–ด ์ •๋ฆฌ Topic๋ฐ์ดํ„ฐ๊ฐ€ ๋“ค์–ด๊ฐˆ ์ˆ˜ ์žˆ๋Š” ๊ณต๊ฐ„ํ…Œ์ด๋ธ”, ํด๋”์™€ ์œ ์‚ฌํ•œ ๊ฐœ๋…Partition์–ด๋–ค ํ† ํ”ฝ์— ๋Œ€ํ•ด์„œ producer/consumer๊ฐ€ ๋ณ‘๋ ฌ์ฒ˜๋ฆฌ๋ฐฉ์‹์œผ๋กœ ๋ถ„์‚ฐ์ €์žฅ๋˜๋Š” ๋‹จ์œ„ํ•˜๋‚˜์˜ ํ† ํ”ฝ์— ์—ฌ๋Ÿฌ๊ฐœ์˜ ํŒŒํ‹ฐ์…˜ ์กด์žฌ0๋ฒˆ ์ธ๋ฑ์Šค๋ถ€ํ„ฐ ์‹œ์ž‘ํ์™€ ์œ ์‚ฌํ•˜๊ฒŒ ๋™์ž‘Producer : ๋ฐ์ดํ„ฐ๋ฅผ ์Œ“๋Š”๋‹ค.Consumer :์˜ค๋ž˜๋œ ์ˆœ์„œ๋Œ€๋กœ ๊ฐ€์ ธ๊ฐoffset : ํŒŒํ‹ฐ์…˜ ์† ์œ„์น˜๋‹จ, ์ปจ์Šˆ๋จธ๊ฐ€ ์ฝ์–ด๋„ ๋ฐ์ดํ„ฐ๋Š” ์‚ญ์ œ๋˜์ง€ ์•Š๋Š”๋‹ค.ํŒŒํ‹ฐ์…˜ ์†์— ๋ฐ์ดํ„ฐ๋Š” ์ง€์ •๋œ ์‹œ๊ฐ„๊ณผ ์šฉ๋Ÿ‰๋งŒํผ ์‚ฌ์šฉ ํ›„ ์‚ญ์ œ๋œ๋‹ค.๋Š˜๋ฆด์ˆ˜๋Š” ์žˆ์ง€๋งŒ ์ค„์ผ ์ˆ˜๋Š” ์—†๋‹ค.๋Š˜๋ฆด์ˆ˜๋ก ์ปจ์Šˆ๋จธ ๋ถ„์‚ฐ๊ฐ€๋ŠฅํŒŒํ‹ฐ์…˜์˜ ๊ฐœ์ˆ˜ >= ์ปจ์Šˆ๋จธ์˜ ๊ฐœ์ˆ˜replication (๋ณต์ œ)๋†’์€ ๊ฐ€์šฉ์„ฑ(High Availibility)์„ ์–ป๊ธฐ ์œ„ํ•ด ๊ฐ๊ฐ์˜ partition์„ ๊ฐ๊ธฐ ๋‹ค๋ฅธ ๋ธŒ๋กœ์ปค์— ๋ณต์ œํ•˜๋Š” ์—ญํ• ์„œ๋ฒ„์— ์žฅ์• ๊ฐ€ ์ƒ๊ฒผ์„ ๋•Œ .. 2024. 5. 8.
728x90

ํ‹ฐ์Šคํ† ๋ฆฌํˆด๋ฐ”