「从零单排canal 03」 canal源码分析大纲
在前面两篇中,我们从基本概念理解了canal是一个什么项目,能应用于什么场景,然后通过一个demo体验,有了基本的体感和认识。 从这一篇开始,我们将从源码入手,深入学习canal的实现方式。了解canal相关功能的实现方式,其中有很多机制是非常值得深入了解的,
2024-11-07
「从零单排canal 04」 启动模块deployer源码解析
基于1.1.5-alpha版本,具体源码笔记可以参考我的github:https://github.com/saigu/JavaKnowledgeGraph/tree/master/code_reading/canal 本文将对canal的启动模块deplo
2024-11-07
从零单排学Redis【白银】
前言只有光头才能变强今天继续来学习Redis,上一篇从零单排学Redis【青铜】已经将Redis常用的数据结构过了一遍了。如果还没看的同学可以先去看一遍再回来~这篇主要讲的内容有:Redis服务器的数据库Redis对过期键的处理Redis持
2024-11-07
从零单排学Redis【铂金一】
前言只有光头才能变强好的,今天我们要上铂金段位了,如果还没经历过青铜和白银和黄金阶段的,可以先去蹭蹭经验再回来:从零单排学Redis【青铜】从零单排学Redis【白银】从零单排学Redis【黄金】这篇文章主要讲的是Redis主从复制。因为R
2024-11-07
「从零单排HBase 05」核心特性region split
1.split触发时机与策略 前面我们已经知道了,数据写入过程中,需要先写memstore,然后memstore满了以后,flush写入磁盘,形成新的HFile文件。 当HFile文件数量不断累积,Region server就会触发compaction机制,把
2024-11-07
「从零单排HBase 10」HBase集群多租户实践
一是某些业务较其他业务重要,需要在资源有限的情况下优先保证核心重要业务的正常运行 二是有些业务QPS常常很高,占用大量系统资源,导致其他业务无法正常运转。 这是典型的多租户问题。因此,我们需要通过资源隔离来解决多租户问题,同时,需要考虑计算型业务与存储型业
2024-11-07
【从零单排HBase 04】HBase高性能查询揭秘
1.为什么要compaction 在上一篇 HBase读写 中我们提到了,HBase在读取过程中,会创建多个scanner去抓去数据。 其中,会创建多个storefilescanner去load HFile中的指定data block。所以,我们很容易就想到,
2024-11-07
「从零单排HBase 11」HBase二级索引解决方案
今天,我们就来看看有哪些二级索引方案,通过对比各个方案的优缺点,并结合我们的具体场景做出二级索引方案选型。 1.为什么需要二级索引 HBase系统单纯从解决大数据实时读写问题角度出发,重点关注于分布式存储的扩展性、容错性、读写性能等方面,为此也牺牲了很多传统关
2024-11-07
【从零单排HBase 01】从一无所知到5分钟快速了解HBase
在学的过程中,发现跟MySQL相互对比,能更深入地了解存储组件的设计。有任何问题或者想看的知识点,欢迎留言跟我沟通。 1.前言 随着公司业务不断发展,开始遇见越来越多的复杂存储场景。我们在关系型数据库上已经有了比较好的技术积累,但是并不能解决所有问题。 因此
2024-11-07
【从零单排HBase 02】全面认识HBase架构(建议收藏)
因此,以这篇文章作为骨架,翻译了许多原文的内容,同时对一些细节进行自己的扩展,形成本文。 1.HBase架构组成 从物理结构上,HBase包含了三种类型的server,zookeeper、HMaster、region server,采用一种主从模式的结构。
2024-11-07
【从零单排HBase 06】你必须知道的HBase最佳实践
1.Schema设计七大原则 1)每个region的大小应该控制在10G到50G之间; 2)一个表最好保持在 50到100个 region的规模; 3)每个cell最大不应该超过10MB,如果超过,应该有些考虑业务拆分,如果实在无法拆分,那就只能使用mob;
2024-11-07
「从零单排HBase 09」HBase的那些数据结构和算法
而对HBase的学习,也离不开索引结构的学习,它使用了一种LSM树((Log-Structured Merge-Tree))的索引结构。 下面,我们就结合HBase的实现,来深入了解HBase的核心数据结构与算法,包括索引结构LSM树,内存数据结构跳表、文件多
2024-11-07
最新【从零单排】系列流出,教你如何实现字
昨天在星球的【从零单排】系列分享了一篇【字典存储结构的实现方式】,我觉得这篇文章写的还是蛮好的,就分享给大家了。但由于篇幅太长了,微信没办法全部传上来,如果你觉得内容还不错,想获得全部内容的话,关注公众号「Python专栏」,后台直接回复:
2024-11-07
从零开始入门 K8s | K8s 的应用编排与管理
作者 | 张振 阿里云高级技术专家一、资源元信息1. Kubernetes 资源对象我们知道,Kubernetes 的资源对象组成:主要包括了 Spec、Status 两部分。其中 Spec 部分用来描述期望的状态,Status 部分用来描
2024-11-07