-
paxos 学习笔记
Wednesday, March 15, 2023 in News
Categories:
本质：集群内的多台服务器协同工作，让数据的副本在全部/大多数服务器上保持一致，确保每次读写操作都能得到正确/一致的结果。 什么是系统的可靠性要求？ 系统的可靠性要求是指系统在一定时间内能够正常运行的概率。 aws 的对象存储可靠性要求是 9~13 个 9，其中 9~13 个 9 的含义是什么？ 9 个 9：99.9999999%的可靠性，即每十亿次操作中，只有一次操作失败。 分布式一致性算法 在分布式系统中一份数据冗余的存储多份保证了系统的可靠性, 而多个副本之间的一致, 通常是使用 paxos …
-
分布式系统设计模式
Monday, August 08, 2022 in Releases
Categories:
本文是对 Nishant 文章 Distributed System Design Patterns 的翻译，主要介绍分布式系统相关设计问题中涉及到的关键模式。 Keys 1.布隆过滤器 布隆过滤器是一个空间友好的概率数据结构，通常用来判断数据是否是集合中的一个元素，其通常用于我们需要知道某个元素是否属于某类对象的场景。具体应用见下图： 在BigTable，一个分布式数据存储系统中，任何读操作都需要读取构成 Tablet 的所有 SSTables 结构。当 SSTables 结构不在内存的时候， …
-
Git后台架构
Tuesday, July 12, 2022 in Releases
Categories:
在传统的 git 后端服务中，首要面对的挑战就是存储容量上限问题和用户并发访问高负载问题。本文简要概述 git 后端服务的架构，以及一些有用的文章。 后台存储方案 1. 单机+冷备模式 gitlab 社区版提供了单机版，可以通过配置 git hooks 触发同步任务，将数据保存备份到备机。 存在的问题是同步任务经常出现卡住，同步失败，对象缺失等问题，备机无法保证实时最新，也无法保证数据完整性，备机不能开启读服务。 2. 单机+分布式存储 该场景希望使用分布式存储解决存储容量上限问题的问题，这样存 …
-
container/heap包使用指南
Tuesday, June 28, 2022 in Releases
Categories:
本文基于官方文档介绍 golang 标准库中提供的堆/优先队列的使用方法. 1. 概述 “container/heap” 包提供了实现堆操作的接口，用户只需要定义满足 “heap.Interface” 接口的类型，就可以通过包提供的函数，像操作大根堆或小根堆一样，对实例数组变量进行 Push 和 Pop 操作。 堆通常是一个可以被看做一棵树的数组对象，堆总是满足下列性质： 堆中某个结点的值总是不大于或不小于其父结点的值； 堆总是一棵完全二叉树。 堆 …
-
基于腾讯云cvm的云原生环境搭建
Tuesday, December 14, 2021 in Releases
Categories:
本文所有操作基于腾讯云 cvm 实例。 具体配置如下，操作系统为 TencentOS Server 3.1： [root@VM-0-16-centos cms]$ cat /etc/motd Welcome to TencentOS 3 64bit Version 3.1 20210604 tlinux3.1-64bit-5.4.119-19.0006-20210623 1.安装 vim 主要是更新 vim 的版本，使其>8.0,这样某些插件才可以正常安装。 yum remove vim …
-
Linux入门基础
Saturday, November 14, 2020 in Releases
Categories:
能简单使用 cat，grep，cut 等命令进行一些操作； 文件系统相关的原理，inode 和 block 等概念，数据恢复； 硬链接与软链接； 进程管理相关，僵尸进程与孤儿进程，SIGCHLD 。 一、常用操作以及概念 快捷键 Tab：命令和文件名补全； Ctrl+C：中断正在运行的程序； Ctrl+D：结束键盘输入（End Of File，EOF） 求助 1. –help 指令的基本用法与选项介绍。 2. man man 是 manual 的缩写，将指令的具体信息显示出来。 当 …
-
Python爬虫学习
Sunday, October 11, 2020 in Releases
Categories:
Python 爬虫入门学习。 Python 爬虫 1. 准备环境 借助 requests 网络库请求 html 页面，而 beautifulsoup4 库则是一个可以从 HTML 或 XML 文件中提取数据的 Python 库, 然后安装 lxml 解析器，BeautifulSoup 可以使用它来解析 HTML，然后提取内容。 pip install requests pip install beautifulsoup4 pip install lxml 2. BeautifulSoup 库的使 …
-
Python基础学习
Monday, September 21, 2020 in Releases
Categories:
Linux 环境下的 Python 开发基础教程。 一、开发环境 1.安装依赖库 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel 2.下载安装包 # wget下载安装包并解压至 /usr/local/python3 wget …