数据结构与算法

Linux 操作的良好习惯总结

从事运维,遇到过各式各样的问题,数据丢失,网站挂马,误删数据库文件,黑客攻击等各类问题。 一、线上操作规范 1. 测试使用 当初学习Linux的使用,从基础到服务到集群,都是在虚拟机做的,虽然老师告诉我们跟真机没有什么差别,可是对真实环境的渴望日渐上升,不过虚拟机的各种快照却让我们养成了各种手贱的习惯,以致于拿到服务器操作权限时候,就迫不及待的想去试试,记得上班第一天,老大把root密码交给我,由

mysql之日志系统:SQL更新语句逻辑

mysql的2个重要日志:物理日志redo log和逻辑日志 binlog。 redo log: 保证crash-safe能力 每次事务的redo log持久化到磁盘:innodb_flush_log_at_trx_commit=1 每次事务的binlog 持久化到磁盘:sync_binlog=1 1、redo log WAL技术:Write-Ahead Logging,关键点是先写日志,在写磁

276. 【运维】日志太重要了!

前天、昨天、今天,三天的摸索终于找着原因了!3 月初的时候客户那边服务器宕机,缺失了数据,负责这块的一个小哥出了个馊主意,从其他地方弄来了数据导入到数据库里,结果把主键ID,弄得特别大。 我们的 ETL 工具,在做数据抽取的时候,会检查主键 ID,找到数据库里已存在的最大主键 ID,根据 ID 找到对应的时间,然后从那个时间点以后开始从其他数据源抽取数据。问题就在于那个小哥把搞来的数据生成了些比之

463.【数据库】Star Schema Benchmark 标准测试集优化(二)

这是Star Schema Benchmark 标准测试集优化的第二篇,前一篇提到了优化表结构。 表结构优化完之后,我们分析了下表数据, 一、验证数据的标准性 这几个表,除了lineorder是根据factor成倍增长,其它的表记录数增长应该是缓慢的,对吧,有的表甚至没有随着factor增长,对吧? 上面是架构师问让我调研的,我查了下,customer、supplier、lineorder三张

canal.deployer-1.1.6 的 1146 错误码问题

说明 在使用 canal 1.1.6 版本(当前时间:2022-08),配置 MySQL 读写规则(此处配置的是 test 数据库)后,启动 canal,虽然控制台中显示启动成功,但是查看实例日志,却有很多报错。 image.png 具体错误信息如下: 2022-08-04 14:49:47.346 [destination = example , address = /127.

机器学习-聚类分析算法

一、聚类分析的定义聚类分析是一种无监督学习的统计分析方法。它的主要目的是将一个数据集中的样本(或观测值)按照某种相似性或距离度量划分成若干个类别(簇)。在聚类过程中,同一个簇内的样本具有较高的相似性,而不同簇之间的样本相似性较低。例如,在市场细分中,企业可以利用聚类分析将消费者划分为不同

《【初阶数据结构】从 0 到 1 速通顺序表:C 语言实现 + 手撕算法(附完整代码)》

本文详细介绍了线性表中的顺序表的概念以及以及其的接口如:增删查找等关键操作,最后通过算法题来感受顺序表的细节 文章目录 一、线性表是什么? 二、顺序表的概念及分类   1.概念   2.分类 三、动态顺序表的实现   1. 顺序表的初始化   2.顺序表的扩容   3. 顺序的尾插    4. 顺序表的头插    5. 尾删

MongoDB丢数据问题的分析

坊间有很多传说MongoDB会丢数据。特别是最近有一个InfoQ翻译的Sven的一篇水文(为什么叫做水文?因为里面并没有他自己的原创,只是搜罗了一些网上的博客,炒了些冷饭吃),其中又提到了丢数据的事情。大家知道作为一个数据库来说,数据的持久性基本上是数据库的最低要求了。如果MongoDB真的有那么糟糕的数据安全问题,它早就在技术选择众多的今天被无情地淘汰掉了。那么真相到底如何呢? 实事求是地来说,