数据结构与算法
463.【数据库】Star Schema Benchmark 标准测试集优化(二)
这是Star Schema Benchmark 标准测试集优化的第二篇,前一篇提到了优化表结构。
表结构优化完之后,我们分析了下表数据,
一、验证数据的标准性
这几个表,除了lineorder是根据factor成倍增长,其它的表记录数增长应该是缓慢的,对吧,有的表甚至没有随着factor增长,对吧?
上面是架构师问让我调研的,我查了下,customer、supplier、lineorder三张
447:做好数据备份真香
最近电脑发生了一些事情,让我意识到备份数据真的太香啦。
一个是旧电脑固态硬盘的发生了故障。电脑的机械硬盘之前被我拆下来了,固态硬盘一坏,电脑的数据基本就废了。肯定很多数据文件都丢失了不少,也不算全军覆没。在两年前,重新安装系统时,做了备份。那数据整理压缩到了U盘中,这里面又不少重要的文件。目前是这两年中的文件丢了。还有一些重要的文档,之前传到了手机上,也无意中做了备份。
还有一件事情是今天的数据库
如何解决Elasticsearch的深度翻页问题
使用ES做搜索引擎拉取数据的时候,如果数据量太大,通过传统的from + size的方式并不能获取所有的数据(默认最大记录数10000),因为随着页数的增加,会消耗大量的内存,导致ES集群不稳定。
ES提供了3中解决深度翻页的操作,分别是scroll、sliced scroll 和 search after:
scroll
scroll api提供了一个全局深度翻页的操作, 首次请求会返回一个