数据结构与算法

如何解决Elasticsearch的深度翻页问题

使用ES做搜索引擎拉取数据的时候,如果数据量太大,通过传统的from + size的方式并不能获取所有的数据(默认最大记录数10000),因为随着页数的增加,会消耗大量的内存,导致ES集群不稳定。 ES提供了3中解决深度翻页的操作,分别是scroll、sliced scroll 和 search after: scroll scroll api提供了一个全局深度翻页的操作, 首次请求会返回一个

447:做好数据备份真香

最近电脑发生了一些事情,让我意识到备份数据真的太香啦。 一个是旧电脑固态硬盘的发生了故障。电脑的机械硬盘之前被我拆下来了,固态硬盘一坏,电脑的数据基本就废了。肯定很多数据文件都丢失了不少,也不算全军覆没。在两年前,重新安装系统时,做了备份。那数据整理压缩到了U盘中,这里面又不少重要的文件。目前是这两年中的文件丢了。还有一些重要的文档,之前传到了手机上,也无意中做了备份。 还有一件事情是今天的数据库

463.【数据库】Star Schema Benchmark 标准测试集优化(二)

这是Star Schema Benchmark 标准测试集优化的第二篇,前一篇提到了优化表结构。 表结构优化完之后,我们分析了下表数据, 一、验证数据的标准性 这几个表,除了lineorder是根据factor成倍增长,其它的表记录数增长应该是缓慢的,对吧,有的表甚至没有随着factor增长,对吧? 上面是架构师问让我调研的,我查了下,customer、supplier、lineorder三张

钉钉小机器人开发

一:适用人群(需要用发布定时消息的懒人) 考勤负责人 打字负责人 提醒简书负责人 提醒周报负责人等等 二:开发背景 学习完了go语言的gin框架,看了学长的发的go进阶视频,大概掌握了gin的知识,但是一直没有时间去练手。再加上在学校505机房里面学习的时候,二期的学长总是不差考勤,学长那里经常忙于项目甚至三期的一些同学也会忘记考勤,加上大家确实需要一个定时定点@特定的人去做某一件事情,所以我

628.【平台开发】技术整合思考(一)——启动配置

随着工作经验的积累,5年来也造了不少轮子,手头上也积攒了一系列自己开发的小程序等,各自都很独立,基本上都是业务相关性很强、或者实用性很强的,现在在考虑如何整合这些小程序。于是便有了下面的这番思考: 一、 程序同时支持参数从 本地命令行输入 、 本地配置文件输入 和 grpc中心服务输入 ,并配备默认值和优先级。 默认值的最佳形式就是无参数执行,普通人点击即用,扩大用户群体;(懂程序的人,才去传参

MySql数据库·管理表记录

一、管理表记录分为: 插入表记录(向表里添加行) 插入1条或多条记录给所有列或指定列赋值 更新表记录(修改行中列的值) 修改所有列表胡哦这符合条件列的值 删除表记录(删除表里的行) 加条件删除和批量删除 二、语法格式: 插入行: 插入1行或多行 INSERT INTO 库名.表名 VALUES (值列表1),(值列表2),(值列表3)...; 插入指定表头1行或多行数据 INSERT

MySQL知识点

1.SQL语言在功能上主要非为如下三类: DDL(Data Definition Languages,数据定义语言),这些语句定义了不同的数据库,表,视图,索引等数据库对象,还可以用来创建,删除,修改数据库和数据表的结构 主要的语句关键字包括CREATE,DROP,ALTER等 DML(Data Manipulation Language,数据操作语言),用于添加,删除,更新和查询数据库记录,并检

633. 【数据库】NoSQL数据库

按照所使用的数据结构的类型,一般可以将 NoSQL 数据库分为列式存储数据库、键值对存储数据库、文档型数据库、图数据库。 目前业界虽然对NoSQL 并没有一个明确的范围和定义,但是它们普遍存在一些共同特征: 易扩展:去掉了关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。 大数据量,高性能:NoSQL 数据库都具有非常高的读写性能,尤其在大数据量下。这得益于它的无关系性,数据库的结构简

523. 【Lua】类型和值(三)

一、表(Table) 当调用函数 math.sin 时,我们可能认为是“调用了 math 库中函数 sin”;而对于 Lua 语言来说,其实际含义是“以字符串"sin"为键检索表math” Lua 语言中的表本质上是一种辅助数组(associative array),这种数组不仅可以使用数值作为索引,也可以使用字符串或其他任意类型的值作为索引(nil 除外)。 使用构造器表达式(construct