数据结构与算法

【es】Elasticsearch如何保证数据不丢失?

我们大概已经知道了 Elasticsearch处理数据的流程,其中在Elasticsearch和磁盘之间还有一层称为FileSystem Cache的系统缓存,正是由于这层cache的存在才使得es能够拥有更快搜索响应能力。 我们都知道一个index是由若干个segment组成,随着每个segment的不断增长,我们索引一条数据后可能要经过分钟级别的延迟才能被搜索,为什么有种这么大的延迟,这里面的

架构师自诉:如何做到百万数据半小时跑批结束

业务背景 跑批通常指代的是我们应用程序针对某一批数据进行特定的处理 在金融业务中一般跑批的场景有分户日结、账务计提、欠款批扣、不良资产处理等等 具体举一个例子 🌰 客户在我司进行借款,并约定每月 10 号码还款,在客户自主授权银行卡签约后 在每月 10 号(通常是凌晨)我们会在客户签约的银行卡上进行扣款 然后可能会有一个客户、两个客户、三个客户、四个客户、好多个客户都需要进行扣款,所以这一“批”

Flask教程(二)

一、Flask的数据库SQLAlchemy 1.1 SQLAlchemy简介:                 SQLAlchemy是一个关系型数据库框架,它提供了高层的ORM和底层的原生数据库的操作。                 flask-sqlalchemy是一个简化了SQLAlchemy操作的flask扩展。 1.2 SQLAlchemy的使用: 1.2.1安装导入:    安装fla

MySQL Explain

mysql执行计划 在日常工作中,为了知道优化SQL语句的执行,需要查看SQL语句的具体执行过程,以加快SQL语句的执行效率。 可以使用explain+SQL语句来模拟优化器执行SQL查询语句,从而知道mysql是如何处理sql语句的。 官网地址: 1、执行计划中包含的信息

MySql分布式存储添加新库新表

一、环境准备: 主机名 角色 IP地址 client50 客户端 192.168.88.50/24 Mycat60 分片服务器 192.168.88.60/24 Mysql63 数据库服务器 192.168.88.63/24 Mysql64 数据库服务器 192.168.88.64/24 Mysql65 数据库服务器 192.168.88.65/24

SQL SERVER数据库重建索引的方法

参考: Sql Server查询缓慢的原因有很多,比如服务器资源不足、网络故障、查询语句不够优化,I/O问题等等,以及数据库索引问题 一、查询思路 1.想要判断数据库查询缓慢的问题,可以使用如下语句,可以列出查询语句的平均时间,总时间,所用的CPU时间等信息 SELECT creation_time N'语句编译

SAS编程-Table:Shift表的处理

有读者咨询Shift表的处理,这篇文章就分享下Shift表SAS编程处理。 文章所附代码是完整的处理代码,除了没有RTF输出。读者可以自行复制到SAS中进行调试、运行和理解。若有疑问或建议,欢迎评论区指出。 后续另写文章,介绍RTF的输出。 1. Shift Table的本质 关于Shit Table,它本质上就是一个频数统计表,所以可以直接按正常的频数统计表去处理。 以下面2张Table为例,左

Apache Doris——数据分布

在 Doris 中,数据都以表(Table)的形式进行逻辑上的描述。 名词解释 数据分布:数据分布是将数据划分为子集, 按一定规则, 均衡地分布在不同节点上,以期最大限度地利用集群的并发性能 短查询:short-scan query,指扫描数据量不大,单机就能完成扫描的查询 长查询:long-scan query,指扫描数据量大,多机并行扫描能显著提升性能的查询 数据分布概览 常见的四种

ShardingJDBC 分库分表详解

一、ShardingSphere概述 1.1、ShardingSphere概述 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种

Spring Security 中,想在权限中使用通配符,怎么做?

小伙伴们知道,在 Shiro 中,默认是支持权限通配符的,例如系统用户有如下一些权限: system:user:add system:user:delete system:user:select system:user:update ... 现在给用户授权的时候,我们可以像上面这样,一个权限一个权限的配置,也可以直接用通配符: system:user:* 这个通配符就表示拥有针对用户的所有