数据结构与算法

SAS编程-Table:Shift表的处理

有读者咨询Shift表的处理,这篇文章就分享下Shift表SAS编程处理。 文章所附代码是完整的处理代码,除了没有RTF输出。读者可以自行复制到SAS中进行调试、运行和理解。若有疑问或建议,欢迎评论区指出。 后续另写文章,介绍RTF的输出。 1. Shift Table的本质 关于Shit Table,它本质上就是一个频数统计表,所以可以直接按正常的频数统计表去处理。 以下面2张Table为例,左

Apache Doris——数据分布

在 Doris 中,数据都以表(Table)的形式进行逻辑上的描述。 名词解释 数据分布:数据分布是将数据划分为子集, 按一定规则, 均衡地分布在不同节点上,以期最大限度地利用集群的并发性能 短查询:short-scan query,指扫描数据量不大,单机就能完成扫描的查询 长查询:long-scan query,指扫描数据量大,多机并行扫描能显著提升性能的查询 数据分布概览 常见的四种

ShardingJDBC 分库分表详解

一、ShardingSphere概述 1.1、ShardingSphere概述 Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款既能够独立部署,又支持混合部署配合使用的产品组成。 它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如 Java 同构、异构语言、云原生等各种

Spring Security 中,想在权限中使用通配符,怎么做?

小伙伴们知道,在 Shiro 中,默认是支持权限通配符的,例如系统用户有如下一些权限: system:user:add system:user:delete system:user:select system:user:update ... 现在给用户授权的时候,我们可以像上面这样,一个权限一个权限的配置,也可以直接用通配符: system:user:* 这个通配符就表示拥有针对用户的所有

多线程事务怎么回滚

背景介绍 1.最近有一个大数据量插入的操作入库的业务场景,需要先做一些其他修改操作,然后在执行插入操作,由于插入数据可能会很多,用到多线程去拆分数据并行处理来提高响应时间,如果有一个线程执行失败,则全部回滚. 2.在spring中可以使用@Transactional注解去控制事务,使出现异常时会进行回滚,在多线程中,这个注解则不会生效,如果主线程需要先执行一些修改数据库的操作,当子线程在进行处理出

Select进阶查询·连接查询

一、连接查询定义: 把多张表通过连接条件临时组成1张新表,在临时的新表里有连接表的所有表头和数据。 连接查询分类:内连接、外连接、全连接 二、连接语法结构: 内连接-语法格式: SELECT 表头名列表 FROM 表1 INNER JOIN 表2; SELECT 表头名列表 FROM 表1 INNER JOIN 表2 ON 连接条件; SELECT 表头名列表 FR

531.【博客开发】服务端接口实现(一)

由于整个博客是前后端分离的,并且接口规范主要使用的是 graphql(对于前端的界面不会有什么侵入性)。所以我这先把服务端的接口给实现了。 一、实体类实现 在做服务端——数据库表结构设计时,已经实现完了。 二、实体查询、删除、创建的数据库访问代码实现 由于所有维度数据访问接口约定为:全部支持分页。因此服务端无须做访问单条数据的代码实现。(即使是单条数据,也返回一个列表)(也是为了简化考虑)。 1.

276. 【运维】日志太重要了!

前天、昨天、今天,三天的摸索终于找着原因了!3 月初的时候客户那边服务器宕机,缺失了数据,负责这块的一个小哥出了个馊主意,从其他地方弄来了数据导入到数据库里,结果把主键ID,弄得特别大。 我们的 ETL 工具,在做数据抽取的时候,会检查主键 ID,找到数据库里已存在的最大主键 ID,根据 ID 找到对应的时间,然后从那个时间点以后开始从其他数据源抽取数据。问题就在于那个小哥把搞来的数据生成了些比之

MySQL调优——数据类型和schema优化

范式的作用:解决数据冗余。 反范式:让数据冗余。 实际情况看业务需求 推荐使用代理主键:提高可维护性 建议把数据库的字符集设置成:utf8mb4,因为该字符集只能匹配两个字符长度的中文,而实际还有3个长度的中文。比如“中”用3个字符集来保存的。所以要用utf8mb4来存储。 对于建表时的主键选择: 代理主键:与业务无关的主键如:id,无意义的数字序列 自然主键:事物属性中的自然唯一标识。和我们的业

Spring-webflux实战

1. pom.xml引入以下内容,主要是支持在响应式的环境下对关系型数据库进行访问 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-r2dbc&lt