SH Blog

撵上一个时代

TOUR - ChongQing

:two_hearts:。

Posted by SH on May 5, 2021

什么是数据仓库？

数据仓库简介数仓是一种思想，数仓是一种规范，数仓是一种解决方案。架构演进离线数据仓库到实时数据仓库，从lambda架构到kappa架构、再到混合架构。数仓分层数仓分层，一般按ods->dw->dm整体架构。经典四层架构：ods->dwd->dws-ads，bdl->fdl->gdl->adl等。技术选型：传...

Posted by SH on April 29, 2021

Spark 内核

Spark内核一、RDD RDD是一个容错的、并行的数据结构，可以将数据存储到内存和磁盘中，并能控制数据分区，提供丰富API。一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据更新。为了有效地实现容错，RDD本身提供了一种高度受限的共享内存模型，它是只读的记录分区的集合。 RDD的读操作可以精确到一条记录，RDD的写操作则是批量的。 RDD底层存储原理每个R...

Posted by SH on February 18, 2021

TOUR - HaErBin

Posted by SH on January 2, 2021

BIO、NIO、AIO & Netty 基础

一、I/O模型 I/O 模型简单的理解：就是用什么样的通道进行数据的发送和接收，很大程度上决定了程序通信的性能。 Java共支持3种网络编程模型/IO模式：BIO、NIO、AIO。 Java BIO ：同步并阻塞(传统阻塞型)，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销 Java ...

Posted by SH on December 18, 2020

Presto基本架构和原理

Presto prestosql.io/ prestodb.io github.com/prestosql/presto github.com/prestodb/presto 简介 Presto是一种用于大数据的高性能分布式SQL查询引擎。其架构允许用户查询各种数据源，如Hadoop、AWS S3、Alluxio、MySQL、Cassandra、Kafka和Mong...

Posted by SH on November 20, 2020

MySQL实战45讲(基础篇)学习笔记

MySQL 一、基础 1.SQL语句执行流程大体来说，MySQL 可以分为 Server 层和存储引擎层两部分。 Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数学和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。而存储引擎层负责数据的存储和提取。其架...

Posted by SH on October 29, 2020

Markdown Emoji 表情汇总

Markdown Emoji 目录 People Nature Objects Places Symbols Uncategorized People ico emoji ico emoji 🤣 :rofl: 😄 ...

Posted by SH on October 22, 2020

LeetCode - BFS广度优先搜索

BFS-广度优先搜索流程广度优先搜索使用队列（queue）来实现： 1、把根节点放到队列的末尾。 2、每次从队列的头部取出一个元素，查看这个元素所有的下一级元素，把它们放到队列的末尾。并把这个元素记为它下一级元素的前驱。 3、找到所要找的元素时结束程序。 4、如果遍历整个树还没有找到，结束程序。基本框架核心思想：抽象成图，从一个点开始，向四周开始扩散。一般来说，写...

Posted by SH on October 22, 2020

TOUR - YunNan

彩云之南。

Posted by SH on October 8, 2020