"/>
首页
全部分类
Web
SQL
Life
Basic
Spider
DevSecOps
Architecture
全部标签
文章归档
友情链接
我的瞬间
我的插件
关于博主
留言板
PySuper
千里之行,始于足下
累计撰写
298
篇文章
累计创建
18
个标签
累计收到
2
条评论
栏目
首页
全部分类
Web
SQL
Life
Basic
Spider
DevSecOps
Architecture
全部标签
文章归档
友情链接
我的瞬间
我的插件
关于博主
留言板
目 录
CONTENT
以下是
Architecture
相关的文章
2023-03-18
消息中间件
消息队列 消息中间件是什么(什么是消息队列?) 消息:应用间传送的数据,如文本字符串、JSON、对象等 消息中间件定义(Message Queue Middleware,简称为 MQ) 利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成 通过提供消息传递和消息排
2023-03-18
24
0
0
Architecture
2023-03-12
缓存中间件
热点数据 & 冷数据 热点数据和冷数据是什么? 冷数据:大部分数据可能还没有再次访问到就已经被挤出内存,不仅占用内存,而且价值不大 热点数据: 比如我们的某 IM 产品,生日祝福模块,当天的寿星列表,缓存以后可能读取数十万次,热点数据,缓存才有价值 举个例子,某导航产品,我们将导航信息,缓存以后可能
2023-03-12
51
0
0
Architecture
2022-05-23
SparkCore 之 内核调度
DAG DAG:有向无环图 有向:有方向 无环:没有闭环 有方向,没有形成闭环的执行流程图
2022-05-23
255
0
0
Architecture
2022-05-15
SparkCore 之 共享变量
广播变量 先将本地list对象,放入broadcast对象中,然后从broadcast内部取出,中间传输的就是broadcast这个对象 只要传输的是broadcast,spark就只会给
2022-05-15
202
0
0
Architecture
2022-05-07
SparkCore 之 RDD案例分析
jieba 库 import jieba content = "今天天气真好!" result_1 = jieba.cut(content, True) print(result_1) result_2 = jieba.cut(content, False) print(list(result
2022-05-07
228
0
0
Architecture
2022-05-06
SparkCore 之 RDD持久化
过程数据 rdd-3被二次使用,第一次使用之后,其实rdd-3就不存在了 第二次用的时ࠂ
2022-05-06
293
0
0
Architecture
2022-04-21
SparkCore 之 RDD编程
RDD的创建 SparkContext Spark RDD 编程的程序入口对象是SparkContext对象(不论何种编程语言) 只有构建出SparkContext,基于它才能执行后续的API调ஷ
2022-04-21
207
0
0
Architecture
2022-04-21
SparkCore 之 RDD详解
分布式计算需要: 分区控制 Shuffle 控制 数据存储/序列化/发送 数据计算API 等一系列功能 这些功能, 不能简单的通过Python内置的
2022-04-21
258
0
0
Architecture
2022-04-09
Spark 之 PySpark
代码实战 #!/usr/bin/env python # -*- coding: UTF-8 -*- # FileName :01_word_count.py # Author :zheng xingtao # Date :2022/3/11 13:35 import os fro
2022-04-09
224
0
0
Architecture
2022-04-05
Spark部署 之 YARN
基本原理 在已有 YARN 集群的前提下在单独准备 Spark StandAlone 集群,对资源的利用就不高 所以,在企业中,多数场景下,会将 Spark $
2022-04-05
162
0
0
Architecture
1
2
3
4
5
6