MongoDB集群

最小集群，一主一副一仲裁（单结点不需要初始化？？） ps -ef | grep mongo 至此处理ip-port之外，配置一模一样 结点初始化 rs.initiate() 从结点要ok，两方承认 mongodb副本集需要每个节点都初始化么？？？ 主节 ...
2026-04-30

简介

https://kafka.apache.org kafka使用scala开发 ...
2026-04-30

安装配置

https://kafka.apache.org/quickstart https://kafka.apache.org/downloads https://dlcdn.apache.org/kafka/3.9.1/kafka_2.13-3.9.1.tgz wget https://dlcdn.ap ...
2026-04-30

client

维度 aiokafka pykafka kafka-python confluent-kafka-python 协程支持 ✅ 原生 asyncioawait producer.send_and_wait() ❌ 无（仅线程/queue） ❌ 无（仅 Future+回调） ✅ 官 ...
2026-04-30

README

阅读清单： https://kafka.apachecn.org/ https://kafka.apache.org/documentation producer：消息生产者，向 (topic, partition) 发送消息，若不指定 partition，则使用 key 进行哈希作为 par ...
2026-04-30

Untitled

from pyspark.sql import SparkSession from pyspark.sql.functions import col # 初始化Spark会话 if __name__ == '__main__': spark = SparkSession.b ...
2026-04-30

Untitled 3

spark on yarn 全套搭建 一、Ubuntu安装 三台，分别为node1、node2、node3 ubuntu最小安装 https://blog.csdn.net/qq_41004932/article/details/124955610 ubuntu设置root初始密码 ubuntu安 ...
2026-04-30

Untitled 2

import pyspark spark = pyspark.sql.SparkSession.builder.appName("test").config( 'spark.sql.parquet.binaryAsString', 'tr ...
2026-04-30

Untitled 1

实时计算、离线计算 实时数据、离线数据 可以写一个脚本动态生成提交命令并执行 多表联查产生笛卡尔积，使得中间表数据量爆炸 Resilient Distributed Dataset，RDD RDD支持transformation和action两种操作，transformation为延迟操作，acti ...
2026-04-30

Spark

简介Apache Spark是一个用于大规模数据处理的统一分析引擎。它提供了Java、Scala、Python和R等多种高级编程接口，并且具备一个优化的引擎，支持通用的执行图。它还支持一套丰富的高级工具，包括Spark SQL用于SQL和结构化数据处理，基于Spark的pandas API用于pan ...
2026-04-30
1…678910…38