分布式中间件 - 技术文章

go-micro集成链路跟踪的方法和中间件原理

前几天有个同学想了解下如何在go-micro中做链路跟踪，这几天正好看到wrapper这块，wrapper这个东西在某些框架中也称为中间件，里边有个opentracing的插件，正好用来做链路...

Go 2022.05.05 07:37
干掉RedisHelper，请这样用分布式缓存

前言我们在项目中使用Redis时通常是写一个单例模式的RedisHelper静态类，暴露一些常用的Get、Set等操作，在需要使用地方直接RedisHelper.StringGet(xx,xx)就可以了，这样虽然简单粗暴地满足我们对Redis的所有操作需要，但是这在Asp.Net Core的项目显 ...

aspnetcore 缓存 redis 分布式 AspNetCore 2022-05-19 23:46
[源码解析] TensorFlow 分布式之 ClusterCoordinator

本文我们主要来看看ParameterServerStrategy如何分发计算，也就是ClusterCoordinator如何运作。这是TF分布式的最后一篇。 ...

001_机器学习 006_深度学习 011_分布式机器学习 2022-05-21 11:45
Spark：单词计数(Word Count)的MapReduce实现(Java/Python)

我们在上一篇博客中学习了如何用Hadoop-MapReduce实现单词计数，现在我们来看如何用Spark来实现同样的功能。Spark框架也是MapReduce-like模型，采用“分治-聚合”策略来对数据分布进行分布并行处理。不过该框架相比Hadoop-MapReduce，具有以下两个特点：对大数据... ...

大数据分布式计算 Spark MapReduce 2022-05-26 20:24
Kafka 消费者解析

一、消费者相关概念 1.1 消费组&消费者消费者：消费者从订阅的主题消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets的主题中消费者还可以将⾃⼰的偏移量存储到Zookeeper，需要设置offset.storage=zookeeper 推荐使⽤Kafka存储 ...

Kafka 消息中间件 kafka 2022-05-28 19:21
分布式任务调度ScheduleMaster

1.什么是ScheduleMaster ScheduleMaster是分布式任务调度系统。简称：集中任务调度系统，最简单的理解ScheduleMaster，就是对不同的系统里面的调度任务做统一管理的框架。例如我们现在有多个系统，每个系统针对自己处理不同的业务场景。衍生出自己的调度任务，想象一下，如 ...

分布式中间件 2022-05-28 21:41
SpringBoot Restful 接口实现

SpringBoot 核心注解 SpringBoot 基础入门注解说明 Component 声明为 SpringBoot 的 bean Repository 用于 dao 层的 bean Autowired 用于向一个 bean 中注入其他 bean Service 用于 service 层的 ...

Java 接口自动化测试分布式/微服务 2022-06-03 14:45
SpringCloud 服务治理

1. Eureka 1.1 Eureka 介绍 Eureka 是 Netflix 公司开源的一个服务注册与发现的组件。 • Eureka 和其他 Netflix 公司的服务组件（例如负载均衡、熔断器、网关等）一起，被 SpringCloud 社区整合为 Spring-Cloud-Netflix 模 ...

分布式/微服务 2022-06-04 14:39
SpringCloud 客户端负载均衡：Ribbon

Ribbon 介绍 Ribbon 是 Netflix 提供的一个基于 Http 和 TCP 的客户端负载均衡工具，且已集成在 Eureka 依赖中。 1）客户端负载均衡：负载均衡算法在客户端客户端维护服务地址列表 2）服务端负载均衡：负载均衡算法在服务端由负载均衡器维护服务地址列表开启客户 ...

分布式/微服务 2022-06-04 20:49

实用课程推荐

分布式中间件标签列表

go-micro集成链路跟踪的方法和中间件原理

干掉RedisHelper，请这样用分布式缓存

[源码解析] TensorFlow 分布式之 ClusterCoordinator

Spark： 单词计数(Word Count)的MapReduce实现(Java/Python)

Kafka 消费者解析

分布式任务调度ScheduleMaster

SpringBoot Restful 接口实现

SpringCloud 服务治理

SpringCloud 客户端负载均衡：Ribbon

Spark：单词计数(Word Count)的MapReduce实现(Java/Python)