RPC | idouba

Tag Archives | RPC

【hadoop代码笔记】通过JobClient对Jobtracker的调用详细了解Hadoop RPC

Hadoop的各个服务间,客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多,也不难理解,这里不做背景介绍。只是尝试从JobclientJobTracker提交作业这个最简单的客户端服务器交互的代码中,去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文,试图通过一种具体的场景来介绍,属于比较初级。其他DataNode和Namenode之间,Tasktracker和JobTracker之间的交互基本也都一样。为了引用的代码篇幅尽可能少,忽略了代码中写日志(包括Metrics)、某些判断等辅助代码。

1 RPC客户端请求(从JobClient的jobSubmitClient 入手)

Jobclient包含一个JobSubmissionProtocol jobSubmitClient类型的句柄,从作业提交一节的介绍中看到Jobclient的计划所有重要操作都是通过jobSubmitClient来完成的。包括
[......]

阅读全文

Tags: , , , ,

Comments { 0 }

【HBase代码笔记】RPC

 

Hbase RPC

@todo 草稿,未整理

在客户端调用一个接口方法的过程

 

对应的接口创建了一个代理

HMasterInterface tryMaster = (HMasterInterface)HBaseRPC.getProxy(

??????????????? HMasterInterface.class, HBaseRPCProtocolVersion.versionID,

???????????? ???masterLocation.getInetSocketAddress(), this.conf);

 

Java的反射机制可以使得对这个方法的调用被派发到这个代理类上面。

VersionedProtocol proxy =

??????? (VersionedProtocol)[......]

阅读全文

Tags: ,

Comments { 0 }