我的编程空间,编程开发者的网络收藏夹
学习永远不晚

HDFS的上传下载流程

短信预约 信息系统项目管理师 报名、考试、查分时间动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

HDFS的上传下载流程

HDFS的上传下载流程

hdfs上传流程

首先客户端向nn请求上传文件、
nn经过检查回应客户端是否可以上传、
客户端得到同意后向nn请求上传第一块文件的dn、
nn返回给客户端dn的地址、
客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连接、
dn3,dn2,dn1,客户端逐级回应连接成功、
客户端开始向dn1上传第一个block以packet为单位,dn1收到一份packet后自己保存一份还会给dn2,再由dn2向dn3传输一份,
当三台dn都保存了block后则第一块上传完成,可以开始上传第二块了


hdfs下载流程


客户端向nn请求下载某个文件,
nn通过查询元数据找到文件地址返回文件地址给客户端,
客户端挑选一台dn开始请求数据
dn开始传输数据,以packet的形式传输给客户端
客户端拿到所有的packet后合并为一个完整的文件
**下载的过程可以并发进行下载,也就是同时找不同的dn进行下载不同的块文件

原文地址:https://www.cnblogs.com/MMarshall/archive/2022/03/03/15962562.html

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

HDFS的上传下载流程

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

HDFS的上传下载流程

hdfs上传流程首先客户端向nn请求上传文件、nn经过检查回应客户端是否可以上传、客户端得到同意后向nn请求上传第一块文件的dn、nn返回给客户端dn的地址、客户端与其中一个dn1建立连接然后dn1再与dn2连接,dn2再与dn3进行连接、dn3,dn2,dn
HDFS的上传下载流程
2014-08-17

Java怎么实现HDFS文件上传下载

今天小编给大家分享一下Java怎么实现HDFS文件上传下载的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。1、pom.xml配
2023-07-02

前端大文件上传与下载(分片上传)的详细过程

最近遇见一个需要上传超大大文件的需求,所以下面这篇文章主要给大家介绍了关于前端大文件上传与下载(分片上传)的详细过程,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2022-11-13

python ftp 上传、下载文件

python ftp 上传、下载文件#获取昨天日期TODAY = datetime.date.today() YESTERDAY = TODAY - datetime.timedelta(days=1)CURRENTDAY=YESTERDA
2023-01-31

linux下上传下载文件夹的方法

linux下目录复制:本机->远程服务器scp -r /home/shaoxiaohu/test1 zhidao@192.168.0.1:/home/test2test1为源目录,test2为目标目
2022-06-04

python实现FTP上传下载

要求:支持多用户在线的FTP程序要求:1、用户加密认证2、允许同时多用户登录3、每个用户有自己的家目录 ,且只能访问自己的家目录4、对用户进行磁盘配额,每个用户的可用空间不同5、允许用户在ftp server上随意切换目录6、允许用户查看当
2023-01-31

Linux下怎么上传、下载文件

这篇文章给大家分享的是有关Linux下怎么上传、下载文件的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。lrzsz-0.12.20.tar.gz是一款linux下命令行界面上支持上传和下载的第三方工具,能够起到很方
2023-06-28

Spring MVC 图片的上传和下载

✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏:
2023-08-20

HDFS读流程的示例分析

这篇文章给大家分享的是有关HDFS读流程的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1.客户端或者用户通过调用FileSystem对象的Open()方法打开需要读取的文件,这时就是HDSF分布式系统所
2023-06-02

HDFS的读写流程是什么

今天小编给大家分享一下HDFS的读写流程是什么的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。1.读文件的流程如图所示,读文件
2023-06-27

编程热搜

目录