我的编程空间,编程开发者的网络收藏夹
学习永远不晚

HDFS中JAVA API的使用

短信预约 -IT技能 免费直播动态提醒
省份

北京

  • 北京
  • 上海
  • 天津
  • 重庆
  • 河北
  • 山东
  • 辽宁
  • 黑龙江
  • 吉林
  • 甘肃
  • 青海
  • 河南
  • 江苏
  • 湖北
  • 湖南
  • 江西
  • 浙江
  • 广东
  • 云南
  • 福建
  • 海南
  • 山西
  • 四川
  • 陕西
  • 贵州
  • 安徽
  • 广西
  • 内蒙
  • 西藏
  • 新疆
  • 宁夏
  • 兵团
手机号立即预约

请填写图片验证码后获取短信验证码

看不清楚,换张图片

免费获取短信验证码

HDFS中JAVA API的使用

HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。

对分HDFS中的文件操作主要涉及一下几个类:

Configuration类:该类的对象封转了客户端或者服务器的配置。

FileSystem类:该类的对象是一个文件系统对象,可以用该对象的一些方法来对文件进行操作。FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。

FSDataInputStream和FSDataOutputStream:这两个类是HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。

具体如何对文件操作清下下面例子:

package com.hdfs;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IOUtils;public class HdfsTest {    //创建新文件  public static void createFile(String dst , byte[] contents) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path dstPath = new Path(dst); //目标路径    //打开一个输出流    FSDataOutputStream outputStream = fs.create(dstPath);    outputStream.write(contents);    outputStream.close();    fs.close();    System.out.println("文件创建成功!");  }    //上传本地文件  public static void uploadFile(String class="lazy" data-src,String dst) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path class="lazy" data-srcPath = new Path(class="lazy" data-src); //原路径    Path dstPath = new Path(dst); //目标路径    //调用文件系统的文件复制函数,前面参数是指是否删除原文件,true为删除,默认为false    fs.copyFromLocalFile(false,class="lazy" data-srcPath, dstPath);        //打印文件路径    System.out.println("Upload to "+conf.get("fs.default.name"));    System.out.println("------------list files------------"+"\n");    FileStatus [] fileStatus = fs.listStatus(dstPath);    for (FileStatus file : fileStatus)     {      System.out.println(file.getPath());    }    fs.close();  }    //文件重命名  public static void rename(String oldName,String newName) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path oldPath = new Path(oldName);    Path newPath = new Path(newName);    boolean isok = fs.rename(oldPath, newPath);    if(isok){      System.out.println("rename ok!");    }else{      System.out.println("rename failure");    }    fs.close();  }  //删除文件  public static void delete(String filePath) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path path = new Path(filePath);    boolean isok = fs.deleteOnExit(path);    if(isok){      System.out.println("delete ok!");    }else{      System.out.println("delete failure");    }    fs.close();  }    //创建目录  public static void mkdir(String path) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path class="lazy" data-srcPath = new Path(path);    boolean isok = fs.mkdirs(class="lazy" data-srcPath);    if(isok){      System.out.println("create dir ok!");    }else{      System.out.println("create dir failure");    }    fs.close();  }    //读取文件的内容  public static void readFile(String filePath) throws IOException{    Configuration conf = new Configuration();    FileSystem fs = FileSystem.get(conf);    Path class="lazy" data-srcPath = new Path(filePath);    InputStream in = null;    try {      in = fs.open(class="lazy" data-srcPath);      IOUtils.copyBytes(in, System.out, 4096, false); //复制到标准输出流    } finally {      IOUtils.closeStream(in);    }  }      public static void main(String[] args) throws IOException {    //测试上传文件    //uploadFile("D:\\c.txt", "/user/hadoop/test/");    //测试创建文件        //测试重命名    //rename("/user/hadoop/test/d.txt", "/user/hadoop/test/dd.txt");    //测试删除文件    //delete("test/dd.txt"); //使用相对路径    //delete("test1");  //删除目录    //测试新建目录    //mkdir("test1");    //测试读取文件    readFile("test1/d.txt");  }}

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

HDFS中JAVA API的使用

下载Word文档到电脑,方便收藏和打印~

下载Word文档

猜你喜欢

HDFS中JAVA API的使用

HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。对分HDFS中的文件操作主要涉及一下几个类:Configu
2023-05-31

Java中的API怎么使用

这篇“Java中的API怎么使用”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Java中的API怎么使用”文章吧。1.API
2023-06-29

Java使用ChatGPT的API详解

OpenAIAPI几乎可以应用于任何涉及理解或生成自然语言或代码的任务。本文将带你们介绍Java如何使用ChatGPT的API,感兴趣的同学可以跟着小编一起来学习
2023-05-18

Java项目中API的使用技巧有哪些

Java项目中API的使用技巧有哪些?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1. 不要自己去实现安全框架说真的,不要尝试自己去实现安全方面的代码,这太难了。几乎每个人
2023-05-31

HBase JAVA API使用(2.1.0-cdh6.2.0)

集群版本:CDH6.2.0集群Hadoop版本:Hadoop 3.0.0-cdh6.2.0集群HBase版本:2.1.0-cdh6.2.0操作系统:macOS 10.15.5IntelliJ IDEA 版本:IntelliJ IDEA 2019.2.3 (Ul
HBase JAVA API使用(2.1.0-cdh6.2.0)
2015-09-01

Java高版本Api在Android中如何使用

这篇文章主要介绍“Java高版本Api在Android中如何使用”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Java高版本Api在Android中如何使用”文章能帮助大家解决问题。Android插
2023-06-30

hadoop中的hdfs有什么作用

HDFS(Hadoop Distributed File System)是Hadoop中的分布式文件系统,其主要作用是存储和管理大规模数据集。HDFS被设计用来在大量的服务器上存储和处理大量数据,并提供高可靠性、高容错性和高吞吐量的数据访问
hadoop中的hdfs有什么作用
2024-03-13

怎么在HDFS中组织和使用数据

这篇文章主要为大家展示了“怎么在HDFS中组织和使用数据”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“怎么在HDFS中组织和使用数据”这篇文章吧。4.1 组织数据组织数据是使用Hadoop最具挑
2023-06-02

JAVA API 中的包(转)

在下抛砖引玉,写一篇关于java API中的包名与它所包含的内容的文章,希望对初学者,和高手参考使用,由于水平有限,请大家如果再知道其他包,请继续填加……   包名                 内容java.applet Applet小
2023-06-03

Vuex中的API怎么使用

今天小编给大家分享一下Vuex中的API怎么使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。构造器选项state类型: O
2023-07-04

流畅解析 XML:使用 Java 的 SAX API

使用 Java 的 SAX API 解析 XML
流畅解析 XML:使用 Java 的 SAX API
2024-03-07

编程热搜

  • Python 学习之路 - Python
    一、安装Python34Windows在Python官网(https://www.python.org/downloads/)下载安装包并安装。Python的默认安装路径是:C:\Python34配置环境变量:【右键计算机】--》【属性】-
    Python 学习之路 - Python
  • chatgpt的中文全称是什么
    chatgpt的中文全称是生成型预训练变换模型。ChatGPT是什么ChatGPT是美国人工智能研究实验室OpenAI开发的一种全新聊天机器人模型,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,并协助人类完成一系列
    chatgpt的中文全称是什么
  • C/C++中extern函数使用详解
  • C/C++可变参数的使用
    可变参数的使用方法远远不止以下几种,不过在C,C++中使用可变参数时要小心,在使用printf()等函数时传入的参数个数一定不能比前面的格式化字符串中的’%’符号个数少,否则会产生访问越界,运气不好的话还会导致程序崩溃
    C/C++可变参数的使用
  • css样式文件该放在哪里
  • php中数组下标必须是连续的吗
  • Python 3 教程
    Python 3 教程 Python 的 3.0 版本,常被称为 Python 3000,或简称 Py3k。相对于 Python 的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0 在设计的时候没有考虑向下兼容。 Python
    Python 3 教程
  • Python pip包管理
    一、前言    在Python中, 安装第三方模块是通过 setuptools 这个工具完成的。 Python有两个封装了 setuptools的包管理工具: easy_install  和  pip , 目前官方推荐使用 pip。    
    Python pip包管理
  • ubuntu如何重新编译内核
  • 改善Java代码之慎用java动态编译

目录