石狮网站建设价格网站模板选择
【Hadoop-驯化】一文学会hadoop访问hdfs中常用命令使用技巧
本次修炼方法请往下查看
🌈 欢迎莅临我的个人主页 👈这里是我工作、学习、实践 IT领域、真诚分享 踩坑集合，智慧小天地！
🎇 免费获取相关内容文档关注：微信公众号，发送 pandas 即可获取
🎇 相关内容视频讲解 B站
🎓 博主简介：AI算法驯化师，混迹多个大厂搜索、推荐、广告、数据分析、数据挖掘岗位 个人申请专利40+，熟练掌握机器、深度学习等各类应用算法原理和项目实战经验。
🔧 技术专长： 在机器学习、搜索、广告、推荐、CV、NLP、多模态、数据分析等算法相关领域有丰富的项目实战经验。已累计为求职、科研、学习等需求提供近千次有偿|无偿定制化服务，助力多位小伙伴在学习、求职、工作上少走弯路、提高效率，近一年好评率100% 。
📝 博客风采： 积极分享关于机器学习、深度学习、数据分析、NLP、PyTorch、Python、Linux、工作、项目总结相关的实用内容。
🌵文章目录🌵
- 🎯 1.基本介绍
- 💡 2. 代码用法
- 2.1 查看文件系统状态
- 2.2 列出目录内容
- 2.3 创建目录
- 2.4 上传文件到HDFS
- 2.5 下载HDFS文件到本地
- 2.6 删除文件或目录
- 💡 3. hadoop中难记的命令
- 💡 4. 注意事项
- 💡 5. 总结
下滑查看解决方法
🎯 1.基本介绍
Hadoop分布式文件系统（HDFS）是一个分布式文件系统，允许跨多个机器存储和处理大量数据。HDFS的命令行工具hdfs提供了多种命令，用于文件和目录的管理、访问权限的设置以及数据的复制和恢复等。
💡 2. 代码用法
hadoop中常用的一些命令具体如下所示：
2.1 查看文件系统状态
具体的写法去终端执行如下：
hadoop fs dfsadmin -reportConfigured Capacity: 100 GB
...
2.2 列出目录内容
hdfs dfs -ls /Found 3 items
drwxr-xr-x - hadoop supergroup 0 2023-03-01 00:00 /user
drwxr-xr-x - hadoop supergroup 0 2023-03-01 00:00 /tmp2.3 创建目录
hdfs dfs -mkdir /user/hadoopdir...2.4 上传文件到HDFS
hdfs dfs -put localfile.txt /user/hadoopdir/...2.5 下载HDFS文件到本地
hdfs dfs -get /user/hadoopdir/localfile.txt .2.6 删除文件或目录
hdfs dfs -rm /user/hadoopdir/localfile.txt💡 3. hadoop中难记的命令
hadoop distcp: 大规模的拷贝文件，可以跨集群进行copy, 其中su为源文件的路径，du为目的地的路径，对于里面的url路径和用户的路径，如果不知道的话可以去hadoop客户端的路径下的hadoop-site.xml里面进行查找，这里面可以找到用户信息和配置url信息
hadoop-yq distcp -D mapred.job.priority=VERY_HIGH -su b2b-new,b2b-rd -du spider,spider afs://pegasus.afs.baidu.com:9902/path1 hdfs://yq01-build-hdfs.dmop.baidu.com:54310/path2
hadoop job -list: 查看当前任务数量
💡 4. 注意事项
- HDFS命令区分大小写，确保正确输入命令和路径。
- 某些命令可能需要Hadoop集群管理员权限。
- 使用-R选项可以递归地对目录及其内容执行操作。
- 定期检查HDFS的健康状况，以确保数据的完整性和可用性。
💡 5. 总结
Hadoop的HDFS命令行工具提供了丰富的功能，用于管理分布式文件系统中的文件和目录。通过本博客的代码示例，我们学习了如何使用这些命令来执行基本和高级的文件操作。希望这篇博客能够帮助你更好地理解Hadoop HDFS命令的用法，提高你在Hadoop集群中管理数据的效率。