百科知识 
消息队列常见面试题：消息队列该如何选型？
同学们，经常有人问，消息队列的种类繁多，在进行项目规划时到底该怎么选呢？相信很多同学都有同样的困惑。其实市面上常用的消息队列也就三个，分别是 rabbitmq、rocketmq 和 kafka 。 咱…
百科知识
Hadoop经典综合性案例—温度排序示例
温度排序示例是一个综合性比较强的Hadoop经典案例，除了基础的MapReduce，还有自定义序列化对象、分区、分组、自定义排序等相关知识，对于刚入门的同学来说，理解起来可能会稍有困难。 假设有多年气…
百科知识
学java还是大数据哪个就业前景好，哪个好找工作
我是一个自学转向大数据的机械专业学生，最初在做Java开发，后来转向大数据领域，目前担任大型公司的数据部门负责人。在这里，我想分享一下自己的观点。 学习门槛和发展潜力 学习大数据相对Java而言门槛略…
百科知识
Hadoop中HDFS 的常用命令
我们已经知道 HDFS 是分布式存储，可以存放大批量的文件，如果要对文件进行操作，可以通过下面的命令来完成，如读取文件、上传文件、删除文件和建立目录等。 1.对文件的操作 HDFS 的命令都在 Had…
百科知识
Yarn基本架构及其主要角色
1.基本架构 YARN是Hadoop2.0版本新引入的资源管理系统，直接从MR1演化而来。 将MP1中JobTracker的资源管理和作业调度两个功能分开，分别由ResourceManager和App…
百科知识
前端如何实现回到用户上次阅读位置，优化阅读体验？
用户阅读长篇文章或浏览多屏信息时，阅读过程中经常被打断，再次打开页面时却要重新寻找上次阅读的位置，这无疑会极大地影响用户体验。就好比用户在一篇长达5000字的文章中，深夜读到第3屏时被外卖电话打断，第…
百科知识
Flume日志采集工具入门简介
在大数据技术架构中，主要包括数据采集、数据存储、数据计算、数据分析、数据可视化等核心步骤。其中数据采集至关重要，只有将数据源的数据采集过来，才可以进行计算和分析等工作，但是由于数据源很分散，导致数据的…
百科知识
HDFS应用—基于shell操作和基于Java API操作
1.基于 Shell 的操作 以下介绍一些我们在 Shell 中操作 HDFS 时经常用到的命令。 HDFS 创建目录的命令是 mkdir，命令格式如下： hdfs dfs -mkdir 文件夹名 例…
百科知识
数据库常见面试题：分库分表之后如何进行分页查询
我们为了提升数据库的查询性能，进行了分库分表。但分表一时爽，虽然性能提升了，却也同时遇到了很多问题。其中，分页查询就是一个常见问题，很多小伙伴在前几期的评论区也提到过类似问题。 其实说到分页查询，真正…
