编程天地

这是关于编程天地分类的相关文章列表

联合漏洞预警服务(2022-07-19 暂停开放)

置顶联合漏洞预警服务(2022-07-19 暂停开放)

关于在线社工库关闭的问题 TOOBUG博客自2016年开始与之前守夜人平台进行合作,充分利用守夜人平台的预警中心,为双方会员提供信息安全预警、账号行为分析、个人信息检索、人际关系分析、用户网络指纹记录、精准IP定位等...

阿里云安装单机hbase

热文阿里云安装单机hbase

前言 hbase作为一款非关系型数据库，在大数据的数据存储领域占据着重要的作用，工欲善其事必先利其器，我们从环境搭建开始来逐渐深入吧环境准备 centos7环境，本文以阿里云为例 hbase安装包，本文使用的是 2...

hadoop使用combiner合并操作

热文hadoop使用combiner合并操作

前言任务从MapperTask出来的时候，数据要暂存在一段缓存空间，然后ReducerTask再拉取这些数据进行处理，map到reduce中间的这一段操作，官方称作为 shuffle 通过前面的章节我们了解到，往往...

hadoop 实现数据排序

热文hadoop 实现数据排序

前言在很多业务场景下，需要对原始的数据读取分析后，将输出的结果按照指定的业务字段进行排序输出，方便上层应用对结果数据进行展示或使用，减少二次排序的成本在hadoop的MapReduce中，提供了对于客户端的自定义...

hadoop 自定义分区

热文hadoop 自定义分区

分区概念分区这个词对很多同学来说并不陌生，比如Java很多中间件中，像kafka的分区，mysql的分区表等，分区存在的意义在于将数据按照业务规则进行合理的划分，方便后续对各个分区数据高效处理 Hadoop分区 h...

hadoop 切片机制详解

热文hadoop 切片机制详解

前言切片这个词对于做过python开发的同学一定不陌生，但是与hadoop中的切片有所区别，hadoop中的切片是为了优化hadoop的job在处理过程中MapTask阶段的性能达到最优而言上面是一张MapRed...

hadoop 实现序列化

热文hadoop 实现序列化

前言序列化想必大家都很熟悉了，对象在进行网络传输过程中，需要序列化之后才能传输到客户端，或者客户端的数据序列化之后送达到服务端序列化的标准解释如下：序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）...

MapReduce之WordCount案例

热文MapReduce之WordCount案例

前言学习大数据框架通常都是从wordcount案例开始的，也是学习框架的基础，wordcount虽然简单，如果能彻底搞清楚其运行原理，对后续深入学习和掌握MapReduce非常有帮助的，本篇以一个wordcount...

java实现单链表

热文java实现单链表

链表是java数据结构中一种很基础很常见却也很重要的数据结构，JDK中许多内置jar包基于单链表实现，比如像我们熟悉的linkedList等，为什么要使用链表呢？我们知道java中很多集合的底层是基于数组实现的，数...

centos7搭建hadoop

热文centos7搭建hadoop

前言 hadoop是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此学习和掌握hadoop对学习大数据很有必要 haddop常用的3种运行模式包括：本地模式，单机运行，只是用来演...

Java操作hdfs文件系统

热文Java操作hdfs文件系统

前言在上一篇，我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作，本篇将分享如何基于JavaAPI 操作hdfs文件系统前置准备默认服务器上的hadoop服务已经启动本地如果是win...