置顶联合漏洞预警服务(2022-07-19 暂停开放)关于在线社工库关闭的问题 TOOBUG博客自2016年开始与之前守夜人平台进行合作,充分利用守夜人平台的预警中心,为双方会员提供信息安全预警、账号行为分析、个人信息检索、人际关系分析、用户网络指纹记录、精准IP定位等...
热文hadoop 实现数据排序前言 在很多业务场景下,需要对原始的数据读取分析后,将输出的结果按照指定的业务字段进行排序输出,方便上层应用对结果数据进行展示或使用,减少二次排序的成本 在hadoop的MapReduce中,提供了对于客户端的自定义...
热文hadoop 自定义分区分区概念 分区这个词对很多同学来说并不陌生,比如Java很多中间件中,像kafka的分区,mysql的分区表等,分区存在的意义在于将数据按照业务规则进行合理的划分,方便后续对各个分区数据高效处理 Hadoop分区 h...
热文hadoop 切片机制详解前言 切片这个词对于做过python开发的同学一定不陌生,但是与hadoop中的切片有所区别,hadoop中的切片是为了优化hadoop的job在处理过程中MapTask阶段的性能达到最优而言 上面是一张MapRed...
热文hadoop 实现序列化前言 序列化想必大家都很熟悉了,对象在进行网络传输过程中,需要序列化之后才能传输到客户端,或者客户端的数据序列化之后送达到服务端 序列化的标准解释如下: 序列化就是把内存中的对象,转换成字节序列(或其他数据传输协议)...
热文MapReduce之WordCount案例前言 学习大数据框架通常都是从wordcount案例开始的,也是学习框架的基础,wordcount虽然简单,如果能彻底搞清楚其运行原理,对后续深入学习和掌握MapReduce非常有帮助的,本篇以一个wordcount...
热文centos7搭建hadoop前言 hadoop是其他大数据框架的基础运行环境,尤其是hdfs,是其他大数据框架的基础存储载体,因此学习和掌握hadoop对学习大数据很有必要 haddop常用的3种运行模式包括: 本地模式 ,单机运行,只是用来演...
热文Java操作hdfs文件系统前言 在上一篇,我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作,本篇将分享如何基于JavaAPI 操作hdfs文件系统 前置准备 默认服务器上的hadoop服务已经启动 本地如果是win...
热文HDFS常用文件操作命令汇总前言 掌握常用的hdfs文件操作命令是考验对hadoop集群运维的基本功,可以说是必须掌握的基础技能,本篇将常用的hdfs文件操作命令做一些汇总,方便日后快速查询备用 下面以具体的命令操作演示下常用HDFS文件操作命...
热文离线部署CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Had...
热文Hadoop-2.7.4 集群快速搭建Hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系...
波场转账节省手续费-2TRX=1次转账次数直接节省80%!无视对方有没有U或者是否交易所,低于2TRX的