toobugV管理员
文章 8934 篇 | 评论 17 次

作者 toobug 发布的文章

canal实现mysql数据同步

热文canal实现mysql数据同步

前言 canal是实现mysql数据备份,异地灾备,异地数据同步等重要的中间件,在实际的业务场景中有着广泛的使用,本文基于小编所在项目中一个异地数据同步的场景为例,通过案例演示下利用canal实现mysql数据同步的...

centos7 安装单机 ClickHouse

热文centos7 安装单机 ClickHouse

前言 ClickHouse 是俄罗斯的 Yandex 于 2016 年开源的列式存储数据库(DBMS),使用 C++ 语言编写,主要用于在线分析处理查询(OLAP),能够使用 SQL 查询实时生成分析数据报告 本篇首...

基于单机hdfs安装hive

热文基于单机hdfs安装hive

前言 对于做大数据开发的同学来说,掌握hive是必备的技能之一,hive基于hdfs之上的一款强大的数据分析框架,可以从海量的数据中做出高效的数据分析,而且迎合大多数有着sql使用习惯的各类技术人员 话不多说,我们先...

springboot 双缓存设计与使用

热文springboot 双缓存设计与使用

前言 在日常开发中,缓存可以说已经成为必不可少的使用,在很多场景下,缓存带来的效果是非常明显的,可以有效缓解系统洪峰对数据库造成的压力,提升系统整体的接口响应,因此一个比较常用的数据存储设计结构就是:mysql + ...

hadoop实现求共同好友

热文hadoop实现求共同好友

前言 在很多社交APP中,比如大家熟悉的QQ好友列表中,打开会话框,经常可以看到下面有一栏共同好友的推荐列表,用户通过这种方式,可以添加潜在的关联好友 这种功能该如何实现呢?对redis比较了解的同学应该能很快想到,...

hadoop中join操作

热文hadoop中join操作

前言 在mysql中,经常涉及到2张表或者多张表的关联查询,通常通过中间字段将两个表做关联,在MapReduce中,某些场景下也会遇到类似的需求,比如说,将两个原始的日志文件,通过中间业务字段进行关联,然后重新输出为...

hadoop 自定义OutputFormat
热文hadoop 自定义OutputFormat

前言 在某些业务场景下,需要对原始的数据进行合理的分类输出,减少后续的程序处理数据带来的麻烦,其实这也属于ETL中的一种,比如,我们收集到了一份原始的日志,主体字段为区域编码,需要根据这个编码将这份日志分割输出到不同...

阿里云安装单机hbase

热文阿里云安装单机hbase

前言 hbase作为一款非关系型数据库,在大数据的数据存储领域占据着重要的作用,工欲善其事必先利其器,我们从环境搭建开始来逐渐深入吧 环境准备 centos7环境,本文以阿里云为例 hbase安装包,本文使用的是 2...