收藏本站 | RSS订阅大数据运维|云计算|攻防安全|AI|互联网时代守护先锋
  • 焦点图说明文字 111

  • 焦点图说明文字 222

12月26日

[置顶] 五分钟轻松了解Hbase面向列的存储

分类:Hadoop | 超过 5508 人围观 | 已有 0 人发表了看法

五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关系型的,且是按行来存储的。如下图:其中只有张三把一行数据填满了,李四王五赵六的行都没有填满。因为这里的行结构是固定的,每一行都一样,即使你不用,也必须空到那里,而不能没有。来一张形象的图:不管你坐或不坐,...

查看全文 本文标签:Go
03月13日

[置顶] OpenTSDB/HBase的调优过程整理

分类:Hbase | 超过 6044 人围观 | 已有 0 人发表了看法

OpenTSDB/HBase的调优过程整理

背景过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。我说这太抠了,寂寞哥说之前的TSDB集群运行了两年,4台同样配置的机器,目前hdfs才用了40%,所以前期先用着这三台机器,不够再加。于是我只好默默地搭好了CDH5、openTSDB(2.1版本,请注意此版本号)、bosun,并在2...

查看全文 本文标签:算法
02月02日

[置顶] 亿级 ELK 日志平台构建部署实践

分类:Hadoop | 超过 9736 人围观 | 已有 0 人发表了看法

亿级 ELK 日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」

废话不多说,老司机们座好了,我们准备发车了~~~

整体架构

亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级ELK系统。日志平台具体发展历程可以参考上篇 「从ELK到EFK演进」废话不多说,老司机们座好了,我们准备发车了~~~整体架构整体架构主要分为4个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先Logstash-fowar...

查看全文 本文标签:安全
04月07日

[置顶] HBase数据压缩编码探索

分类:Hbase | 超过 5637 人围观 | 已有 0 人发表了看法

HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,只有几百qps的冷数据缓存,却因为存储水位要浪费几十台服务器?你可曾遇到这种需求,几百G的表,必须纯cache命中,性能才能满足业务需求?你可曾遇到,几十M的小表,由于qps过高,必须不停的split,b...

查看全文 本文标签:安全
01月31日

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

分类:Hadoop | 超过 8739 人围观 | 已有 0 人发表了看法

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是是否否否jou...

查看全文 本文标签:Oracle
04月18日

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

分类:Hadoop | 超过 8807 人围观 | 已有 0 人发表了看法

Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari2.6.2中HDFS-2.7.3YARN-2.7.3HIVE-1.2.1HBASE-1.1.2ZOOKEEPER-3.4.6SPARK-2.3.0注:本文基于root用户操作一、安装环境准备操作系统centos7.5hdc-data1:192.168.163.51hdc-data2:192.168.163.52hdc-da...

查看全文 本文标签:安全
05月23日

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

分类:Hadoop | 超过 7531 人围观 | 已有 0 人发表了看法

hadoop-2.7.7 HA完全分布式集群部署详解

1.HadoopHA简介及工作原理HadoopNameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNodeHA的高可用的。1.1HadoopHA简介Hadoop-HA集群运作机制介绍HA即高可用(7*24小时不中断服务)实现高可用最关键的是消除单点故障分成各个组件的HA机制——HDFS的HA、YARN的HA...

查看全文 本文标签:Hadoop
05月23日

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器shodan

分类:Safe | 超过 7737 人围观 | 已有 0 人发表了看法

1.暗黑谷歌的由来有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件服务设施。它就是shodan,那么shodan到底是什么呢?怎么会有如此大的魔力?首先,Shodan是一个搜索引擎,但它与Google这种搜索网址的搜索引擎不同,Shodan不是在网上搜索网址,而是直接进入互联网探索其背后的信息。Shodan真正值得注意的能力就是能找...

查看全文 本文标签:安全
04月08日

[置顶] HDFS的元数据文件fsimage和编辑日志edits

分类:Hadoop | 超过 1351 人围观 | 已有 0 人发表了看法

HDFS的元数据文件fsimage和编辑日志edits

在HDFS中,fsimage和eidts是NameNode两个非常重要的文件。其中,fsimage是HDFS文件系统存于硬盘中的元数据检查点,里面记录了自最后一次检查点之前HDFS文件系统中所有目录和文件的序列化信息;而edits保存了自最后一次检查点之后所有针对HDFS文件系统的操作,比如:增加文件、重命名文件、删除目录等等。 在NameNode...

查看全文 本文标签:Hadoop
07月04日

Oracle数据库---触发器

分类:Oracle | 超过 188 人围观 | 已有 0 人发表了看法

SQL>--当我们对empnew执行删除操作之后,它就会出现一个提示信息,提示:这是删除操作!SQL>CREATETRIGGERfirst_trigger2AFTERDELETE3ONempnew4BEGIN5DBMS_OUTPUT.put_line('这是删除的操作!');6END;7/TriggercreatedSQL>SETSERVEROUTPUTONSQL>...

查看全文 本文标签:
07月04日

Go - Struct 结构体

分类:go | 超过 454 人围观 | 已有 0 人发表了看法

Go - Struct 结构体

目录概述声明结构体生成JSON改变数据推荐阅读概述结构体是将零个或多个任意类型的变量,组合在一起的聚合数据类型,也可以看做是数据的集合。声明结构体//demo_11.gopackagemainimport("fmt")typePersonstruct{Na...

查看全文 本文标签:
07月04日

计算几何学常用公式和技巧

分类:算法 | 超过 432 人围观 | 已有 0 人发表了看法

叉积x1*y2-x2*y1点积x1*x2-x2*y1 求点的极角 atan2(y,x)返回该点与原点的连线与正x轴的夹角,从-π到π(弧度)。可以将其乘上180/π,得到角度 两点确定方程a=y2-y1;b=x1-x2;c=x2*y1-x1*y2;可以自己列两个解来推导两直线交点x=(b1*c2-b2*c1)/(a1*b2-...

查看全文 本文标签:
07月04日

算法—希尔排序

分类:算法 | 超过 405 人围观 | 已有 0 人发表了看法

算法—希尔排序

希尔排序希尔排序,也称递减增量排序算法,是插入排序的一种更高效的改进版本。希尔排序是非稳定排序算法。希尔排序是基于插入排序的以下两点性质而提出改进方法的:插入排序在对几乎已经排好序的数据操作时,效率高,即可以达到线性排序的效率但插入排序一般来说是低效的,因为插入排序每次只能将数据移动一位过程演示:1#inc...

查看全文 本文标签:
07月04日

InfluxDB因修改默认数据目录导致服务无法正常运行的问题(权限问题)

分类:Nosql | 超过 521 人围观 | 已有 0 人发表了看法

InfluxDB因修改默认数据目录导致服务无法正常运行的问题(权限问题)

在实际的生产中,考虑的实际情况,我们会调整一些默认配置,例如,数据目录。InfluxDB修改默认的Data目录后,因权限问题,服务无法正常运行。以下是具体的分析测试过程。配置文件为/etc/influxdb/influxdb.conf,关于数据存放的默认配置如下:调整后的配置:启动influxdb后,查看服务运行状态提示错误,infl...

查看全文 本文标签:
07月04日

Oracle 数据库表中已有重复数据添加唯一键(唯一约束)

分类:Oracle | 超过 211 人围观 | 已有 0 人发表了看法

Oracle数据库表中已有重复数据添加唯一键(唯一约束)问题描述以demo举例,模拟真实场景。表TEST_TABLE有如下字段和数据:id是主键,code没有设置键和索引IDCODE1code12code23code24...

查看全文 本文标签:
07月04日

oracle——学习之路(select检索)

分类:Oracle | 超过 179 人围观 | 已有 0 人发表了看法

oracle——学习之路(select检索)

select语法: select  [distinct|all]  列名   from  表名   [where]  [groupby]  [having]&n...

查看全文 本文标签:
07月04日

Redis的主从复制

分类:Nosql | 超过 402 人围观 | 已有 0 人发表了看法

Redis的主从复制

前言  关系数据库通常会使用一个主服务器向多个从服务器发送更新,并使用从服务器来处理所有的读请求,Redis采用了同样方法来实现自己的复制特性。  简单总结起来就是:在接收到主服务器发送的数据初始副本之后,客户端每次主服务器进行写命令时,从服务器都会实时地得到更新。部署好主从服务器之后,客户端可以向任意的从服务器发送读请求。  本文主要...

查看全文 本文标签:
07月04日

SQL SERVER导入EXCEL文件:未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序

分类:Oracle | 超过 211 人围观 | 已有 0 人发表了看法

1.安装相关组件 2.程序生成属性32位改为64位...

查看全文 本文标签:
07月04日

NoSQL数据库兴起

分类:Nosql | 超过 433 人围观 | 已有 0 人发表了看法

NoSQL数据库兴起

前言近几年NoSQL数据库兴起,各种新的产品层出不穷,在此学习下NoSQL的基本理论,并认识下常见的NoSQL数据库。一NoSQL数据库兴起的原因随着大数据技术兴起和Web2.0时代的到来。传统关系型数据库已经无法满足当前的数据库需求了。无法满足的需求主要有3点:海量数据的存储与管理(传统关系型数据库已经无法支撑)...

查看全文 本文标签:
07月04日

LeetCode.997-找到镇法官(Find the Town Judge)

分类:算法 | 超过 419 人围观 | 已有 0 人发表了看法

这是悦乐书的第373次更新,第400篇原创01看题和准备今天介绍的是LeetCode算法题中Easy级别的第234题(顺位题号是997)。在一个城镇,有N个人从1到N标记。有传言说其中一个人是秘密的镇法官。如果镇法官存在,那么:镇法官不信任任何人。每个人(镇法官除外)都信任镇法官。只有一个人满足前两条。给定一个trust数组,一对trust[i]=[a,b]表示被标记为a的人信任标记为b...

查看全文 本文标签:
07月04日

寻找图的强连通分量:tarjan算法简单理解

分类:算法 | 超过 456 人围观 | 已有 0 人发表了看法

寻找图的强连通分量:tarjan算法简单理解

1、简介tarjan是一种使用深度优先遍历(DFS)来寻找有向图强连通分量的一种算法。2、知识准备栈、有向图、强连通分量、DFS。3、快速理解tarjan算法的运行机制提到DFS,能想到的是通过栈来储存沿途的点,可以找到所有的环。环本身就是联通的,所以环对于强连通分量来说环已经很接近最终答案了。要把找环变成找强连通管分量还要考虑:a.在环外是不是有其...

查看全文 本文标签:
微信公众号
  • 关注微信公众号
«   2019年5月   »
12345
6789101112
13141516171819
20212223242526
2728293031
网站分类
文章归档
网站收藏
友情链接
广告赞助
  • 点击查看详情