0x00 起因是需要往MongoDB的Shard分片集群导入两个T(十亿文档)级别的数据。其中遇到了各种很严重的性能问题,在这里做一下记录。 0x01 索引 在导入数据时,尽量不提前建立索引,仅建立必...
初探 Hadoop 集群安全
最近因为某些原因学习接触到了开源的大数据框架:Hadoop,该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储,详细概...
基于 Prometheus 与 Grafana 打造企业级 Flink 监控系统
在进入本文之前,我先问大家一个问题,你们公司或者业务系统上是如何对生产集群上的数据同步任务、实时计算任务或者是调度任务本身的执行情况和日志进行监控的呢?可能你会回答是自研或者 ELK 系统或者 Zab...
道哥的网站优化指南(二)
昨天主要讲了网站的性能优化,今天再讲讲其他方面。 在此之前,想先八卦几句。网站优化的这些技术,根据业务的成长适当的用用就行了,业务才是最根本的,切勿舍本逐末。等到网站的访问量规模成长了,出现问题了,再...
记一次 Kubernetes 机器内核问题排查
此次排查发生在 2020 年 11 月份,一直没时间写博客描述事情经过,本次正好一起写了吧。具体现象在线上环境中的某个应用出现了接口缓慢的问题!就凭这个现象,能列出来的原因数不胜数。本篇博客主要叙述一...
渗透技巧-Hadoop命令执行
0X00 Hadoop介绍和漏洞原理Hadoop是一个由Apache的分布式系统基础架构,用户可开发分布式程序,充分利用集群的威力进行高速运算和存储,实现...
Kubernetes-一文详解ServiceAccount与RBAC权限控制
一、ServiceAccount1.ServiceAccount 介绍首先Kubernetes中账户区分为:User Accounts(用户账户) 和 Service Accounts(服务账户) 两...
盐城公安集群打击,境外博彩闻风丧胆!连夜开除江苏员工
9月24日,盐城市公安局召开全市公安机关打击治理跨境赌博暨“净网2020”专项行动集群收网新闻发布会,发布行动成果。连日来,盐城市警方组织近500余名警力,跨越全国17个省市,行程3万余公里开展集中抓...
Kafka集群搭建及必知必会
Kafka集群部署并启动在本文中将从演示如何搭建一个Kafka集群开始,然后简要介绍一下关于Kafka集群的一些基础知识点。但本文仅针对集群做介绍,对于Kafka的基本概念不做过多说明,这里假设读者拥...
Kubei:一款针对Kubernetes集群的实时安全扫描工具
KubeiKubei是一款针对Kubernetes集群的实时安全扫描工具,该工具将允许广大研究人员对正在运行的Kubernetes集群进行实时扫描,并获取准确及时的安全评估结果。Kubei能够扫描一个...
Docker Swarm概念与基本用法
Docker Swarm是Docker公司开发的容器集群管理服务。从1.12.0版本开始,已经是Docker安装后自带的一部分(捆绑软件)了,又称为Swarm Mode,无需额外安装。与Kuberne...
26 页高清分布式集群代码速查表,提升效率必备!【可下载】
各大互联网公司高价抢夺海量数据处理、分布式系统开发人才,为谋求长期发展、获得高薪,很多人转行到了大数据、分布式、集群运维领域。这条路人才虽缺,但并不轻松:别的不说,光学习新技术,巩固旧知识,就需要耗费...
10