ITeye博客

chenrongwei的博客

chenrongwei · 共 7 篇文章

高sys问题定位信息收集脚本

#/bin/sh while [ 1 ] do top -bn2 | grep "Cpu(s)" | tail -1 | \ awk ' { while ("date" | getline date) { split(date, str, " "); prefix=sprintf("%s_%s_%s_%s", str[2],str[3], str[4], str[5]); print prefix; } split($2, x, "%"); split($3, y, "%"); #print x[1]; #print y[1]; if (x[1] < 30.0 && y[1] > 15.0)…

2016-01-20T20:05:17Z · linux · 评论(0)

fio磁盘测试脚本

#!/bin/sh for disk in `lsblk -n -d|sort|awk '{print $1}'` do curDev="/dev/$disk" if [ "$curDev"x != "/dev/sdat"x ]; then echo "testing $curDev"; fio -filename=$curDev -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=10G -numjobs=30 -runtime=120 -group_reporting -name=seqwritetes…

2016-01-20T20:03:42Z · linux · 评论(0)

hadoop hbase集群环境信息整理

hadoop hbase集群环境信息整理 1、硬件及系统版本信息 系统 Linux version 2.6.32-431.el6.x86_64 cpu Intel x86_64 2.3GHz 40核(逻辑) 内存 256G 硬盘 共12块SAS,每块5.5T 网卡 1000Mb/s,网络延时<0.5ms 2、机器列表 主机 x015015 x015016 x015017 x015018 x015026 x015027 x015028 x015029 x015030 x015031 x015032 y015015 y015016 y015017 y015018 3、系统参数设置 系统配置项 值…

2015-11-04T10:37:37Z · hadoop · 评论(0)

hadoop、hbase源码编译

hadoop\hbase源码编译安装(备忘录) 1、环境准备 1) 操作系统版本:CentOS release 6.5 (Final) 内核版本:Linux 2.6.32-431.el6.x86_64 2) JDK版本 $ java -version java version "1.7.0_65" Java(TM) SE Runtime Environment (build 1.7.0_65-b17) Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode) 3)maven版本 $ mvn -version Apache …

2015-11-04T09:57:06Z · hadoop · 评论(0)

Simple User Access to Apache HBase

无authentication有authorization模式下使用hbase hbase默认情况下对客户端不做任何权限控制,这对于很多应用场景是不适用的。而kerberos的SASL验证方式比较啰嗦(主要是增加服务端、客户端的认证配置),而且Secure Access to Apache HBase会对性能有%10左右的损失,这对于轻安全重性能的场景下同样不适合。“Simple User Access to Apache HBase”是一种无authentication有authorization的使用模式,我们可以通过对预定义的用户进行授权,而不需要预先做身份验证。这样可以做到不需增加身…

2015-09-23T19:52:26Z · hadoop · 评论(0)

从"read"看系统调用的耗时

【转】从"read"看系统调用的耗时 1、fread和read有何不同? 先看两段代码: fread.c read.c 两个文件的功能完全一样,打开同一个名为test.file的文件,并逐字节地读取整个文件。 将它们编译后得到的可执行程序fread和read分别在同一台PC(linux系统)上执行,得到的如果如下: 发现没有?fread与read的耗时相差数十倍之多!可见啊~ read一个字节这种写法是相当不可取的! 2、是什么引起的差异? 但是,事情为什么会是这样的呢?让我们用strace来看看: 看到了吧~fread库函数在内部做了缓存,每次读取4096个字节;而read就老老实实一个字…

2013-06-16T00:10:39Z · 存储 · 评论(0)

read系统调用,mmap系统调用

【转】read系统调用,mmap系统调用 2012-07-23 09:54:28| 分类: Linux | 标签:linux 文件系统 虚拟内存 存储系统 |字号 订阅 一般情况下,操作文件既可以使用标准I/O,也可直接使用系统调用。两者有何区别呢? 在输入输出中,直接使用底层的系统调用效率是非常低的,为什么? (1) 系统调用会影响系统性能。执行系统调用时,Linux必须从用户态代码 切换到内核态,然后再返回用户代码。 (2) 硬件会对底层系统调用一次所能读写的数据块做出一定的限制。 带缓存的文件操作是标准C 库的实现,第一次调用带缓存的文件操作函数时标准库会自动分配内存并且读出一段固定大…

2013-06-16T00:03:57Z · 存储 · 评论(0)