ITeye博客

豆慧的博客

豆慧 · 共 12 篇文章

(转)ll命令字段所代表的意思

ll命令字段所代表的意思 ll命令:查看文件的属性 功能:以长格式显示目标文件或目录的属性。 语法:ll 文件或目录 -h或--human-readable 和ls命令的-h一样,用"K","M","G"来显示文件和目录的大小。 -c 以更改时间排序,显示文件和目录 例: 1、查看两个文件的属性 linux@server:~$ ll /bin/ls grub -rwxr-xr-x 1 root root 96324 2010-06-11 15:11 /bin/ls* -rw-r--r-- 1 linux linux 1991 2010-12-04 12:48 grub 相关概念: 文件的存取…

2014-11-20 22:37 · linux · 评论(0)

马士兵老师oracle视频学习笔记(六)

在PL_SQL里面写DDL语句: begin execute immediate 'create table T (nnn varcahr2(20) default ''aaa'')'; --因为里面有单引号,所以里面需要一个单引号的地方要用两个单引号转义 end; if语句: --取出7369的薪水。如果小于1200,则输出'low',如果小于2000则输出'middle',否则输出'hign' declare v_sal emp.sal%type; begin select sal into v_sal from emp where empno = 7369; if(v_sal < 12…

2014-11-18 21:45 · oracle · 评论(0)

Linux关机命令详解

在linux下一些常用的关机/重启命令有shutdown、halt、reboot、及init,它们都可以达到重启系统的目的,但每个命令的内部工作过程是不同的,通过本文的介绍,希望你可以更加灵活的运用各种关机命令 在linux下一些常用的关机/重启命令有shutdown、halt、reboot、及init,它们都可以达到重启系统的目的,但每个命令的内部工作过程是不同的。 Linux centos重启命令: 1、reboot 2、shutdown -r now 立刻重启(root用户使用) 3、shutdown -r 10 过10分钟自动重启(root用户使用) 4、shutdown -r 20…

2014-11-18 21:42 · linux · 评论(0)

(转)Linux获取时间日期方法

linux中用shell获取昨天、明天或多天前的日期: 在Linux中对man date -d 参数说的比较模糊,以下举例进一步说明: -d, --date=STRING display time described by STRING, not `now’ date -d next-day +%Y%m%d #明天日期 20091024 date -d last-day +%Y%m%d #昨天日期 20091022 date -d yesterday +%Y%m%d #昨天日期 20091022 date -d tomorrow +%Y%m%d # 明天日期 20091024 date -d…

2014-11-17 16:55 · linux · 评论(0)

(转)深度分析如何在Hadoop中控制Map的数量

很 多文档中描述,Mapper的数量在默认情况下不可直接控制干预,因为Mapper的数量由输入的大小和个数决定。在默认情况下,最终input占据了多 少block,就应该启动多少个Mapper。如果输入的文件数量巨大,但是每个文件的size都小于HDFS的blockSize,那么会造成启动的 Mapper等于文件的数量(即每个文件都占据了一个block),那么很可能造成启动的Mapper数量超出限制而导致崩溃。这些逻辑确实是正确的,但 都是在默认情况下的逻辑。其实如果进行一些客户化的设置,就可以控制了。 在Hadoop中,设置Map task的数量不像设置Reduce task数量那样直接,…

2014-11-03 22:07 · hadoop · 评论(0)

(转)Hive中小表与大表关联(join)的性能分析

经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。这样的原因看似合理,但是仔细推敲,又站不住脚跟。 多小的表算小表?如果所谓的小表在内存中放不下怎么办?我用2个只有几条记录的表做关联查询,这应该算是小表了,在查看reduce的执行日志时依然是有写磁盘的操作的。实际上reduce在接收全部map的输出后一定会有一个排序所有键值对并合并写入磁盘文件的操作。写入磁盘(spill)有可能是多次的,因此有可能会生成多个临时文件,但是最终都要合并成一个文件…

2014-11-03 21:31 · hadoop · 评论(0)

(转)提高hadoop的mapreduce job效率

hadoop 的mapreduce 的作业在运行过程中常常碰到一些这样的情 况: 每一个map或者reduce只有30-40秒钟就结束 超 大规模的job 时,通常会需要大量的map和reduce的slots 支持,但是job运行起来后,running的map和reduce并没有沾满集群的可用slots 当几乎所有的map和 reducers都在调度系统 中运行着,此时却有 一个或者两个pending的map或者reduce,一直不跑,使得job一直无法正常结束。 对一 个job的map数和reduce数的设定对一个job的运行是非常重要的,并且非常简单。以下是一些设 置这几个值的经验总结:…

2014-10-11 16:36 · hadoop · 评论(0)

马士兵老师oracle视频学习笔记(五)

存储过程: set serveroutput on; --默认是关闭的,让后台打印的信息显示出来 最简单的语句块: begin dbms_output.put_line('HelloWorld'); --标准输出行 单行注释用--,多行注释用/ ... / end; 简单的PL_SQL语句块: declare --declare下面的语句是申明变量用的 v_name varchar2(20); --PL_SQL中的变量一般用v_开头,约定俗成。 begin --正式开始执行的语句 v_name := 'douzi'; --用:=号为变量赋值 dbms_output.put_line(v_na…

2013-07-14 21:26 · oracle · 评论(0)

马士兵老师oracle视频学习笔记(四)

创建视图: create view min_avg_sal as select min(avgsal) minavgsal from (select deptno,avg(sal) avgsal from (select * from emp where empno in (select mgr from emp)) t group by t.deptno); --求比普通员工的最高薪水还要高的经理人名称 select ename from emp where empno in(select mgr from emp where mgr is not null) and sal > (sel…

2013-07-14 21:02 · oracle · 评论(0)

马士兵老师oracle视频学习笔记(三)

常用SQL: --求部门中哪些人的薪水最高 select ename,sal from emp join (select max(sal) maxsal ,deptno from emp group by deptno) t on (emp.deptno = t.deptno and emp.sal = t.maxsal); --求部门平均薪水的等级 select deptno,avg_sal,grade from (select deptno,avg(sal) avg_sal from emp group by deptno) t join salgrade s on avg_sal be…

2013-07-14 20:56 · oracle · 评论(0)

马士兵老师oracle视频学习笔记(二)

子查询: select deptno,ename,sal from emp where sal in(select max(sal) from emp group by deptno); 上面这个写法有问题,如果其他部门有个人的工资也在这三个薪水里面,那么信息也会被选出。 select ename,sal from emp join (select max(sal) maxsal ,deptno from emp group by deptno) t on (emp.deptno = t.deptno and emp.sal = t.maxsal); 上面代码的意思是:找出每个部门工资最高的…

2013-07-14 20:53 · oracle · 评论(0)

马士兵老师oracle视频学习笔记(一)

为用户解锁: 以管理员身份进入oracle,system/system as sysdba 输入alter user scott account unlock; 切换用户:conn scott/scott 查看表结构:desc emp; 自定义转义符:select ename from emp where ename like '%$%%' escape '$'; 通常用\来转义 not like 的使用:select ename ,sal*12 annual_sal form emp where wname not like '_A%' and sal > 800 order by sal…

2013-07-14 20:46 · oracle · 评论(0)