Waiting~G

一起走过的日子

Archive for 五月, 2012

hadoop分布式集群搭建

with 3 comments

     作为tdw项目中的一员,对hadoop的一些知识,了解一些是必须的,不如应该会被BS吧。再者学会对其一定程度的管理与维护也是理所当然的。上半年工作中,tdw存储引擎hadoop在支持tdw稳定性方面显现了一些问题,如海里的小文件处理问题,文件块大小等情况,这些虽然对自己的工作上没有很直接的关联,但却还是一如既往的关注着这一切问题的进展情况。上半年,由于机器空闲率的要求,对测试环境进行了一次大迁移。因此对oracle以及hadoop进行了安装与迁移工作,同时也从这个过程中学得了一知半解的基本知识!

首先还是简介一下TDW组成吧:TDW(腾讯分布式数据仓库),有分布式hadoop作为存储引擎,以hdfs作为存储的文件系统;以mapreduce框架作为存储引擎之上的计算引擎,并由facebook开发的hiveserver开源代码提供类sql作为tdw的查询引擎,提供对海里数据的处理。

这里我主要说说hadoop分布式集群的搭建吧

Hadoop 有许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS的上一层是 MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。

架构如下图:

Read the rest of this entry »

Written by Skyma

五月 27th, 2012 at 3:25 下午

Posted in 学.Linux

windows下使用VM安装ubuntu后使用ssh连接

without comments

好久没高VM虚拟机器了,为了学习点hadoop,需要使用到安装该东西,记得去年弄的时候,没这么麻烦,貌似直接把防火墙关闭就OK了,可今年貌似就不行了,折腾半天还是有点搞不定,自己有点郁闷;最后在无意的时候查看了一下进程,发现有一个ssh进程运行着,在这个时候貌似知道了什么似的,接下来就简单讲一下解决问题的思路:

windows下使用VM安装ubuntu后使用ssh连接

首先自己使用ssh连接本机,发现连接不了,报错为端口拒绝;

查看防火墙十分允许22端口可以连接,若不可以连接,简单点就直接关闭防火墙(ufw disable),在重启(reboot)

在连接发现还是端口拒绝;但是我明明能ping通虚拟机的;

然后ps -ef|grep ssh发现ssh进程没有启动,于是去启动/etc/init.d/ssh restart发现这个东东不存在;

确定是该服务不存在,直接使用apt-get install ssh;

这里可能报错,为什么呢?

Read the rest of this entry »

Written by Skyma

五月 12th, 2012 at 8:58 下午

Posted in 学.Linux

Tagged with

oracle静默安装过程分享

with one comment

来到公司一年了,从开始就开始使用oralce,但由于一直使用不是很平常,同时也作为一个毕业不久,有导师待着,对oracle的安装以及维护都是导师或者其他人,平时出点问题,都只要发送一条RTX消息,问题就会被解决了;由于公司的xxx目标,进行了一次服务器环境迁移工作,听到这个消息,我的感觉是,有点坑爹,用的好好的,迁移干嘛,又要多加几天班才能搞定了,同时也想,其实迁移环境对我何尝不是好处呢?平时只知道使用一些东西(oracle,hadoop分布式等),不知道怎么去安装与管理,这次正好学习相关操作,就算是皮毛,但也只是能够搞定一些问题·······

带着这种矛盾的心情,开始自己环境迁移工作:

在网上一搜索,oracle安装的教程太多了,找了半天发现一个问题,网上搜索的oracle安装怎么都是图形界面安装呢?需要什么vncserver、或者xmanager软件当作与oracle连接的图形界面终端软件(这两个软件有点类似与window下使用CRT终端连接linux一样),开始自己也这样苦逼的去尝试过,发现弄了半天连接不上,总是所端口异常,最后查了一下原因,这个可能是和公司服务器端口使用规则有关系(公司不运行服务器开通某些端口),因此最后只能使用非图像界面安装——静默安装方式

最后问了一下同时,以前搭建oracle没有使用图形界面是怎么弄的,他给我说以前都是使用静默安装方式搭建oracle的,这句话听的云里雾里,虽然不知道什么意思,但也接过同事给我的安装经验分享文档,带着这两个字在网上开始寻找,一般看一边安装oracle 11g 64位。。。。

Read the rest of this entry »

Written by Skyma

五月 1st, 2012 at 11:33 上午

Posted in 学.Linux

Tagged with , , ,