black_hole_space_stars_circles_universe_61036_1920x1080

【dbdao Hadoop 大数据学习】Hadoop Input/Output

dbDao.com 引导式IT在线教育
Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-inputoutput.html

 

 

 

Hadoop Input/Output

  

前几章具体概述了编程模型MapReduce的概念,在第五章末我们开始进一步研究实施Hadoop的方式。本章内容在那一理念上进行延伸。首先,我们会解释压缩方案,接着会对Hadoop的I/O展开详尽的讨论。我们会讲述各种类型的文件,例如Sequence文件和Avro文件。在此过程中,你们会对MapReduce是如何在Hadoop引擎内部运行,有更进一步的理解。

压缩方案

目前为止,你已经了解了MapReduce的基本原理。

MapReduce是一种I/O密集化的过程。降低或优化I/O是提高MapReduce程序运行的关键。

Hadoop Framework提供了几种可行性来减少I/O。第六章我们通过使用Combiner来减少Mapper和Reducer之间的I/O。本章我们将探讨能够最大程度优化MapReduce的I/O运行的压缩方案。

首先我们先快速浏览一下涉及到I/O的各种MapReduce步骤:

  1. 读取HDFS中的文件时,输入到Mapper中。
  2. 从Mapper中输出的文件会放到本地磁盘。
  3. 由于Reducer从Mapper节点中接收文件,Reducer 和 Mapper之间会有网络I/O。
  4. 从Mapper节点接收分区然排序后,合并到本地磁盘存储到Reducer节点。
  5. 回读本地磁盘的文件作为记录,可供Reducer中的reduce方法使用。
  6. 从Reducer输出——这是写回HDFS。

 

在任何MapReduce程序中,I/O是最昂贵的操作,任何能减少磁盘或者网络I/O,都可以获取更佳的总体吞吐量。Hadoop架构让你可以压缩从Mapper和Reducer中输出的文件,但是却需要权衡一下:压缩会大量占用CPU资源,而且会消耗CPU的周期。任何用于压缩的CPU的周期都将损耗其他程序,比方说Mapper, Reducer, Partitioner, Combiner, Sort 和Shuffle等等。就像在Hadoop中的大多数决定一样,在设计的时候必须要认真地把资源权衡考虑在内(t.dbdao.com)。

 

(更多…)

Read More

1938434

Oracle 11g OCM考试考点分析 配置EMGC

 本文永久链接地址:http://t.dbdao.com/archives/oracle-11g-ocm-setemgc.html

dbDao Oracle OCM培训群
点击链接加入群【dbDao Oracle 11g OCM培训群】

 

9.配置EMGC

 

 

9.1目标

 

在这个课程之后,你应该能够:

  • 配置EMGC来增加格外的管理员
  • 确定grid control中使用的权限类型
  • 使用角色来给管理员分配权限
  • 为简化访问管理目标设置首选项凭据

 

9.2 grid control 管理员

 

管理员是在grid control 的管理资料库中定义的用户,可以让你执行管理员任务。你可以设置管理员的角色和权限。grid control 可以让你创建2种类型的账号:

  • 超级管理员账户:grid control在安装的时候默认有一个超级用户sysman(注意:sys和system也被定义为超级管理员用户)。超级管理员用户不能被删除或重命名,因为其本身也是资料库的所有者。超级管理员可以管理所有其他的管理员用户,和设置所有的管理员凭据。超级管理员可以:

— 创建grid control权限和角色

–执行grid control 初始化配置(例如,定义邮件配置和定义通知方法)

— 增加grid control目标

— 在系统中对任何目标执行任何操作(dbdao.com oracle 11g OCM培训)

  • 管理员用户:管理员帐户提供用户权限来执行管理任务和访问管理信息。你可以为每个创建的管理员用户设置:

–密码配置

–邮件地址

–系统权限和目标权限

–角色或者设置权限

 

(更多…)

Read More

SHOUG 2015 Oracle-Con活动记

 

现场赠送的海报:

 

虽然25日晚上就收到了寒潮预警,不过还是没想到26日的上海这么冷,不尽庆幸SHOUG 2015的Oracle-Con活动的好天气。
本次活动被安排在了工作日进行,算是一种尝试吧:),虽然会议注册参会的人理论上可以坐满整个会场,但是真正与会的童鞋人数还是让我们捏了把汗。。。

好吧,必须承认,这次是本年SHOUG Oracle-Con活动的一个反面教材,怎一个怨念了得。

下次,下次,下次。。。(重要的事情要说三次~~)我们一定将会议放在双休日并选个春暖花开的好日子:),也希望注册了的童鞋们记得调好闹钟,准时从被窝里爬出来。。。再次泪流满面。。。(老汪这里不尽卖起来情怀~~)

要说到本次会议的布置,我们5点一早就开始劳碌起来了。搬机箱,安装幕布…这些都是体力活,而且很多事情还是第一次干,可苦了我们这些男劳力-_-|||,
不过还是要感谢公司的女同胞们,是你们的微笑给了我们无比的动力,嘿嘿。

等一切准备停当后,就开始“开门迎客”啦~~不得不吐槽下会场门外登记赠送的那张MySQL大海报,那是鄙人花了1周时间绞尽脑汁搞出来的,而且是绝版。。。这是真的。。。
因为鄙人手贱,不小心把Visio源文件shift delete了。。。,由于是新版vsdx格式,导致再也恢复不了了,这也直接造成了本人在完成这个“鸿篇巨著”的当晚就失眠了。。。泪奔啊!!

好了,言归正传。本次Oracle-Con活动我们依然联系了很多Oracle海内外的专家来进行关于12c新技术的演讲,干货满满。
为了给大家更好的体验,我们这次对老外专家的ppt都进行了中文翻译,以避免会场的童鞋英文“不耐受”问题。

这里尤其要感谢甲骨文公司副总裁吴承杨先生特地感到上海来为我们做会议的首个演讲,其关于Oracle云的演讲气场十足,同时也让我们都Oracle从产品到云的构架战略有了更多认识。

(更多…)

Read More

2015 ORCL-CON 演讲加冰与PPT下载

以下为本次2015 Orcl-Con技术大会的PPT 下载地址:

 

Francisco Munoz 新西兰Oracle用户组主席,Oracle ACE 总监, 就职于Pythian 公司 任VP

 

演讲主题《Oracle OVM最佳实践与技巧》

Francisco Munoz Alvarez – Pythian_OVM_Tips

Francisco Munoz Alvarez – Pythian_OVM_Tips – 中文

 

 

 

John King 演讲主题《 JSON Support in Oracle 12c》;就职于 King Training Resources; Oracle ACE 总监

 

 

John Jay King – Oracle_Database_12c_UsingJSONinOracle – Chinese

John Jay King – Oracle_Database_12c_UsingJSONinOracle – en

 

 

汪伟华 演讲主题《企业级MySQL备份恢复策略》;就职于 dbDao.com 数据岛在线教育,数据库技术资深讲师, 8年MySQL DBA, Oracle DBA, Oracle EBS相关维护及开发经验

 

汪伟华 – MySQL企业备份发展及实践.pdf

魏兴华演讲主题《ORACLE 12C IN-MEMORY OPTION.》 就职于沃趣科技,原阿里巴巴高级数据库工程师,Oracle internal达人,performance tunning高手,Oracle ACE-A

 

魏兴华 – 揭秘12c in-memory option.pdf

 

Yu Kai

 

 

Read More

universe-wallpapers-dark-1920x1080

Oracle 11g OCM考试考点分析 grid control 安装

 本文永久链接地址:http://t.dbdao.com/archives/oracle-11g-ocm-grid-control-install.html

dbDao Oracle OCM培训群
点击链接加入群【dbDao Oracle 11g OCM培训群】

8.1 目标

 

在完成这个课程后,你应该能够:

  • 安装grid control
  • 描述在安装过程中,组成grid control的各种各样的组件
  • 讨论在grid control 安装时使用的端口
  • 解释 grid control 使用的目录结构

 

 

8.2 安装grid control

 

安装 grid control 11g的过程,可以被划分为3个主要的部分:

  • 数据库安装
  • oracle weblogic服务安装
  • grid control 安装

 

安装grid control 的过程有3个主要部分。由于其需要一个预先存在的数据库,用作OMR(oracle 管理资料库),你必须访问现有的认证数据库进行安装,或者在grid control资料库的同一主机上安装一个认证数据库。OMR所认证的数据可以参考MOS上可用的文档Note 412431.1。在这个课程中,你使用oracle 11g 来作为资料库。更多安装数据11g的信息,在oralce数据库文档库中参考数据库安装指导

 

同样,在你安装grid control相同的主机上,需要运行oracle weblogic 服务器。对于安装grid control,因为安装weblog 服务是新的需求,下面将介绍一个典型的Oracle WebLogic服务器的安装(dbdao.com oracle 11g OCM培训)。

(更多…)

Read More

universe_event_532

【dbdao Hadoop 大数据学习】offline edits viewer 指导

dbDao.com 引导式IT在线教育
Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/offline-edits-viewer.html

本文是官方文档的翻译,原文地址是:

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsEditsViewer.html

 

1概述

 

离线Edits 视图是一个解析Edits日志文件的一个工具。当前的处理器可以很好的在不同格式之间进行转换,包括比二进制格式更易度的XML

 

这个工具可以解析-18(大致相当于hadoop0.19)和之后的edits格式。这个工具只在文件上操作,不需要Hadoop集群运行。

 

输入格式支持:

1.二进制:一般hadoop内部使用的二进制格式(t.dbdao.com)

2.XML:由XML处理器生成的XML格式,被后缀为.xml的文件所使用

离线edit viewer 提供了一系列输出处理器(除非有特别的说明,处理器的输出可以转换回原来的edit文件):

1.二进制

2.xml

3.stats:打印出统计数据,这不能被转换回edits文件

(更多…)

Read More

火热的2015 MongoDB Days深圳行

虽然无法体验《南山南》中的“艳阳天大雪纷飞”,不过深圳这里火热的太阳和四处妹子的短裤大腿确实把我们这些从上海来的一行人给热到了。一下飞机,在”艳阳天”下,开始换装运动。。。脱脱脱!!

话说本次2015 MongoDB Days活动就在深圳举行,因此公司里的哥们姐们对来深圳“考察”一番很是积极踊跃。无奈名额有限,兼文笔不行(^-^),因此矮子里拔高个。。。本人再次脱引而出了~~

这不,开完会当天,吃饱喝足后就开始我的战地报道啦~~~

 

MongoDB作为最流行的NoSQL数据库,无疑正受到越来越多人的关注。其dynamic schema特性,水平分片扩展,以及内存处理快速响应能力是其在快速发展的大数据应用及互联网技术升级中能获得成功的关键所在。

为了时刻紧跟技术前沿,也为和更多MongoDB专家交流,这次的活动还是非常有必要来参加的。除了下午能听到大牛们的精彩演讲,对于小白来说,还能选择在上午参加入门培训,真是一举两得哈~~【dbDao.com 数据岛

(更多…)

Read More

MYSQLV1

【MySQL学生手册】事务

本文地址:http://t.dbdao.com/archives/mysql-transactions.html

dbDao 百度贴吧:http://tieba.baidu.com/dbdao

Mysql技术学习QQ群:146959374

 

7.4 事务

将多个SQL语句组成为一个具有原子性操作的机制,我们称之为事务。事务中其中所有语句要么执行成功,要么都失败。一旦所有语句执行成功,整个事务对记录数据的操作就会被永久保存下来。如果事务中发生错误,其中进行的所有操作会被回滚并取消,数据库数据将回到其开始事务之前的状态。

 

例如,如果你尝试将1000元钱从一张A银行行转到B卡中,但你发现A卡中扣去了钱,而B卡中1000元未到账,你一定不会高兴。为了避免此类问题,程序中在处理此种需求时,首先会启用一个事务,然后在事务中发送进行欠款转账的命令。只有当所有命令都成功执行后才结束事务。如果在事务中所执行的命令报错,那么事务中所做的所有数据修改就会被回滚到启动事务之前的样子。整个过程看起来像这样:

 

什么是ACID

我们知道事务系统一般都声称其遵循ACID,那什么是ACID呢?

Atomic 原子性。所有语句被作为一个整体单元,执行成功或全部取消。
Consistent 一致性。从事务开始至事务结束,其中数据库的状态始终保持一致。
Isolated 隔离性。一个事务不会对另一个事务产生影响。
Durable 持久性。由事务所产生的数据变更都会被成功记录在数据库中。这些改变不会丢失。

(更多…)

Read More

oracle_openworld_cloud

Oracle 甲骨文 马克赫德的雄心:到2025年,我们(和另一家公司)将拥有所有的云产业

 

 

企业长期走势

 

 

甲骨文公司联合CEO马克·赫德曾预言,到2025年,有两家公司将拥有服务性软件80%的市场,其中一个将会是Oracle甲骨文。

 

在旧金山Oracle OOW全球大会的第二天,赫德在他的演讲中表示,甲骨文已经在近五年以构想的云结构重写其代码库。这对于面临收入危机的软件企业来说至关重要,它们在过去五年中收入增长不到百分之一。

 

“IT费用基本持平,在2015年下降了5%左右,”赫德说。 “CEO们正考虑短期内的盈利,实际上费用下降而导致收入上升。同时,SaaS公司预计未来收入会增长约15%。”

 

赫德公布了对2025年云市场的五个预测。其中一些是很有可能发生,不过这些都是展示甲骨文的产品组合的一部分。

 

“这不是人造云,”他在其后对的话新闻发布会上说。 “这是对Fusion中间件的改写,现在我们已有98%的软件基于云而重写。”

 

他的第一个预测是, 到2025年,80%的“生产”应用程序将会基于云计算。他说道,虽然目前约为25%,但云应用的低成本和可扩展性将确保它们在十年内成为最受瞩目的应用。

(更多…)

Read More

Oracle 12c 即将认证Windows 10 操作系统平台

http://www.theregister.co.uk/2015/08/17/oracle_to_certify_its_database_v12c_for_windows_10/

 

Oracle 12c 即将认证Windows 10 操作系统平台

开发者可以在win10上正常运行Oracle 12c

 

oracle

2015年8月17日06:02时,Simon Sharwood

 

甲骨文决定让数据库软件支持Windows 10。

 

在“决定声明”(PDF)文件中,有一段大红字体显示,“计划在2015年10月,认证在Windows 10上的Oracle数据库12c(12.1.0.2)”。

 

32位Oracle数据库客户端能运行在Windows 10的32位和64位版本,64位Oracle数据库服务器和客户端将能运行在Windows 10的64位版本上。

 

Oracle 甲骨文“……还计划认证下一个在Windows 10上的主要Oracle数据库12c的版本,该版本支持Windows操作系统。”  但是请注意Oracle 12c将不会有Win 10的32位版本。

 

只有Windows 10 Pro和企业版获得认证。

 

需要注意的是 “由于的Windows 10不是服务器版操作系统,一些Oracle企业级服务器的功能是不支持的,如真正应用集群RAC 。”

 

很公平的一点是:为了确保开发人员可以在许多场景使用其数据库,Oracle几乎肯定这么做,这是很合理的。

 

 

Read More