universe-wallpapers-dark-1920x1080

【dbdao Hadoop 大数据学习】ResourceManger Restart

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

 

 

本文固定链接:http://t.dbdao.com/archives/hadoop-resourcemanger-restart.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerRestart.html

 

 

 

1.概述

 

 

资源管理器是在YARN中管资源和调度应用程序的运行的中央管理者。所以这再YARN集群中是一个潜在的单点故障点。这个文档为资源管理器重启提供了一个概述,一个资源管理的增强功能,可以让其在重启中保持功能,使得最终用户感觉不到资源管理器的停止时间。

 

ResourceManager Restart 特性分为2个阶段:

1.阶段1(非工作保留 RM 重启):增强RM何以保留应用程序/试图 的状态和其他在可拔插存储的凭证信息。RM将从这些存储的地方重新加载信息,在重启和重新启动之前运行的应用程序时。用户不需要重新提交应用程序(t.dbdao.com)。

2.阶段2(保留工作重启):集中重新构建RM运行状态,通过联合NodeMangagers个容器状态和ApplicationMasters在重启时的容器请求。和阶段1的主要区别是,之前运行的应用程序在RM重启后不会被杀掉,所以应用程序不会由于RM重启而丢失其工作。

(更多…)

Read More

1_101227162638_1

【dbdao Hadoop 大数据学习】Hadoop fair Scheduler(公平调度)

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-fair-scheduler.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

 

 

1.目的

这个文档是描述 FairScheduler,一个Hadoop中可拔插的调度,允许YARN应用程序在大型的集群中公平的共享资源。

 

2.介绍

公平调度是给应用程序分配资源的方法,这样随着时间的推移,所有的应用程序都会得到一个相同的共享资源。Hadoop NextGen 能够调度多个资源类型。默认情况下,Fair Scheduler基于内存进行公平调度。其也可以被配置调度内存和CPU,使用Ghodsi等人开发的Dominant Resource Fairness概念。当只有一个应用程序运行时,那个应用程序使用整个集群。当其他应用程序被提交,空闲的资源被分配给新的应用程序,这样每个应用程序最终获得大致相同的资源量。不用于默认的Hadoop调度,默认的调度是一个应用程序的队列,这可以让短因此程序在合理的时间内完成,而不是饥饿的长期应用程序。其也是一个合理的方式来在一些用户之间共享集群。最后,公平共享也可以以应用程序优先级工作-优先级被作为权重来确定每个应用程序应该获得的资源分数。

(更多…)

Read More

Oracle 甲骨文数据库云技术大会

本文永久地址:http://t.dbdao.com/archives/oracle-甲骨文数据库云技术大会.html

 

oracle_cloud_meeting1

 

 

2016年7月22在上海市虹口区三至喜来登酒店召开了甲骨文数据库云技术大会,此次大会的主题为活力、创新、引领,由oracle与intel共同举办。大会开展了主题技术大会、项目展会、主题分会包括“数据为本-创新无止境”、“腾云甲舞-开拓新未来”、“智能超群-信息全掌控”。

上午的技术大会由甲骨文公司副总裁及中国华东区总经理何文江开场致词,对甲骨文云战略核心、Oracle SaaS的市场表现做了大致陈述,并在中国企业中,为响应互联网+与腾讯合作,联合为中国企业提供完整、集成、安全的云服务。以强大的研发实力为基础,践行云计算的创新。oracle_cloud_meeting2.jpg

 

 

 

 

 

 

 

oracle_cloud_meeting3.jpg来自甲骨文公司的副总裁及中国区技术产品事业部总经理吴承杨联手中国技术咨询部高级总监李珈的“P+”组合为我们带来“从数据库到云——Oracle持续创新成就市场领导力”。混合云已经是普遍模式,尤其是企业客户。Oracle提供了灵活的混合云的部署方案Oracle IaaS &PaaS ,让云服务从“毛胚房到精装修”的阶段。企业级混合云目的在于创造稳定与创新的平衡点,解决私有云、公有云之间不同标准、不同架构、不同产品、不同技能的难题,能在私有云和公有云之间透明移动负载、无缝切换。混合云的关键能力之一在于“两步上云”的操作简单化及统一化管理。Oracle IaaS作为企业级IaaS增强了基础架构和数据管理云的能力。在数据库方面,12c已然成熟,同时推出了MAA这一最高可用性架构,Oracle Key Vault作为专属密钥保险柜,并真正做到了芯片上的数据库,利用硬件优势实现性能加速。做到了引领创新并展现出高度的市场活力。

oracle_cloud_meeting4

 

oracle_cloud_meeting4

浙江移动业务支撑中心副总经理王晓征对浙江移动云化迁移之路做了介绍。就选择12C、X86的原因、浙江移动高可用灾备体系架构、立足实战的容灾管理、迁移方案的选择优化及经典步骤等不同方面做了简单的阐述,并提出现今面临的运维方面的挑战及部分措施。他认为,强大的运维体系是核心数据库持续更新换代,持续创新的有力保障。

 

 

 

 

 

oracle_cloud_meeting5王震作为华为IT产品线关键业务服务器领域的总经理,介绍了Oracle&华为携手应对企业转型挑战所做的措施。提到了传统小型机已经难以支撑企业核心系统的快速发展,KunLun和Oracle Database两者强强联手,联合了数据库加速和数据仓库、多数据库整合等技术。

 

 

 

 

 

海勃物流市场部的经理冯梅就信息技术技术助力港口价值提升做了介绍,将信息技术用于增大港口吞吐量,优化提升生产和管理效率减少成本,从而通过物流信息流的整合变革成为高效率的全球港口企业。并介绍了在此过程中,面临的挑战,所以应用的系统及解决方案等

oracle_cloud_meeting6 oracle_cloud_meeting7

 

此次大会众英云集,介绍了Oracle一年的发展,交流最新的技术及各方案例,引领中国企业数据库,为市场带来新的活力,走在创新的道路上。

Read More

3d-universe-planets

【dbdao Hadoop 大数据学习】Hadoop Capacity Scheduler

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-capacity-scheduler.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

 

 

1.目的

 

这个文档描述CapacityScheduler,在hadoop中一个可拔插的调度,允许多个租户安全的共享一个大的集群,这样他们的应用程序可以在分配能力的约束下,及时分配资源。

 

 

2.概述

 

CapacityScheduler 被设计用来共享的运行Hadoop 应用程序,以友好操作方式进行多租户集群,同时最大化吞吐量和集群的利用率。(t.dbdao.com)

传统的,每个组织有其私有的计算资源集,有足够的能力满足在峰值或者接近峰值条件下的SLA。这通常会导致较差的平均利用率和管理多个独立的集群,每一个组织管理开销。在组织之间共享集群时一个有效的运行大hadoop的方式。因为这个可以让它们获得更好的规模效益而不用创建私人的集群。但是,这些组织关系共享集群的使用,因为它们担心它们的SLAs的重要资源。

CapacityScheduler 被设计用来允许共享一个大的集群,同时给予各组织能力保证。其中的中心思想是,Hadoop集群中的可用资源被多个组织共享,基于它们的需求计算。这里有一个额外的好处是,一个组织可以访问任何多余的不被其他人使用的容量。这为组织提供了具有成本效益的弹性方式。 (更多…)

Read More

Space-Art-Wallpaper-1920x1080_115

【dbdao Hadoop 大数据学习】Apache Hadoop YARN

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-yarn.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

 

 

 

Apache Hadoop YARN

 

 

YARN的基本思想是将基础的资源管理器和job 调度/监控分割为独立的进程。这个思想是有一个全局的资源管理(RM)和每一个进程的ApplicationMaster(AM)。一个应用进程既是一个单独的job也是一个job的DAG。
ResourceManager和NodeManager是从数据计算框架中而来。ResourceManager是最终的权威,用来仲裁在系统中应用程序的资源。NodeManager是每个机器的框架,代理负责容器,监控它们的资源使用(CPU、内存、磁盘、网络)并且报告给相同的ResourceManager/Scheduler。

(更多…)

Read More

182414fpppoydfuiynnyqf

【dbdao Hadoop 大数据学习】HDFS中的传输加密

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hdfs-transparent-encryption.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/TransparentEncryption.html

 

 

 

 

1 简介

 

HDFS 实现透明的,端到端的加密。一旦配置,从指定的HDFS读取和写入数据都会透明的进行加密和解密,不需要用户应用程序代码的变更。这个加密是端到端的,也就意味着数据只能被客户端加密和解密。HDFS从来不会存储或访问未加密的数据或者为加密的加密key。这满足了2个典型的加密要求:静态加密(意思是数据在永久存储上,例如磁盘)以及在传输加密(例如当数据在网络中传输时)。

 

(更多…)

Read More

1_101227162638_1

【dbdao Hadoop 大数据学习】HDFS中的拓展属性

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hdfs-extended-attributes.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html

 

 

1 简介

拓展属性(缩写为 xattrs)是一个文件系统特性,允许用户应用程序管理额外的元数据到文件和目录。不同于系统级别的inode元数据例如文件权限或修改时间,拓展属性不会被系统解析,并被应用程序用来存储关于inode的额外信息。例如,可以对实例使用拓展属性,来指定一个纯文文档的字符编码(t.dbdao.com)。

(更多…)

Read More

349328

【dbdao Hadoop 大数据学习】hadoop hdfs 滚动升级

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-hdfs-rolling-upgrade.html

原文地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsRollingUpgrade.html#namenode_-rollingUpgrade

 

 

 

1介绍

HDFS 滚动升级允许对单独的HDFS进程升级。例如,datanodes可以被单独的升级而不依赖Namenodes。一个namenode可以被升级而不依赖其他的namenodes。Namenodes可以被升级而不依赖datanodes和journal 节点

2升级

在 hadoop v2,HDFS支持高可用的namenode服务和写兼用。这些功能可以让HDFS再升级的时候不需要停机、为了使HDFS集群无停机时间,集群必须设置为HA

如果在任何新版本中启用了任何新特性,升级后可能无法在旧版本上使用。在这种情况下(t.dbdao.com),升级应遵循下列步骤:

1.禁用新功能

2.升级集群

3.启用新功能

注意:滚动升级只能从hadoop-2.4.0之后

(更多…)

Read More

MYSQLV1

【MySQL学生手册】数据恢复

本文地址:http://t.dbdao.com/archives/mysql-data-recovery.html

dbDao 百度贴吧:http://tieba.baidu.com/dbdao

Mysql技术学习QQ群:146959374

 

11.8 数据恢复

进行数据恢复操作的前提是你需要一份备份,作为恢复所需的一部分。它可以是你数据库某个时间点所做的snapshot快照(当进行备份时)。不过,对于一个活动的服务端,数据会在最近的备份之后就会发生改变。因此恢复操作所需的另一部分材料则是服务端之后所做的数据变更记录 —— 也就是,binary log。因此一个恢复操作涉及到使用备份来恢复数据库并且之后重新执行在binary log中所包含的备份之后的数据修改操作。

 

通常恢复操作有以下步骤:

  1. 首先对数据存放目录进行拷贝,这是为了防止在恢复时出错而以防万一。
  2. 使用备份文件恢复数据库。如果你已经制作有一个二进制备份,那么这个步骤涉及到关闭服务端并使用这些备份来替换丢失或损坏的文件。
  3. 重新执行在备份后记录在binary log中的数据修改操作。

 

11.8.1 导入mysqldump输出

可以使用mysqldump工具来导出数据并生成SQL格式的dump文件,之后通过mysql客户端工具来执行此文件进行导入操作。例如,你可以使用如下语句来生成一份world数据库下Country表的dump文件:

之后的数据库导入,则使用mysql:

 

当mysqldump的输出文件中没有指定数据库时,你在使用mysql客户端工具命令时就有必要指定到某个需要操作的库。如果在mysqldump执行中带有 –database 或 –all-databases项时,所生成的dump文件则已包含有相应的 USE db_name语句。

 

mysqldump在使用时不仅仅可用于恢复表和数据库,同时和mysql一起使用也可起到类似”拷贝”的用途。mysql可以直接从管道支进行读取,因此两个命令可以组合成一条命令来将库中的表拷贝到另一个库中。例如,将world数据库中Country表拷贝到test库中,使用以下命令:

管道技术也可以将数据库或表通过网络拷贝到另一个远端库中。如,远端主机为other.host.com:

如果dump文件中包含有很长的INSERT语句,那么这可能会超出默认到通信缓冲(communication buffer: 1M)。你可以对mysqldump和mysql通过使用 --max-allowed-packet项来增大缓冲大小。这个命令项可以设置一个单位为byte的值或者值后加上K,M或G来指明大小。例如,--max-allowed-packet=32M定义了大小为32MB。服务端也需要在运行时使用 --max-allowed-packet值来增大其自身的通信缓冲,使其足够大。

当你使用mysqldump时使用了 --tab项,那么它会生成一个以tab制表符分隔的数据文件。对于这种dump文件,重新导入时则需要注意使用相应的方法。假设你的dump文件对应导出表world.City使用/tmp目录在作为输出目录:

输出将分两部分,一部分为一个包含有City表CREATE TABLE语句的City.sql文件,另一部分为一个City.txt文件包含了相应的表数据。当使用这些文件进行表导入时,首先切换当前路径到导出的目录,然后使用mysql来处理.sql文件,之后只用mysqlimport来导入.txt中的表数据。

如果你在使用 --tab项时还结合其它格式控制项如 --fields-terminated-by--fields-enclosed-by一起使用,那么在使用mysqlimport进行导入时,就需要使用对应相同的格式控制项来使得命令程序知道如何翻译数据文件以进行导入。【dbdao.com 数据岛】

(更多…)

Read More