stars_planets_light_galaxy_universe_nebula_63572_1920x1080

【dbdao Hadoop 大数据学习】权限指导

dbDao.com 引导式IT在线教育
Hadoop 技术学习QQ群号  : 134115150

本文固定链接:http://t.dbdao.com/archives/hadoop-permissions-guide.html

本文是官方文档的翻译,原文地址是:

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html

 

 

1.概述

 

HDFS为文件和目录实现了一个权限模块,一大部分共享是POSIX模式。每个文件和目录关联到一个用户和一个组。文件和目录以用户所有者来权限划分,其他的用户可以是一个组的成员,也可以是所有其他的用户。对于文件来说,r 权限是读文件的权限,w 权限是写或者追加到文件的权限。对于目录来说,r权限是列出目录内容的权限,w权限是删除和创建文件或目录的权限,x权限是访问子目录的权限。

于POSIX模式对比,文件没有setuid或setgid位,因为没有可执行文件的概念。同样地,对于目录也没有setuid和setgid位。粘贴位可以被设置在目录上,可以防止除了超级用户之外,目录所有者或文件所有者在这个目录中删除或移动文件。在文件上设置粘贴位没有作用。总的来说,一个文件或目录的权限是它们的模式。一般来说,Unix用户的表现模式将被使用,包括这个表述上的8进制方法。当文件或目录被创建,它们的所有者是客户端进程的标识,它们的组时父目录的组(BSD规则)。

HDFS也提供了POSIX ACLs(访问控制列表)支持,来增加对特定命名用户或命名组的更细粒度规则的文件权限。ACLs在后面有更详细的讨论(t.dbdao.com)。

每个客户端进程访问HDFS拥有2部分标识:用户名和组列表。当文件和目录被一个客户端进程访问时,HDFS必须进行权限检查。

  • 如果用户名匹配所有者,那么所有者权限是通过的。
  • 如果组权限匹配组列表中任何一个成员,那么组权限是通过的。
  • 否则,其他权限是通过的。

如果权限检查失败,客户端操作就失败。

(更多…)

Read More

MYSQLV1

【MySQL学生手册】MySQL表分区类型

本文地址:http://t.dbdao.com/archives/mysql-partition-type.html

dbDao 百度贴吧:http://tieba.baidu.com/dbdao

Mysql技术学习QQ群:146959374

 

9.2 分区类型

  • RANGE分区:基于列值所处在的给定范围来对行进行分区。
  • LIST分区:和RANGE分区类似,不过区别是基于一组离散值集合中的值匹配来进行分区。
  • HASH分区:分区的选择基于要插入行的列值进行用户定义功能函数计算后的返回值。其功能函数可以包括任意MySQL有效表达式并返回一个非负的整数值。
  • KEY分区:和Hash分区类似,不过区别是使用MySQL自有的哈希功能来对一列或多列进行哈希计算,其中的列值也可以包含除整数值之外的值,而MySQL并不关心列值的具体数据类型,在哈希计算后,都会返回一个整数值。

 

通常使用数据库分区时会按日期时间来都对数据进行分割。一些数据库系统支持显式时间日期分区语法,不过MySQL不支持。不过在MySQL中,想要基于DATE,TIME,或DATETIME列来建立分区,或基于使用这些列进行计算的表达式来进行分区都并不困难。

 

当通过KEY或LINEAR KEY建立分区时,你可以在不对DATE,TIME或DATETIME列进行任何值修改的情况下,直接使用它们来进行分区。例如,以下表分区语句在MySQL中是可行的:

(更多…)

Read More

云中制胜 – 记Oracle SPARC M7重磅来袭

即至农历春节前,Oracle终于完成其在中国最后一站 — 上海站的SPARC M7新产品宣讲。

作为一个坚定的Oracle粉,身居上海的我们自然也受到了会议邀请~。不过,和广大技术同胞不同的是,我们是以媒体人的身份来参加的,因此分支会议上会有些小小的不同:)

主题为《安“芯”防卫,智胜云端》的Oracle大会一如既往的座无虚席,虽然是产品介绍会,但是除了媒体之外,还是有非常多的IT技术人员到场听讲的。

也许是由于开场的时间稍有延后的关系,在Oracle中国区事业部的詹飞浪总经理做了简短的开幕致辞后,潘榆奇总监便开始了对Oracle SPARC M7的主题演讲。

此次Oracle力推的SPARC M7产品确实是一款Oracle的实力之作,诚如潘榆奇先生所言,Oracle的发展思路明确,”速度” -> “安全” -> “云”。

从软件到硬件的整合能力,到对一体机的长期投入研发,Oracle在其技术领域中一直处于标杆地位。现在Oracle更需要乘着云的东风,希望在硬件领域有更多突破。

(更多…)

Read More

MYSQLV1

【MySQL学生手册】分区(Partition)

本文地址:http://t.dbdao.com/archives/mysql-partition.html

dbDao 百度贴吧:http://tieba.baidu.com/dbdao

Mysql技术学习QQ群:146959374

第9章 分区(Partition)

 

章节概述

本章介绍在MySQL中分区的管理。你会了解:

  • 理解分区概念
  • 使用SHOW VARIABLES来确定服务端的分区支持
  • 如何建立一张分区表
  • 描述分区类型

 

9.1 分区概述

SQL标准中并不提供很多关于数据物理存储方面的指导。而SQL语句本身趋向于独立于数据结构或这些模式(schema/database),表,行或列下对应的介质进行运行。但是,大多数高级的数据库管理系统都会有一些方法来判断具体被用于存储的文件系统或硬件下的数据片的物理位置。在MySQL中,InnoDB存储引擎还支持表空间概念。在MySQL服务端,介绍分区之前,你可以配置不同的空物理目录来存储不同的数据库。

Tips:分区是从MySQL 5.1.14-Beta版本开始被引入的功能。

 

分区在此基础上更近一步,允许你在将单个表的各个部分分布在整个文件系统中(只要所设分区文件的大小遵守系统的规则)。实时上,一张表的不同部分可以如各个分割的表存储在不同位置。数据通过用户选择的规则进行的分割(我们称为分区功能),如按量值进行分区,或简单匹配一个值列范围进行分区,或使用内部哈希函数或一个线性函数进行分区等。如何分区由用户按分区类别来确定,其所用的功能匹配可以接受用户提供的表达式值作为参数,表达式可以是一个整型列值,或在对一个或多个列进行处理后来得出的一个整数来作为返回。表达式的值被传给分区功能函数,此函数会返回一个整数值代表了对应数据行应该被存放在哪个分区的分区号。此功能函数必须是非静态值和非随机值。它不能包含任何查询,但可以“虚拟的“使用在MySQL中有效的任意表达式(只要表达式返回的正整数小于最大可能的正整数值MAXVALUE即可)。【dbdao.com 数据岛】

 

我们在这里所介绍的分区在概念上指水平分区(horizontal partitioning)– 即,表中的不同行可以在不同的物理分区中。MySQL不支持垂直分区(vertical partitioning),即表中的不同列被分派到不同的物理分区中。到现在为止,MySQL还未有任何计划来引入垂直分区功能。

 

9.1.1 查看分区功能启用状态

在MySQL 5.6版本之前,你可以通过使用以下语句来查看MySQL的分区功能是否已经启用:

不过从MySQL 5.6开始,have_partitioning环境变量已经被移除,因此你需要使用show plugins来查看partition的启用情况。

如果对应状态显示未被启用的话,则说明当前的MySQL服务端不支持分区功能。

(更多…)

Read More

space-art-wallpaper-1920x1080_007

【dbdao Hadoop 大数据学习】Hadoop概念

dbDao.com 引导式IT在线教育

Hadoop 技术学习QQ群号  : 134115150

 本文固定链接:http://t.dbdao.com/archives/hadoop-concepts.html

 

 

Hadoop概念

 

应用程序经常需求,超过廉价(商品)机器上可用的更多资源。许多组织发现自己的业务流程不再适合在单一的、具有成本效益的计算机上进行。一个简单却昂贵的解决方案是购买耗费大量内存,并具有多个CPU的专门机器 。该解决方案可最快扩展至机器所支持的程度,但是唯一的限制因素通常是你的预算。另一种解决方案是建立一个高可用性集群,它通常试图看起来像一个单台机器,并且通常需要非常专业化的安装和管理服务。许多高可用性集群都是有版权并且昂贵的。

 

获取必要的计算资源的一种更经济的解决方案是云计算。一种常用模式是:那些需要被转换的批量数据,其中每个数据项的处理基本上独立于其他数据项;也就是说,通过使用单指令,多数据(SIMD )方案。Hadoop提供一个云计算的开源框架,以及一个分布式文件系统。

本书的设计意图是作为使用Hadoop,一个由Apache软件基金会主办的项目,来开发和运行软件的实用指南。本章将为你介绍Hadoop的核心概念。目的是为下一章的内容做准备,下一章中你将了解Hadoop的安装和运行(t.dbdao.com)。

 

Hadoop介绍

 

Hadoop是以发表于2004年的有关MapReduce的Google文章为基础,其发展始于2005年。当时,Hadoop的开发是为了支持一个叫做Nutch的开源网络搜索引擎项目。最终,Hadoop从Nutch中分离出来,成为Apache基金会下自己的一个项目。

今天Hadoop是市场上最知名的MapReduce框架。目前,有几家围绕Hadoop的公司已经发展到提供Hadoop软件的支持、咨询和培训服务。

Hadoop的核心是一个基于Java的MapReduce框架。然而,由于Hadoop平台的迅速普及,支持非Java用户群体很有必要。Hadoop已经发展到拥有以下改进,和支持该群体的子项目,并将其范围扩大到企业。

(更多…)

Read More

MongoDB发表了连接现有的数据可视化以及BI应用的连接

 

开源的数据库平台mongoDB今天(美国时间6/2)在纽约举行的其公司举行的MongoDB World发布会上,发表了一些升级内容。其中,就包含了Tableau等数据可视化工具的整合。

负责MongoDB发展方向的VP Kelly Stirman说:MongoDB与一直以来的RDB不同,有着可以处理非典型数据的自由性,所以如今很多企业的应用中都在利用。这也是大家使用MongoDB的重要原因之一,但至此,所使用的数据可视化工具处理非典型数据都非常困难。

他还说,大家都说这些应用很先进,是因为这些应用使用了以往的行(row)与列(column)的数据库无法处理的丰富的数据结构。

因此,为了处理这些愈发先进的MongoDB所带来的无法预测的结果,其公司就发表了可以连接BI(business intelligence)以及数据可视化工具的连接,同时介绍了公司的合作伙伴Tableau,并说明了,其他工具也能同样地这样连接。

Tableau虽然是本公司的合作伙伴,但连接是IBM的Cognos以及SAP的BusinessObjects、Microsoft Excel等等,也有与其他工具之间的互换性,所以几乎可以处理所有情况。

Stirman然后还说,几百万的用户每天都在使用这些应用,但至此都是MongoDB没有接触到的领域。因此,今天发布的新连接,就会成为两个世界的桥梁。

他还说:“至此,要用现有的数据可视化工具处理MongoDB以及数据,需要在编程上耗费大量心力,因此时间与资金的成本都很庞大。但是,只要使用连接的话,现有的可视化工具,就不需要其中的layer了,于是就可以访问MongoDB的数据了。“

同样地发布会还在Salesforce.com上举行过,但那次与这次的案例相反,是通过Salesforce的可视化工具wave将外部数据与Salesforce的数据同时进行可视化的连接

与MongoDB的情况相同,至此如果在编程上煞费苦心的话,就可以用wave观察外部数据。并且,Salesforce这次也与MongoDB相同,终于领悟了。要实现与外部顺利连接还是要靠Bender自身这一点。两个公司同时制成的连接,就可以使得数据库与可视化工具之间的数据迁移以及数据访问更加方便。

MongoDB3.2中,除了连接还有REST相应的密码化以及为了数据库管理员,会导入GUI。这方面的内容预计会在今年的第四季度公开。

MongoDB至此引起了风投们极大的注意,大约收集到了3亿美元左右的资金。就是最近一段时间,仅仅是今年一月就获得8000万美元。

 

Read More

面向企业的聊天软件Slack现在由以前担任Twitter产品负责人的April Underwood担任副社长

宛如急速上升的火箭一般的Slack任命April Underwood 为副社长以及平台部门的首席。她去年6月跳槽到Slack之前在Twitter待了5年,最后做到了产品负责人。她这次在担任副社长之前,当上了slack的应用监督以及Slack经费管理人。

能做到平台部门的首席,统管所有产品副社长这个位置是因为slack本身对外的印象主要就是顺应外部发展职场需求的商业聊天软件吧。在Underwood的指导下,我们希望可以看到slack顺应企业需求进一步发展下去。

单纯要在基本功能上在商业聊天领域中成为slack的对手并不难,但如果是要想复制slack的发展模式,slack惊人的发展速度、良好的用户评价、以及超过8000万美元的发展经费是非常困难的。

 

CEO Stewart Butterfield对于我们这次的采访表示:“April在平台首席的位置上作出了卓越成果。我希望给她更大的平台,在今后作出更加卓越的成绩。”在6月觉得将 Underwood作为平台负责人时Stewart Butterfield在Forbes的采访中说道:“April在商业以及工程两方面都作出了杰出贡献,这是非常珍贵的才能。

Underwood当年在Apple以及 3M做实习生,之后短期地在Deloitte、Intel、Travelocity、WeatherBill等公司工作,之后在Google的2007年到2009年之间,作为高级partner技术负责经理,负责收购以及收益调整。期间,Underwood成为#Angels投资的共同投资人,投资伙伴。

Underwood于2010年到2015年在Twitter工作,作出了卓越成果。Underwood担任Tweet按钮,Follow按钮的首次公开的版本经理,参与贩卖所有Twitter的firehose服务以及实现Twitter的定位服务。API的开发以及广告等领域,她也有显著贡献。

Underwood使得Slack的庞大的用户体验变得可以利用。同公司的活跃用户估计在200万左右, Butterfield表示”用户平均每天要使用10小时Slack,其中2小时是一直在活跃使用的。

Slack是一个用户行为非常广泛的服务,负责产品的副社长的工作也非常多。工作的人们都需要一个易用高效的聊天服务应用。Slack在活跃用户人数上来说,也是事实上的最接近于企业聊天服务王者位置的应用。如果在聊天软件领域称王的话,在周边领域也能获得良好成绩。

 

Butterfield说:“2016年对我们来说又是值得纪念的一年。April的领导才能,特别是招聘人才的能力,对Slack的成长是不可欠缺的一环。“

Read More

商业聊天软件Slack的动物动画广告因为可爱取得了显著成效

 

我想大家应该都知道为什么一说起技术大家都会想起Slack吧。听过面向企业的聊天服务供应商Slack的大名的读者应该不少吧。

那么请看这边的视频吧。

对其中的比喻都了解的读者应该会反复看这个视频吧。当然,什么也不懂,单纯把这当场一个可爱动物的视频来看也是一个非常棒的视频。作者之一斯图尔特巴尔菲尔德(以前因为制作了Flickr而出名)的Twitter请点击这里。

Slack所准备的支持动物主题的页面请点击这里。

开年放假归来变得有点疏远的同事们一起谈起为什么slack变得流行起来的这个话题的话,只要看上面那个视频就行了。Slack似乎2016会进行较大的调整。今后可能会继续发展成为超级流行的企业聊天软件。

〔日文版:Slack现在的UI虽然是英文,但里面的内容是日文的,使用起来非常方便。顺便说句”Leave it to me!”是,“这里交给我吧”的意思。〕

 

 

Read More

亚马逊的邮件与日历服务 Amazon WorkMail终结了Preview 直接由AWS提供服务

亚马逊面向企业的邮件/日历服务WorkMail这周终结了preview。这个1年前面世的项目利用了Amazon Web Services,希望能够取代Microsoft Exchange等传统解决方案。

但是WorkMail不仅是与Microsoft Outlook等邮件客户端进行竞争,而是进行整合。另外利用Microsoft Exchange 的ActiveSync协定的Apple Mail等,也可以在其他邮件客户端使用。iPhone, iPad, Kindle Fire, Fire Phone, Android, Windows Phone, BlackBerry等移动邮件客户端也可以利用。

另外,据其公司所述,还提供WorkMail的Web应用版本。

亚马逊这次也根据当下企业用户关心的方向见风使舵,这次的项目也是沿着这个线路执行的。这次项目也是收购Zocalo带来的共享存储服务WorkDocs以及企业的IT部门面向终端用户可以提供client base的disc top环境的服务Amazon WorkSpaces的其中一环。这也与现有的服务相同,WorkMail也活用Amazon Web Services的力量,直接满足商业用户的需求。换言之,就不仅是单纯的后端解决方案。

WorkMail作为当今被广大企业所利用的邮件程序,强化了各项安全性功能,比如:加密化、提前发现垃圾邮件以及病毒、指定邮件存放地址等。特别是Region这个要素,Snowden揭露了政府监视行为的当下,对于欧洲用户是一项非常可喜的功能。

另外还在预览阶段导入了各种功能。比如整合KMS(AWS Key Management Service),ISO 27001, ISO 27017, ISO 27018,制成准备会议场所/机器等资源、从Exchange开始向WorkMail移动的迁移工具等

另外,其公司还在发表这个产品时表示安装设置非常方便。因为使用了Microsoft Active Directory对应的Simple AD,安装设置10分钟可以完成。还可以Apple Mail以及Outlook等OS X客户端上使用。

还有一些正在开发的功能。比如支持单个全球通讯簿,提供free(空白)/busy(混杂)等信息,以及邮件的日记功能等。

Amazon WorkMail发表时,由于还要与其他公司竞争,表示费用将于之前相同,每人一个月4美元(提供50GB邮件存储空间)。如果单人再每个月多付2美元的话就可以使用200GB的mazon WorkDocs。

可以使用WorkMail的AWS的region是U.S. East(Northern Virginia), U.S. West(Oregon), 以及Europe(Ireland)。

 

 

Read More

Mesosphere基于Microsoft的收购建议价 正在筹集资金准备6亿美元

 

以开源的Apache Mesos项目为母体的商用服务Mesosphere现在估值已有6亿美元,正在准备新一轮的融资中。

但现在姑且还不过是坊间传言,可能与正式公布时所发布的值有较大差异。但是根据The Information所示,这次的Procurement Round是在与微软的收购交涉破裂之后开始的,这时,其市值已经超过了微软当时所愿意收购的价格3亿以上。

在这次的案例中,因为是同时进行多个洽谈,所以最近的动向似乎都是在展示双方将对方作为交涉的材料的倾向。因此,在这次过程中急速膨胀的估值,并不能说就是最终市值。

 

开源项目Apache Mesos与商用服务Mesosphere之间的关系 类似于Hadoop与商用服务Cloudera的关系。使用Mesosphere的话,就可以将较大的data center作为单一的资源池来管理,即使job增加,用户也不需要建立虚拟机。用户似乎是从单一的虚拟机中获得,就可以获得高效的data center,于是就可以使用任何资源了。

 

Mesosphere的用户界面是单一的资源池,但肯定也使用了多个虚拟机来分散job,就会执行将其集群化,并进行管理的工作。以用户的角度来看的话,data center的整体似乎就变成了一台虚拟机一样。现在的应用是是将多个Cloud-based的服务器分散配置,从而提高执行效率。Mesospere只要还是data center的用户界面,IT部门的用户就不需要对其细节进行深究。不仅是Apache Mesos,一般而言,开源软件本身也不会提供那么深刻的易用性。能使得复杂的Hadoop更易用的也是Cloudera以及Red Hat等商业服务。

 

类似Cloudera以及Mesospere的服务是类似于开源软件的应用。虽然Microsoft以及Nvidia宣布结合了,这个案例是比单纯的投资更加复杂得案例。一方面现在要求的金额据坊间传言说是500多万美元,但Microsoft以及Intel都属于这里的投资家。

 

去年的融资收集了3600万美元,这时的投资家是Andreessen Horowitz、Khosla Ventures、Fuel Capital等。

 

Read More