greenplum安装配置2.0
greenplum4.2安装配置
日期:2013-8-19
作者:刘建国
Q Q: 77113981
GreenplumQQ群：369672760
e-mail:liujianguo_999@https://www.sodocs.net/doc/3b6459424.html,
文档属性
目录
1文档说明 (5)
1.1编写目的 (5)
1.2适用范围 (5)
2简介 (6)
2.1Greenplum架构 (6)
2.2大规模存储 (6)
2.3并行处理 (7)
2.4工作原理: (8)
3安装配置 (9)
3.1.1软件环境 (9)
3.1.2硬件资源 (9)
3.1.3环境配置 (9)
3.1.4虚拟机配置 (9)
3.2系统参数配置 (10)
3.2.1修改内核参数 (10)
3.2.2不重启内核参数生效 (10)
3.2.3设置安全限制参数 (11)
3.3修改主机名和hosts文件 (11)
3.3.1修改三个节点/tec/hosts， (11)
3.3.2修改主机名 (12)
3.4三个节点添加用户和组 (13)
3.5创建目录 (13)
3.6greenplum安装 (17)
3.6.1Master节点解压 (17)
3.6.2Master节点安装 (17)
3.6.3将安装目录上传另两个节点 (23)
3.7节点配置 (28)
3.7.1创建master节点配置文件 (28)
3.7.2设置master节点gpadmin用户环境变量 (28)
3.7.3为安装用户设置各个节点的SSH连接 (29)
3.7.4编辑安装配置文件gpinitsystem_config (31)
3.7.5同步时钟 (33)
3.7.6检查下OS配置是否满足需求 (34)
3.7.7关闭防火墙 (34)
4初始化数据库 (35)
4.1初始化 (35)
4.2设置gp环境变量 (46)
5数据库操作 (48)
5.1连接数据库 (48)
5.2数据库启动 (49)
5.3数据库关闭 (54)
5.4数据库状态 (54)
6常用特性 (58)
7性能测试 (59)
8镜像和master/stand by (60)
9优化 (61)
10其他 (62)
11Troubleshooting (63)
11.1数据库创建成功，但不能连接 (63)
11.1.1现象 (63)
11.1.2解决方案 (64)
11.2系统重启后，无法启动数据库 (65)
11.2.1现象 (65)
11.2.2解决方案 (65)
12图表目录 (67)
1 文档说明
1.1 编写目的
通过Window Xp 下vm server2.0下redhat 5.4模拟greenplum群集，加深对greenplum 架构的理解和掌握。
1.2 适用范围
对数据库和系统有一定基础，安装部署greenplum的人员。
2 简介
2.1 Greenplum架构
Greenplum是一种基于postgresql（开源数据库）的分布式数据库。其采用shared nothing 架构（MPP-Massively Parallel Processing），主机，操作系统，内存，存储都是自我控制的，不存在共享。主要由master host，segment host，interconnect三大部分组成。
了解完Greenplum的架构后，对其工作流程也就相对简单了。因greenplum采用了MPP 架构，其主要的优点是大规模的并行处理能力，应该把精力主要放在大规模存储与并行处理两个方面。
2.2 大规模存储
Greenplum数据库通过将数据分布到多个节点上来实现规模数据的存储。数据库的瓶颈经常发生在I/O方面，数据库的诸多性能问题最终总能归罪到I/O身上，久而久之，IO瓶颈成为了数据库性能的永恒的话题。
Greenplum采用分而治之的办法，将数据规律的分布到节点上，充分利用segment主机的IO能力，以此让系统达到最大的IO能力（主要是带宽）。
在greenplum中每个表都是分布在所有节点上的。Master host首先通过对表的某个或多个列进行hash运算，然后根据hash结果将表的数据分布到segment host中。整个过程中master host不存放任何用户数据，只是对客户端进行访问控制和存储表分布逻辑的元数据。
2.3 并行处理
Greenplum的并行处理主要体现在外部表并行装载，并行备份恢复与并行查询处理三个方面。数据仓库的主要精力一般集中在数据的装载和查询，数据的并行装载主要是在采用外部表或者web表方式，通常情况下通过gpfdist来实现。
Gpfidist架构
Gpfdist程序能够以370MB/s装载text格式的文件和200MB/s装载CSV格式文件，ETL 带宽为1GB的情况下，我们可以运行3个gpfdist程序装载text文件，或者运行5个gpfdist 程序装载CSV格式文件。例如图例中采用了2个gpfdist程序进行数据装载。可以根据实际的环境通过配置postgresql.conf参数文件来优化装载性能。
查询性能的强弱往往由查询优化器的水平来决定，greenplum主节点负责解析SQL与生成执行计划。Greenplum的执行计划生成同样采用基于成本的方式，基于数据库是由诸多segment实例组成，在选择执行计划时主节点还要综合考虑节点间传送数据的代价。
2.4 工作原理:
在主节点上存在query dispatcher (QD)进程，该进程前期负责查询计划的创建和调度，segment instance返回结果后，该进程再进行聚合与向用户展示；segment host存在query executor (QE)进程，该进程负责其它节点相互通信与执行QD调度的执行计划。
Greenplum最为一个严格的数据库系统，同样支持线性扩展，高可用性架构，数据与主机的容错机制，还有数据的分区与压缩功能。
3 安装配置
3.1.1 软件环境
Window Xp 中vm server2.0下创建三个redhat 5.4虚拟机，共享虚拟网卡ip=192.168.66.118
3.2 系统参数配置
修改gpmaster和所有gpnode节点，三个节点均进行相同操作3.2.1 修改内核参数
修改/etc/sysctl.conf ，添加内容
3.3.2 修改主机名
修改192.168.66.110 主机名为gpmaster
修改192.168.66.112 主机名为gpmaster
修改完毕后，分别重启生效
3.4 三个节点添加用户和组
[root@gpmaster ~]# groupadd gpadmin
[root@gpmaster ~]# useradd -g gpadmin gpadmin
[root@gpmaster ~]# passwd gpadmin
Changing password for user gpadmin.
New UNIX password:
BAD PASSWORD: it does not contain enough DIFFERENT characters Retype new UNIX password:
passwd: all authentication tokens updated successfully.
[root@gpmaster ~]# passwd gpadmin
Changing password for user gpadmin.
Retype new UNIX password:
passwd: all authentication tokens updated successfully.
[root@gpmaster ~]#
3.5 创建目录
三个节点分别创建对应的目录
gpmaster 创建/data/master
gpnode1 创建
Gpmaster 创建目录
3.6 greenplum安装
root用户登录gpmaster进行安装3.6.1 Master节点解压
协议内容比较长，敲回车到下方，接受yes即可。
◆接受默认安装路径/usr/local/greenplum-db-4.2.2.4 ◆另有信息，接受输入yes 即可
◆遇到如下内容，敲回车，跳过即可
9-应用场景分析 (假设)
应用场景分析---假设 在这段视频中，我将展示如何使用应用场景分析- 用于数据挖掘的“假设”表分析工具。这个工具只是用于Excel 的众多数据挖掘外接程序之一，并且我们为每个外接程序都制作了视频。 该应用场景分析工具使用逻辑回归算法，可用于对两种类型的应用场景进行建模，并且报告对输入数据中的单行或整个表的影响。 “假设”分析有助于您了解“如果我这样更改，将会有什么结果？”此工具将基于它从您的数据中分析出的成果来帮助您做出决策，例如，裁减营销人员将会对销售额产生的影响。在本教程中，我们将使用呼叫中心数据来了解如何减少“各问题平均所用时间”(Average Time Per Issue)。我所使用的Excel 数据来自https://www.sodocs.net/doc/3b6459424.html,。如果您使用自己的电子表格，只要记住为了找到有意义的模式，必须从有价值的少量数据开始，但数据至少要有50 行。 向导 我们对Level2Operators和“各问题平均所用时间”(Average time per issue) 很感兴趣，为了更好地进行演示，我要隐藏一些列，这样更容易看清结果。 1.开始时，选择“表分析工具示例”(Table Analysis Tools Sample) 选项卡，然后单击表 内的任何地方以激活表分析工具。 2.在“表工具”(Table Tools) 菜单下，选择“分析”(Analyze) 选项卡，从而打开“表 分析工具”(Table Analysis Tools) 功能区。 3.单击“应用场景分析”(Scenario Analysis)，然后单击“假设”(What-If) 以启动该向 导。 4.选择“各问题平均所用时间”(Average time per issue) 作为要更改的列。 5.选择“百分比”(Percentage)，然后键入80。这样做的意思是：平均而言，我们愿 意在每个问题上稍微多花一点时间。 6.如果“更改”(Change) 列包含连续数值，您也可以在值中指定所需的增减量。例如， 我可以选择“每个问题的平均服务时间”(Service Average time per issue) 并将更改指定为一个确切值。 7.在“影响目标”(What happens to) 框中，选择将会受“各问题平均所用时间”(Average time per issue) 变化影响的列。我要选择Level2Operators。如果我降低我的“各问题平均所用时间”预期值，将会需要多少2 级运营商呢？ 8.如果我现在单击“运行”(Run)，将对所有列执行分析。我不这样做，而是打开“选 择分析时要使用的列…”(Choose columns to be used for analysis…)，然后取消选中FactCallCenterID和TotalOperators。通过简化我的分析，可以改进性能和准确性。 但是要小心，不要取消选中将用于“目标”(Target) 或“更改”(Change) 的列。 9.我将对“整个表”(Entire table) 作出预测，并且单击“运行”(Run)。 10.我的结果将作为新列添加到原始数据表的右侧。这些列显示了由于更改“各问题平 均所用时间”(Average time per issue) 而对Level2Operators产生的影响。第一列显示了如果我们进行这样的更改，是需要增加还是减少 2 级运营商的数量。最后一列为各行显示了调查结果的置信度。 现在，我们来针对单行数据进行“假设”分析。 1.对于单行数据，该工具将在对话框的“结果”(Results) 窗格中报告结果。如果找到 了成功的解决方案，该工具将显示结果。例如，“假设”工具可能会告诉您：如果您
《5G十大细分应用场景研究报告》
5G十大细分应用场景研究报告 一、前言 5G是第五代移动通信技术的简称，作为4G通信技术的延伸，将在全社会数字化转型进程中担负着不可替代的重要使命。5G时代，“人”与“人”、“人”与“物”和“物”与“物”之间原有的互联互通界线将被打破，所有的“人”和“物”都将存在于一个有机的数字生态系统里，数据或者信息将通过最优化的方式进行传递。从全球视角来看，目前5G无论是在技术、标准、产业生态还是网络部署等方面都取得了阶段性的成果，5G 落地的最后一环——应用场景正逐渐成为业界关注的焦点。 （一）5G性能指标和关键技术 相较于4G，在传输速率方面，5G峰值速率为10-20Gbps，提升了10-20倍，用户体验速率将达到0.1Gbps-1Gbps，提升了10-100倍；流量密度方面，5G目标值为10Tbs/km2，提升了100倍；网络能效方面，5G提升了100倍；可连接数密度方面，5G每平方公里可联网设备的数量高达100万个，提升了10倍；频谱效率方面，5G相对于4G提升了3-5倍；端到端时延方面，5G将达到1ms级，提升了10倍；移动性方面，5G支持时速高达500km/h 的通信环境，提升了1.43倍。具体指标对比如表1-1所示。
表1-1 5G与4G关键性能指标对比 为了达到性能指标的要求，5G将综合运用大规模多天线技术（Massive MIMO）、新型多址、新型信息编码、毫米波通信、超密集组网、D2D等关键技术。除此之外，5G还将引入全新的构架解决方案——允许在通用物理信息基础设施上创建一组逻辑上独立的网络，称之为“网络切片”。网络切片可以根据垂直行业的业务需求量身定制，使5G能够真正成为全社会共用的新一代信息基础设施。 （二）本报告研究的5G十大应用场景 ITU 定义了5G 三大应用场景：增强型移动宽带（eMBB）、海量机器类通信（mMTC）及低时延高可靠通信（uRLLC），如图1所示。eMBB 场景主要提升以“人”为中心的娱乐、社交等个人消费业务的通信体验，适用于高速率、大带宽的移动宽带业务。mMTC 和uRLLC 则主要面向物物连接的应用场景，其中eMTC 主要满足海量物联的通信需求，面向以传感和数据采集为目标的应用场景；uRLLC 则基于其低时延和高可靠的特点，主要面向垂直行业的特殊应用需求。本报告立足ITU定义的三大应用场景，并结合当前5G 应用的实际情况和未来发展趋势，主要研究VR/AR、超高清
产品分析之『使用场景』篇
先对“使用场景”（或者叫用户场景）做一个简单的分析。 designed by zander 使用场景的三个关键因素：对象（用户）、动作（需求）、情景（场景）。
正如上文列出的三个对应因素『同学甲』、『回家』、『同学聚会结束』，正常的连词成句是同学甲聚餐结束后要回家，这句话很快会形成一个情景，同学甲走路回家、同学甲给老公打电话来接、同学甲打的回家等，决定她回家方式的原因可能有很多，聚餐地离家的远近、选择回家的方式、是否着急回家等，为什么最后选择滴滴打车呢。 其实我们看到的需求可能就是『用户要回家』，但是一个成功的用户场景能够支持一个需求健康的发展是需要考虑很多关键因素。诸如现在如雨后春笋般的O2O各种疯长，有的坚强的活下来了，有的则销声匿迹了。 使用场景的宏观和微观分析 宏观的使用场景，当然这样讲可能不太专业，但是比较容易理解一点，那就是用户在什么样的需求下使用这个产品。比如设计一款打蛋器，我们需要考虑主要用户群是谁，打蛋器要解决或者突破的问题是什么，在什么场合使用，那么所建立的用户场景可能就是厨房里的主妇做午餐的情景。 微观的使用场景，则是在上述宏观场景大前提下，具体的使用细节，比如用完打蛋器后放置的情景，或者用户使用时的握持力度和角度等。 其实互联网产品也是一样的，产品是为那类人解决什么问题可视为宏观场景，用户具体的搜索和浏览等场景为微观场景。宏观使用场景解决的是服务上的用户体验，微观的使用场景则体现的是一个产品细节上的交互体验。好的用户体验是能够在产品的宏观使用场景与微观使用场景都做到体贴而不叨扰，提醒而不打扰。 当我们在分析产品时，我们在分析什么？看到很多产品体验报告，一上来就谈信息架构，画原型，吐槽产品的交互，逻辑等。试问，体验报告是写给谁看的，我的理解是写给别人的，让别人从不知道这个产品到了解，然后知道这个产品的优点以及存在的缺点等，所以，在分析产品之前，先对产品的宏观使用场景与微观使用场景做个简单的人物角色建模与使用场景建模，让别人先对这个产品是什么，怎么用有个初步的了解。 情景的两个关键点：时间与空间。 为什么说情景有时间与空间这两个维度呢？ 10年前，我们也有打车的需求，为什么那时候没人开发个APP出来满足用户叫车的需求呢？好吧，这个问题有点弱，也许大家会说那个时候还没有智能手机嘞，APP个鬼啊。 今天，在大沙漠上走失，你突然想到用滴滴打车叫个车吧，会有车来吗？ 由以上两个例子可以看出，合适的情景需要合适的时间与空间允许。比如现在很多APP对顶部搜索
以用户为中心的场景设计方法研究
第28卷 第6期2005年6月 计 算 机 学 报 CH INESE JOURNA L OF COM PU TERS Vo l.28N o.6 June 2005 以用户为中心的场景设计方法研究 王丹力1) 华庆一2) 戴国忠 1) 1) (中国科学院软件研究所 北京 100080) 2) (西北大学计算机系 西安 710069) 收稿日期:2004 06 09;修改稿收到日期:2005 04 25.本课题得到国家 九七三 重点基础研究发展规划项目基金(2002CB312103)、国家自然科学基金(60373056,60033020)资助.王丹力,女,1966年生,博士,副研究员,主要研究方向为人机交互、场景设计和可用性等.E mail:dlw ang@https://www.sodocs.net/doc/3b6459424.html,.华庆一,男,1956年生,教授,博士生导师,主要研究方向为人机交互的概念建模.戴国忠,男,1944年生,研究员,博士生导师,主要研究方向为人机交互、多通道用户界面、虚拟现实等. 摘 要 图形用户界面(G U I)的可用性在于给用户的任务提供了有用的图形表示和操作,以使用户无须分心于那些不必要的交互和领域特征.然而,当前的GU I 设计通常反映了系统的状态和操作,迫使人们学习和适应预定义的系统任务.以用户为中心的GU I 设计旨在提高系统可用性,但是众多的以用户为中心的设计研究只给出一些设计准则和经验性的方法,缺乏对实际软件设计的可操作指导.基于场景的设计是GU I 设计的有效方法,然而,场景本身并没给出好的实现以用户为中心设计的方法.该文在研究以用户为中心的设计和基于场景的设计的基础上,提出一种以用户为中心的场景设计方法,力图给出一种提高G U I 可用性的更有效的方法.该方法的核心是:用场景描述方式来体现用户为中心的设计思想,并将其贯穿到系统开发的各个阶段,真正实现从用户的角度设计系统.最后以A T M 机的界面设计为例说明使用该方法进行设计的有效性. 关键词 以用户为中心的设计;基于场景的设计;以用户为中心的场景设计;图形用户界面中图法分类号T P 391 Research on User Centered Scenario Based Design WAN G Dan Li 1) H U A Qing Yi 2) DAI Guo Zho ng 1) 1)(I nstitute of Sof tw ar e,Chinese A cad emy of Sc ienc es,B eij ing 100080) 2) (Dep ar tment of Comp uter ,N or thw e st Univ e rsity ,X i an 710069) Abstract A usable Gr aphical User Interface (GU I)provides its users w ith presentatio n and ma nipulatio n of useful inter activ e graphics for their tasks at hand w itho ut becom ing bo gg ed dow n in accidental interaction and dom ain features.Current GU I desig n,how ever ,o ften im plicates the system s state and features,enforcing the users on learning and adapting pr edefined sy stem tasks.U ser Centred Design (UCD)for GU I aim s at providing hig hly usability fo r the system.But mo st ex isted approaches on U CD provide only some empir ical cr iteria w ithout the operational guideline for the process of GUI desig n.In contr act,Scenario Based Desig n (SBD)is an effective method for the design pro cess o f GU I,w hich em plo ys scenarios as a central representation thro ug ho ut the entire sy stem lifecycle.H ow ever,scenar io s by themselves do not m ake a g ood starting po int for U https://www.sodocs.net/doc/3b6459424.html,er Centered Scenario Based Desig n,the purpo se o f w hich is to in crease the effectiv ity for the usable GUI softw are.The co re of this approach is that scenarios are used to describe the details of the desig n process,and all these descriptio ns ar e based on UCD,fro m the users point of view and serves users.And a simple ex ample about AT M is given to val idate the effectiveness of the U CSBD. Keywords UCD;SBD;user centered scenario based desig n;gr aphical user interface
SO应用场景分析
应用场景分析 在这篇文章里，我们略过的一些基础性介绍，主要关注的应用场景。 有哪些基本原则？ 了解是为了解决什么样的问题，我们先来了解一下有哪些基本原则。 粗粒度 在中服务粒度有两种相关的意思，即服务是如何实现的，服务使用和返回了多少数据或多少消息。细粒度服务执行了最小的功能，发送和接收少量的数据。粗粒度服务执行了较大的业务功能，并交换了更多的数据。 原则：细粒度服务是供粗粒度服务或组合服务使用的，而不是由终端应用直接使用的。如果应用是使用细粒度服务建立的，则应用将不得不调用网络上多个服务，并且发生在每个服务上的数据量较少，因而会对对系统整体性带来影响。所以，粗粒度服务的用户不能直接调用他所使用的细粒度服务。同时，由于粗粒度服务可能使用多个细粒度服务，因此它们不能提供粒度级的安全和访问控制。 松散耦合 松耦合的系统特点是灵活，而应用到中的目的就是将服务使用者和服务提供者在服务实现和客户如何使用服务方面隔离开来。服务提供者和服务使用者间松散耦合背后的关键点是服务接口作为与服务实现分离的实体而存在。这是服务实现能够在完全不影响服务使用者的情况下进行修改。 大多数松散耦合方法都依靠基于服务接口的消息。基于消息的接口能够兼容多种传输方式（如、、、等）。基于消息的接口可以采用同步和异步协议实现。 可重用部件服务 如果完全按照可重用的原则设计服务，将可以使应用变得更为灵活。可重用服务采用通用格式提供重要的业务功能，为开发人员节约了大量时间。
设计可重用服务应该是与数据库设计或通用数据建模类似的最有价值的工作。 基于标准 是目前实现应用的一项基本的，适用的技术，它为服务的访问提供了一个被广泛接受的开放标准。 （）是推出的基于的标准，随着在中被定义，它也成为了把服务容器组装为合成应用的标准。 ()和()标准娱乐城是和所推出的标准，并在建立了项目。 在我看来，标准之争并不是关键所在，但就和标准而言，的应用范围更严格，可能最终会成为更大的标准中的一部分实现。 面临什么样的问题？ ﹡繁杂的应用和协议 ﹡频繁变化的服务需求 ﹡管理 ﹡监控 ﹡网络瓶颈 ﹡标准的缺失 ﹡困难的跨团队变更管理 ﹡这些问题都比较好理解，也不是只有采用才能解决问题的。但是作为典型的应用，以上的情况都是必须面对的，也是系统函待解决的。 的应用场景是怎样的？ ﹡适用场景 ﹡集成成本持续增长，而并未因为可提供真正投资回报() 的新业务机会而得到缓解。 ﹡兼并和收购是企业扩大市场份额和获得新发展机会的业务模式的核心。 ﹡解决方案要求对来自异构系统和编程模型的业务功能进行集成。 ﹡业务的生存依赖于根据市场变化快速调整或即时响应竞争威胁的能力。