Java+OpenCV3.0的配置和使用说明
Java+OpenCV3.0的配置和使用说明
1、第一步，下载OpenCV3.0.0，下载地址为：
https://www.sodocs.net/doc/511481819.html,/projects/opencvlibrary/files/opencv-win/3.0.0/opencv-3.0.0.exe/down load
https://www.sodocs.net/doc/511481819.html,/releases.html
Java相对OpenCV的技术文档：https://www.sodocs.net/doc/511481819.html,/java/3.0.0/
下载完毕之后，双击文件，解压到：C:\OpenCV3.0，解压完毕之后，这时我们看到下图目录（C:\OpenCV3.0\opencv\build\java）中，有个.jar包，这个包就是我们需要的Java OpenCV库。
（注意可以现在C盘创建一个文件夹：OpenCV3.0）
2、第二步，下载Eclipse
https://www.sodocs.net/doc/511481819.html,/
3、第三步，打开eclipse,并找到Window –> Preferences,按照如下操作轨迹：
4、第四步：点击右侧的Add External JARs，找到.jar包的位置，本人电脑是：
C:\OpenCV3.0\opencv\build\java
点击上图中的打开，然后可以看到下面的图片。选择Native library location，点击右侧的Edit 按钮，对其进行编辑
点击External Folder...选择目录到：C:\OpenCV3.0\opencv\build\java\x64，然后点击ok，如果你使用的32位系统则选择x86文件夹，如下图所示
配置完成，应该是这样的
好了，上面的配置完成了，现在我们写2个简单的例子来测试一下。
实验一Java+OpenCV实现图片显示1、第一步，打开eclipse创建一个叫Image的工程。
2、然后在项目上右键，BuildPath ---->ConfigureBuildPath ，点击Libraries选项卡，点击下面的Add Library,弹出来的对话框中选择“UserLibrary”。
点击next，勾选OpenCV3.0，点击完成。
点击finish之后，应该是下面这样的。
编写程序如下：
ImageMain文档的程序代码：
import java.awt.image.BufferedImage; import javax.swing.ImageIcon;
import javax.swing.JFrame;
import javax.swing.JLabel;
import org.opencv.core.Core;
import org.opencv.core.Mat;
import org.opencv.imgcodecs.Imgcodecs;
publicclass ImageMain {
publicstaticvoid main(String[] args) {
System.loadLibrary(Core.NATIVE_LIBRARY_NAME);
new MyFrame();
}
}
class MyFrame extends JFrame{
public MyFrame() {
this.setTitle("Java+OpenCV+显示一张图片");
this.setSize(360, 400);
this.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
this.getContentPane().setLayout(null);
JLabel label = new JLabel("");
label.setBounds(0, 0, 360, 360);
this.getContentPane().add(label);
Mat mat=Imgcodecs.imread("C:/OpenCV3.0/lina.jpg");//加载lena图像为Mat 格式 ;
BufferedImage image=Mat2BufferImage.matToBufferedImage(mat);
label.setIcon(new ImageIcon(image));
this.setVisible(true);
}
}
BufferedImage格式图像显示。该方法是我们自己写的，又因为该方法我们以后一直要使用，因此，在testOpencv中新建一个tool包，然后在该包下新建一个mat2BufferedImage.java类，该类代码如下：
import java.awt.image.BufferedImage;
import org.opencv.core.Mat;
publicclass Mat2BufferImage {
publicstatic BufferedImagematToBufferedImage(Mat matrix) { int cols = matrix.cols();
int rows = matrix.rows();
int elemSize = (int) matrix.elemSize();
byte[] data = newbyte[cols * rows * elemSize];
int type;
matrix.get(0, 0, data);
switch (matrix.channels()) {
case 1:
type = BufferedImage.TYPE_BYTE_GRAY;
break;
case 3:
type = BufferedImage.TYPE_3BYTE_BGR;
// bgr to rgb
byte b;
for (int i = 0; i b = data[i]; data[i] = data[i + 2]; data[i + 2] = b; } break; default: returnnull; } BufferedImage image2 = new BufferedImage(cols, rows, type); image2.getRaster().setDataElements(0, 0, cols, rows, data); return image2; } } 实验二Java+OpenCV实现视频捕获 https://www.sodocs.net/doc/511481819.html,/u012343179/article/details/68164936 创建一个工程VideoDemo，结构如下： 程序实现的功能是将原始捕获的图像做了一个二值化处理后输出，运行结果， 四个文件的代码分别如下： 1、JavaMain publicclass JavaMain { // 主程序，程序入口 publicstaticvoid main(String[] args) { // 创建界面 new JavaWindow(); } } 2、JavaWindow import java.awt.Color; import javax.swing.BorderFactory; import javax.swing.JFrame; import javax.swing.JLabel; publicclass JavaWindow extends JFrame{ // 属性 public JLabel oriScreen; public JLabel proScreen; // 构造方法 public JavaWindow() { // 在此作一些初始化工作 setTitle("视频图像处理"); setSize(640*2+100, 600); setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); setLayout(null); initComponents(); setVisible(true); } // 界面 privatevoid initComponents() { // 放置原始图像的标签框 oriScreen=new JLabel(); oriScreen.setBounds(20, 20, 640, 480); oriScreen.setBorder(BorderFactory.createLineBorder(Color.GREEN)); // 放置视频处理之后的标签框 proScreen=new JLabel(); proScreen.setBounds(50+640, 20, 640, 480); proScreen.setBorder(BorderFactory.createLineBorder(Color.RED)); // 打开摄像头 CameraBase cameraBase=new CameraBase(oriScreen,proScreen); cameraBase.openCamera(); // 放到窗体中去显示 getContentPane().add(oriScreen); getContentPane().add(proScreen); } } 3、Mat2BufferImage import java.awt.image.BufferedImage; import org.opencv.core.Mat; publicclass Mat2BufferedImage { publicstatic BufferedImage mat2BufferedImage(Mat matrix) { int cols = matrix.cols(); int rows = matrix.rows(); int elemSize = (int) matrix.elemSize(); byte[] data = newbyte[cols * rows * elemSize]; int type; matrix.get(0, 0, data); switch (matrix.channels()) { case 1: type = BufferedImage.TYPE_BYTE_GRAY; break; case 3: type = BufferedImage.TYPE_3BYTE_BGR; // bgr to rgb byte b; for (int i = 0; i b = data[i]; data[i] = data[i + 2]; data[i + 2] = b; } break; default: returnnull; } BufferedImage image2 = new BufferedImage(cols, rows, type); image2.getRaster().setDataElements(0, 0, cols, rows, data); return image2; } } 4、CameraBase import java.util.Timer; import java.util.TimerTask; import javax.swing.ImageIcon; import javax.swing.JLabel; import org.opencv.core.Core; import org.opencv.core.CvType; import org.opencv.core.Mat; import org.opencv.imgproc.Imgproc; import org.opencv.videoio.VideoCapture; publicclass CameraBase { // 由于此工程需要用到OpenCV库，因此我们首先导入 static { System.loadLibrary(Core.NATIVE_LIBRARY_NAME); } // 属性 private Mat videoFrame; // 图像帧 private VideoCapture capture; // 摄像头捕获对象 private JLabel oriScreen; private JLabel proScreen; // 方法 public CameraBase(JLabel lab,JLabel lab2) { oriScreen = lab; proScreen=lab2; capture = new VideoCapture(); openCamera(); } publicboolean openCamera() { // 打开摄像头 capture.open(0); if (!capture.isOpened()) { System.out.println("摄像头无法打开！"); returnfalse; } else { videoFrame = new Mat(); // 启动定时器，开始捕捉图像画面 Timer timer=new Timer(); // 每隔1秒钟执行一次捕获操作 timer.schedule(new MyTask(), 1000,100); } returntrue; } // 类中类的定义,共享外部类中的属性和方法 privateclass MyTask extends TimerTask { @Override publicvoid run() { // 成功打开摄像头以后，将图像显示出来 capture.read(videoFrame); // 显示原始图像 oriScreen.setIcon(new ImageIcon(Mat2BufferedImage.mat2BufferedImage(vide oFrame))); // 对图像做个二值化处理 // https://www.sodocs.net/doc/511481819.html,/qiao_198911/article/details/48209169 // https://www.sodocs.net/doc/511481819.html,/liyuqian199695/article/details/53925046 Mat image=new Mat(); //彩色图像灰度化 Imgproc.cvtColor(videoFrame, image, Imgproc.COLOR_RGB2GRAY); // 自适应二值化 //Imgproc.adaptiveThreshold(src, dst, maxValue, adaptiveMethod, thresholdType, blockSize, C); Imgproc.adaptiveThreshold(image, image, 255, Imgproc.ADAPTIVE_THRESH_MEAN_C, Imgproc.THRESH_BINARY_INV, 25, 10); // 普通二值化 //Imgproc.threshold(src, dst, thresh, maxval, type) //Imgproc.threshold(image, image, 100, 255, Imgproc.THRESH_TOZERO); proScreen.setIcon(new ImageIcon(Mat2BufferedImage.mat2BufferedImage(imag e))); } } } 目录 1.引言 [对于由多个进程构成的复杂系统，系统设计阶段可以分为：架构设计（构架设计）、组件高层设计、组件详细设计。对于由单个进程构成的简单系统，系统设计阶段可以分为：系统概要设计、系统详细设计。本文档适用于由多个进程构成的复杂系统的构架设计。] [架构设计说明书是软件产品设计中最高层次的文档，它描述了系统最高层次上的逻辑结构、物理结构以及各种指南，相关组件（粒度最粗的子系统）的内部设计由组件高层设计提供。] [系统：指待开发产品的软件与硬件整体，其软件部分由各个子系统嵌套组成，子系统之间具有明确的接口； 组件：指粒度最粗的子系统； 模块：指组成组件的各层子系统，模块由下一层模块或函数组成；] [此文档的目的是： 1）描述产品的逻辑结构，定义系统各组件（子系统）之间的接口以及每个组件（子系统）应该实现的功能； 2）定义系统的各个进程以及进程之间的通信方式； 3）描述系统部署，说明用来部署并运行该系统的一种或多种物理网络（硬件）配置。对于每种配置，应该指出执行该系统的物理节点（计算机、网络设备）配置情况、节点之间 的连接方式、采用何种通信协议、网络带宽。另外还要包括各进程到物理节点的映射； 4）系统的整体性能、安全性、可用性、可扩展性、异常与错误处理等非功能特性设计； 5）定义该产品的各个设计人员应该遵循的设计原则以及设计指南，各个编程人员应该遵循的编码规范。 ] [建议架构设计工程师与组件设计工程师共同完成此文档。] [架构设计说明书的引言应提供整个文档的概述。它应包括此文档的目的、范围、定义、首字母缩写词、缩略语、参考资料和概述。] 1.1目的 [简要描述体系结构文档的目的。] HAProxy的安装和部署 考虑公司当前服务器的并发量，最终还是选定了HAProxy来实现负载均衡，相较于其他的负载均衡系统，HAProxy的配置和使用还是比较简单的。 下面是自己安装和部署haproxy的记录，比较重要的一点是解决了haproxy + syslog-ng的日志输出问题。 PS: 这个问题费了我好大神:-| PLATFORM: SUSE Linux Enterprise Server 11 (x86_64) 1. haproxy的编译安装 获取haproxy的源代码 官方地址：http://haproxy.1wt.eu/ 目前最新的版本：http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz 命令： wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.8.tar.gz 考虑到版本的更新，具体的安装属性可能会稍有改变，建议在安装前可以大致浏览下haproxy目录下的README和Makefile两个文件。 编译haproxy 进入解压后的haproxy的目录，用下列命令进行编译： make TARGET=os ARCH=arch CPU=cpu USE_xxx=1 ... 这里着重说明几个常用的选项。 TARGET 指定对目标操作系统在编译的时候进行优化，可选择如下值之一： Generic, linux22, linux24, linux24e, linux26, solaris, freebsd, openbsd, Cygwin, custom。 如果不确定目标系统，可以保留默认值generic。 CPU 指定对特定的CPU进行优化，可选择如下值之一：generic, i586, i686, ultrasparc, custom。默认值为generic。 ARCH 指定ARCH值可强制编译生成针对一个特定系统架构的程序。通常用于在一个系统架构的平台上生成针对另一个不同架构平台的程序，比如在一个64位架构的目标系统上编译生成一个32位的程序。 当前可选的值有：x86_64, i386, i486, i586, i686。 注：若选择上述其中的一个值，”-m32”或”-m64”会被添加到CFLAGS和LDFLAGS选 项中。 Kettle开发使用手册 2017年4月 版本历史说明 1.Kettle介绍 1.1.什么是Kettle Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装 Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。 运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示： 图1.1 2.Kettle脚本开发 2.1.建立资源库（repository仓库） Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle 开发环境也是要用到该资源库。建立资源库的方式是工具 --> 资源库- -> 连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle file repository选项，按确定，如图2.1所示： 图2.1 跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示： 图2.2 建完后会kettle工具会自动连接到repository资源库，每次打开kettle 也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是 广州润衡软件连锁有限公司软件架构设计文档 项目名称 软件架构设计文档 版本 修订历史记录 目录 1.简介5 1.1目的5 1.2范围5 1.3定义、首字母缩写词和缩略语5 1.4参考资料5 1.5概述5 2.整体说明5 2.1简介5 2.2构架表示方式5 2.3构架目标和约束5 3.用例视图6 3.1核心用例6 3.2用例实现6 4.逻辑视图6 4.1逻辑视图6 4.2分层6 4.2.1应用层6 4.2.2业务层7 4.2.3中间层7 4.2.4系统层7 4.3架构模式7 4.4设计机制7 4.5公用元素及服务7 5.进程视图7 6.部署视图7 7.实施视图8 7.1概述8 7.2层8 7.3部署8 8.数据视图8 9.大小和性能8 软件架构设计文档 10.质量8 11.其它说明8 12.附录A 指南8 13.附录B 规范9 14.附录C 模版9 15.附录D 示例9 软件架构设计文档 1.简介 软件构架文档的简介应提供整个软件构架文档的概述。它应包括此软件构架文档的目的、范围、定义、首字母缩写词、缩略语、参考资料和概述 1.1目的 本文档将从构架方面对系统进行综合概述，其中会使用多种不同的构架视图来描述系统的各个方面。它用于记录并表述已对系统的构架方面作出的重要决策 本节确定此软件构架文档在整个项目文档中的作用或目的，并对此文档的结构进行简要说明。应确定此文档的特定读者，并指出他们应该如何使用此文档 1.2范围 简要说明此软件构架文档适用的范围和影响的范围 1.3定义、首字母缩写词和缩略语 本小节应提供正确理解此软件构架文档所需的全部术语的定义、首字母缩写词和缩略语。这些信息可以通过引用项目词汇表来提供 1.4参考资料 本小节应完整地列出此软件构架文档中其他部分所引用的所有文档。每个文档应标有标题、报告号（如果适用）、日期和出版单位。列出可从中获取这些参考资料的来源。这些信息可以通过引用附录或其他文档来提供 1.5概述 本小节应说明此软件构架文档中其他部分所包含的内容，并解释此软件构架文档的组织方式 2.整体说明 2.1简介 在此简单介绍软件架构的整体情况，包括用例视图、逻辑视图、进程视图、实施视图和部署视图的简单介绍。另外，简要介绍各种视图的作用和针对的用户 2.2构架表示方式 本节说明当前系统所使用的软件构架及其表示方式。还会从用例视图、逻辑视图、进程视图、部署视图和实施视图中列出必需的那些视图，并分别说明这些视图包含哪些类型的模型元素 2.3构架目标和约束 本节说明对构架具有某种重要影响的软件需求和目标，例如：安全性、保密性、市售产品的使用、可移植 nginx和haproxy一样也可以做前端请求分发实现负载均衡效果，比如一个tomcat服务如果并发过高会导致处理很慢，新来的请求就会排队，到一定程度时请求就可能会返回错误或者拒绝服务，所以通过负载均衡使用多个后端服务器处理请求，是比较有效的提升性能的方法；另外当单机性能优化到一定瓶颈之后，一般也会用负载均衡做集群，配置也很简单，下面是配置过程： 首先需要安装nginx服务器，我这里已经安装好了，比如这里有三个tomcat 服务器，地址如下： 192.168.1.23 8080 192.168.1.24 8080 192.168.1.25 8080 其中nginx安装在192.168.1.23上面，如果只有一个服务器测试，也可以在一个服务器上运行多个tomcat开多个端口来实现，这样也能提升性能首先看nginx配置，在nginx.conf中http {}块内并且server {}块之外添加如下配置： upstream my_service { server 127.0.0.1:8080 weight=2; server 192.168.1.24:8080 weight=1; server 192.168.1.25:8080 weight=1; } 上面的my_service是集群的名字，可以自己命名，server指定后端服务列表，weight是设置权重，权重越大，请求被分发过来的可能性就越大，这里本机权重设置了2，也就是说对到达的请求分配到本地上的会多一些配置这个之后，需要在server {}中添加location配置拦截请求并转发给后端的集群，最简单的配置如下： location / { KETTLE组件介绍与使用 4.1 Kettle使用 Kettle提供了资源库的方式来整合所有的工作，； 1）创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Trans，kettle默认transformation文件保存后后缀名为ktr； 2）创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Job，kettle默认job文件保存后后缀名为kjb； 4.2 组件树介绍 4.2.1Transformation 的主对象树和核心对象分别如下图： Transformation中的节点介绍如下： Main Tree：菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。 Steps：一个transformation中应用到的环节列表 Hops：一个transformation中应用到的节点连接列表 核心对象菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加： Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 4.2.2 Job 的主对象树和核心对象分别如下图： Main Tree菜单列出的是一个Job中基本的属性，可以通过各个节点来查看。 DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。 Job entries/作业项目：一个Job中引用的环节列表 核心对象菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。 每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动，实现环节之间的连接。 xxx系统架构设计说明书 2013-12-12 v0.1 修订历史记录 目录 1.简介4 1.1目的4 1.2范围4 1.3定义、首字母缩写词和缩略语4 1.4参考资料4 1.5概述错误！未定义书签。 2.整体说明4 2.1简介4 2.2构架表示方式4 2.3构架目标和约束4 3.用例说明5 3.1核心用例6 3.2用例实现7 4.逻辑视图8 4.1逻辑视图8 4.2分层8 4.2.1应用层8 4.2.2业务层8 4.2.3中间层9 4.2.4系统层9 4.3架构模式9 4.4设计机制错误！未定义书签。 4.5公用元素及服务9 5.进程视图9 6.部署视图9 7.数据视图9 8.大小和性能9 9.质量9 10.其它说明9 系统架构设计文档 1.简介 系统构架文档的简介应提供整个系统构架文档的概述。它应包括此系统构架文档的目的、范围、定义、首字母缩写词、缩略语、参考资料和概述 1.1目的 本文档将从构架方面对系统进行综合概述，其中会使用多种不同的构架视图来描述系统的各个方面。它用于记录并表述已对系统的构架方面做出的重要决策,以便于开发人员高效的开发和快速修改和管理。 1.2范围 本文档用于oto项目组目前正在开发的android app电器管家2.0和已经发布的1.0的开发或修改 1.3定义、首字母缩写词和缩略语 参考系統需求文档电器管家APP2.020140214 1.4参考资料 1、系統需求文档电器管家APP2.020140214 2、品牌品类及映射建议App数据结构及数据样例 2.整体说明 2.1简介 在此简单介绍系统架构的整体情况，包括用例视图、逻辑视图、进程视图、实施视图的简单介绍。另外，简要介绍各种视图的作用和针对的用户 2.2构架表示方式 本文档将通过以下一系列视图来表示4In1系统的软件架构：用例视图、逻辑视图、部署视图。本文档不包括进程视图和实施视图。这些视图都是通过PowerDesigner工具建立的UML模型。 2.3构架目标和约束 系统架构在设计过程中有以下设计约束： 1、安全性：通讯协议采用加密的方式、存放app端数据要进行混淆器加密、电话号码和logo不能通过反 编译批量拿走。 批量配置工具 用户手册 版权所有?杭州海康威视数字技术股份有限公司2016。保留一切权利。 本手册的任何部分，包括文字、图片、图形等均归属于杭州海康威视数字技术股份有限公司或其子公司（以下简称“本公司”或“海康威视”）。未经书面许可，任何单位和个人不得以任何方式摘录、复制、翻译、修改本手册的全部或部分。除非另有约定，本公司不对本手册提供任何明示或默示的声明或保证。 关于本手册 本手册描述的产品仅供中国大陆地区销售和使用。 本手册作为指导使用。手册中所提供照片、图形、图表和插图等，仅用于解释和说明目的，与具体产品可能存在差异，请以实物为准。因产品版本升级或其他需要，本公司可能对本手册进行更新，如您需要最新版手册，请您登录公司官网查阅（https://www.sodocs.net/doc/511481819.html,）。 海康威视建议您在专业人员的指导下使用本手册。 商标声明 为海康威视的注册商标。本手册涉及的其他商标由其所有人各自拥有。 责任声明 ●在法律允许的最大范围内，本手册所描述的产品（含其硬件、软件、固件等）均“按照现状”提供，可能存在瑕疵、错误或故障，本公司不提供任何形式的明示或默示保证，包括但不限于适销性、质量满意度、适合特定目的、不侵犯第三方权利等保证；亦不对使用本手册或使用本公司产品导致的任何特殊、附带、偶然或间接的损害进行赔偿，包括但不限于商业利润损失、数据或文档丢失产生的损失。 ●若您将产品接入互联网需自担风险，包括但不限于产品可能遭受网络攻击、黑客攻击、病毒感染等，本公司不对因此造成的产品工作异常、信息泄露等问题承担责任，但本公司将及时为您提供产品相关技术支持。 ●使用本产品时，请您严格遵循适用的法律。若本产品被用于侵犯第三方权利或其他不当用途，本公司概不承担任何责任。 ●如本手册内容与适用的法律相冲突，则以法律规定为准。 PXC5.6实验集群的安装与设置 目录 1.目的： (4) 2.集群构成： (5) 2.1.集群构成图： (5) 2.2.集群构成明细： (5) 3.安装设置操作步骤： (6) 3.1.安装Percona Yum Repository： (6) 3.2.安装EPEL源： (7) 3.3.安装PXC (7) 3.4.创建及设置数据目录 (8) 3.5.开通PXC相关IP端口 (9) 3.6.关闭SELinux (10) 3.7.设置https://www.sodocs.net/doc/511481819.html,f启动项文件 (10) 3.8.启动集群 (12) 4.通过HAProxy实现PXC集群负载均衡： (14) 4.1.安装HAProxy (14) 4.2.设置HAProxy (14) 4.3.启动HAProxy (16) 4.4.增加集群状态检查进程用Mysql用户权限 (16) 4.5.为集群每一个节点服务器安装xinetd (17) 4.6.配置xinetd (17) 4.7.通过HAProxy查看数据库集群状态： (18) 5.用Keepalived解决HAProxy单点故障： (20) 5.1.安装配置备份代理服务器 (20) 5.2.安装Keepalived (21) 5.3.在主HAProxy代理服务器中设置Keepalived (21) 5.4.在备份HAProxy代理服务器中设置Keepalived (23) 5.5.验证虚拟IP的漂移 (24) 6.问题排查及解决： (25) 6.1.ERROR 1047 (08S01): WSREP has not yet prepared node for application use (25) Kettle开发使用手册2017年4月 版本历史说明 1.Kettle介绍 1.1.什么是Kettle Kettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装 Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。 运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示： 图1.1 2.Kettle脚本开发 2.1.建立资源库（repository仓库） Repository仓库是用来存储所有kettle文件的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle开发环境也是要用到该资源库。建立资源库的方式是工具 --> 资源库- -> 连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettle file repository选项，按确定，如图2.1所示： 图2.1 跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示： 图2.2 建完后会kettle工具会自动连接到repository资源库，每次打开kettle 也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是资源库所在目录了，如图2.3所示。注意你在资源库建的目录结构要跟数据交换平台的目录结构一致，这样写好kettle脚本，保存后放的路径能跟交换平台的目录结构一致了。 软件架构设计说明书 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】 目录 1.引言 [对于由多个进程构成的复杂系统，系统设计阶段可以分为：架构设计（构架设计）、组件高层设计、组件详细设计。对于由单个进程构成的简单系统，系统设计阶段可以分为：系统概要设计、系统详细设计。本文档适用于由多个进程构成的复杂系统的构架设计。] [架构设计说明书是软件产品设计中最高层次的文档，它描述了系统最高层次上的逻辑结构、物理结构以及各种指南，相关组件（粒度最粗的子系统）的内部设计由组件高层设计提供。] [系统：指待开发产品的软件与硬件整体，其软件部分由各个子系统嵌套组成，子系统之间具有明确的接口； 组件：指粒度最粗的子系统； 模块：指组成组件的各层子系统，模块由下一层模块或函数组成；] [此文档的目的是： 1）描述产品的逻辑结构，定义系统各组件（子系统）之间的接口以及每个组件（子系统）应该实现的功能； 2）定义系统的各个进程以及进程之间的通信方式； 3）描述系统部署，说明用来部署并运行该系统的一种或多种物理网络（硬件）配置。对于每种配置，应该指出执行该系统的物理节点（计算机、网络设备）配置情况、节点之间的连 接方式、采用何种通信协议、网络带宽。另外还要包括各进程到物理节点的映射； 4）系统的整体性能、安全性、可用性、可扩展性、异常与错误处理等非功能特性设计； 5）定义该产品的各个设计人员应该遵循的设计原则以及设计指南，各个编程人员应该遵循的编码规范。 ] [建议架构设计工程师与组件设计工程师共同完成此文档。] [架构设计说明书的引言应提供整个文档的概述。它应包括此文档的目的、范围、定义、首字母缩写词、缩略语、参考资料和概述。] 搜索配置工具使用说明 1.网络设备搜索 网络设备搜索用于发现与软件运行PC同一个子网内的在线设备，工具软件还可以对搜索出的设备的基本信息进行修改。工具软件开始运行时如图1-1所示 图1-1 1.1修改端口 用户选择一个在线设备后，其各项信息会显示在图1-1中在线列表的下方，用户可以对端口进行修改。 1.2批量修改IP 当用户在在线列表中勾选多个设备后，输入起始IP、子网掩码、DNS、网关，点击批量修改IP，可以对多个设备自动修改IP地址。 1.3导出设备信息 该功能是将在线列表中的所有设备信息以CSV格式文件导出。 1.4恢复密码 (1).用户首先获得设备ID和运行时长 (2).拨打400电话获得加密字符串 (3).一小时内将加密字符串输入到密码追回框中，进行密码恢复 1.5重启设备 对当前选中的设备进行重启，不支持批量。 1.6写入文件 如果勾选了写入文件，该软件所产生的日志信息将会以文本形式记录到C盘下 2.参数配置 该配置页包含前端设备参数、通道参数、常用设置、保存配置文件、网络测试、格式化磁盘、清理插件功能。 在每项参数设置中都有“保存至模板”复选框，如果勾选“保存至模板”，当点击“保存模板”按钮时，可以将“常用参数配置”的数据保存到配置文件中，不勾选“保存至模板” 则不对其进行保存。 界面如图2-1所示 图2-1 2.1前端参数配置 (1).打开参数配置页，默认进入前端参数配置 (2).右击设备树，点击“登录”按钮登陆设备，登录后设备树会有相应颜色变化（成功：绿色，失败：红色，超时：蓝色） (3)在面板右侧选择设备类型IPC或者球机 (4).用户可以在“常用参数配置”中对设备进行控制 (5).点击“保存参数”，会将数据配置到设备 (6).勾选“显示码率帧率”，视频会叠加当前的码率和帧率 2.2 通道参数配置，界面如图2-2所示 (1).在字符叠加配置中，用户可以选择叠加通道名称和叠加通道时间，点击“保存参数”时，会进行相应的叠加。 (2).在音视频参数配置中，可以对设备的音视频参数进行设置，视频默认连接的是主码流，音视频参数模块的主副码流单纯的只是配置参数，与IE相对应，具体设置项见图2-2。(3).录像参数配置中，用户可以设置设备的录像时间模板,具体设置项见图2-2。 使用rchs集群套件基于conga界面配置apache高可用集群 电源设备采用“virtual machine fencing” Conga是一个基于web界面的c/s架构的配置集群的工具 c 集群节点作为被服务管理集群配置的客户端节点 s 专门用于管理集群、配置集群的一个服务端节点 在S服务端上安装luci的服务端软件，打开该软件提供的一个web界面，进行集群的配置（配置的步骤跟使用rhel5上的system-config-cluster雷同），唯一的区别是，服务端（本机）本身并不参与集群，并不属于集群中的成员。 在c客户端上安装ricci服务，该服务会与服务端的luci建立连接，接受服务端的集群管理操作。客户端才是集群中的成员。 准备： FQDN、静态IP 、hosts文件 clients | |----------------| node1 node2 https://www.sodocs.net/doc/511481819.html, 192.168.29.11 https://www.sodocs.net/doc/511481819.html, 192.168.29.12 资源： vip 192.168.29.10 httpd OS ：rhel6 准备： 静态IP、FQDN、hosts 暂时关闭iptables ,selinux [Base] name=Base baseurl=file:///soft/el63 enabled=1 gpgcheck=0 [HighAvailability] name=LoadBalancer baseurl=file:///soft/el63/HighAvailability enabled=1 gpgcheck=0 [ResilientStorage] name=ResilientStorage baseurl=file:///soft/el63/ResilientStorage enabled=1 gpgcheck=0 [ScalableFileSystem] name=ScalableFileSystem baseurl=file:///soft/el63/ScalableFileSystem enabled=1 gpgcheck=0 一、在宿主机上模拟fence设备 # yum install fence-virt.x86_64 fence-virtd.x86_64 fence-virtd-libvirt.x86_64 fence-virtd-multicast.x86_64 -y fence-virt 实际用于fence设备工具：实际用于关机、重启、启动客户机的工具 fence-virtd 模拟fence设备的服务：负责接受集群中的节点（客户机）fence指令 fence-virtd-libvirt.x86_64 <----操作虚拟化的接口库 fence-virtd-multicast.x86_64 组播的方式在宿主机（fence-virtd服务）和客户机（集群节点）之间传达电源指令《---以模块的形式存在 软件安装完毕后，存在一个配置文件/etc/fence_virt.conf 向导配置 # fence_virtd -c Kettle安装及使用说明 1.什么Kettle？ Kettle是一个开源的ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）项目，项目名很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。Kettle包括三大块： Spoon——转换/工作(transform/job)设计工具(GUI方式) Kitchen——工作(job)执行器(命令行方式) Span——转换(trasform)执行器(命令行方式) Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高 效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 2.Kettle简单例子 2.1下载及安装Kettle 下载地址：https://www.sodocs.net/doc/511481819.html,/projects/pentaho/files 现在最新的版本是 3.6，为了统一版本，建议下载 3.2，即下载这个文件pdi-ce-3.2.0-stable.zip。 解压下载下来的文件，把它放在D：\下面。在D:\data-integration文件夹里，我们就可以看到Kettle的启动文件Kettle.exe或Spoon.bat。 2.2 启动Kettle 点击D:\data-integration\下面的Kettle.exe或Spoon.bat，过一会儿，就会出现Kettle的欢迎界面： 稍等几秒，就会出现Kettle的主界面: 2.3 创建transformation过程 a.配置数据环境 在做这个例子之前，我们需要先配置一下数据源，这个例子中，我们用到了三个数据库，分别是：Oracle、MySql、SQLServer，以及一个文本文件。而且都放置在不同的主机上。 Oralce：ip地址为192.168.1.103,Oracle的实例名为scgtoa,创建语句为：create table userInfo( id int primary key, 软件(结构)设计说明(SDD) 说明： 1.《软件(结构)设计说明》(SDD)描述了计算机软件配置项(CSCI的设计。它描述了CSCI级设计决策、CSCI体系结构设计(概要设计)和实现该软件所需的详细设计。SDD可用接口设计说明IDD和数据库(顶层)设计说明DBDD加以补充。 2.SDD连同相关的IDD和DBDD是实现该软件的基础。向需方提供了设计的可视性，为软件支持提供了所需要的信息。 3.IDD和DBDD是否单独成册抑或与SDD合为一份资料视情况繁简而定。 目录 软件(结构)设计说明(SDD) (1) 1引言 (3) 1.1标识 (3) 1.2系统概述 (3) 1.3文档概述 (3) 1.4基线 (3) 2引用文件 (3) 3 CSCI级设计决策 (3) 4 CSCI体系结构设计 (4) 4.1体系结构 (4) 4.1.1程序(模块)划分 (4) 4.1.2程序(模块)层次结构关系 (4) 4.2全局数据结构说明 (4) 4.2.1常量 (4) 4.2.2变量 (4) 4.2.3数据结构 (5) 4.3 CSCI部件 (5) 4.4执行概念 (5) 4.5接口设计 (6) 4.5.1接口标识与接口图 (6) 5 CSCI详细设计 (7) 6需求的可追踪性 (8) 7注解 (8) 附录 (8) 1引言 说明：同“软件需求规格说明(SRS)”中“引言”部分。 2引用文件 本章应列出本文档引用的所有文档的编号、标题、修订版本和日期。本章也应标识不能通过正常的供货渠道获得的所有文档的来源。 3 CSCI级设计决策 本章应根据需要分条给出CSCI级设计决策，即CSCI行为的设计决策(忽略其内部实现，从用户的角度看，它如何满足用户的需求)和其他影响组成该CSCI的软件配置项的选择与设计的决策。 如果所有这些决策在CSCI需求中均是明确的，或者要推迟到CSCI的软件配置项设计时指出，本章应如实陈述。为响应指定为关键性的需求(如安全性、保密性、私密性需求)而作出的设计决策，应在单独的条中加以描述。如果设计决策依赖于系统状态或方式，则应指出这种依赖性。应给出或引用理解这些设计所需的设计约定。CSCI级设计决策的例子如下：a.关于CSCI应接受的输入和产生的输出的设计决策，包括与其他系统、HWCI, CSCI和用户的接口(本文的4.5.x标识了本说明要考虑的主题)。如果该信息的部分或全部已在接口设计说明(IDD)中给出，此处可引用。 b.有关响应每个输入或条件的CSCI行为的设计决策，包括该CSCI要执行的动作、响应时间及其他性能特性、被模式化的物理系统的说明、所选择的方程式/算法/规则和对不允许的输入或条件的处理。 c.有关数据库/数据文件如何呈现给用户的设计决策(本文的4.5.x标识了本说明要考虑的主题)。如果该信息的部分或全部已在数据库(顶层)设计说明(DBDD)中给出，此处可引用。 d.为满足安全性、保密性、私密性需求而选择的方法。 e.对应需求所做的其他CSCI级设计决策，例如为提供所需的灵活性、可用性和可维护性所选择的方法。 4 CSCI体系结构设计 本章应分条描述CSCI体系结构设计。如果设计的部分或全部依赖于系统状态或方式，则应指出这种依赖性。如果设计信息在多条中出现，则可只描述一次，而在其他条引用。应给出或引用为理解这些设计所需的设计约定。 4.1体系结构 4.1.1程序(模块)划分 用一系列图表列出本CSCI内的每个程序(包括每个模块和子程序)的名称、标识符、功能及其所包含的源标准名。 4.1.2程序(模块)层次结构关系 用一系列图表列出本CSCI内的每个程序(包括每个模块和子程序)之间的层次结构与调用关系。 KETTLE使用自己总结的Kettle使用方法和成果说明 简介 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 Kettle可以在https://www.sodocs.net/doc/511481819.html,/网站下载到。 注：ETL，是英文Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL 一词较常用在数据仓库，但其对象并不限于数据仓库。 下载和安装 首先，需要下载开源免费的pdi-ce软件压缩包，当前最新版本为5.20.0。 下载网址：https://www.sodocs.net/doc/511481819.html,/projects/pentaho/files/Data%20Integration/然后，解压下载的软件压缩包：pdi-ce-5.2.0.0-209.zip，解压后会在当前目录下上传一个目录，名为data-integration。 由于Kettle是使用Java开发的，所以系统环境需要安装并且配置好JDK。 ?Kettle可以在https://www.sodocs.net/doc/511481819.html,/网站下载 ? 下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可。运行Kettle 进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat 或Kettle.exe文件。Linux用户需要运行spoon.sh文件，进入到Shell提示行窗口，进入到解压目录中执行下面的命令： # chmod +x spoon.sh # nohup ./spoon.sh &后台运行脚本 这样就可以打开配置Kettle脚本的UI界面。 服务业综合业务管理系统 系统架构说明书 ——润和软件股份有限公司 一、概要 本说明书对服务业综合业务管理系统的整体框架进行分块说明，对系统的采用技术点的技术点进行阐述，通过视图与描述展示整个系统框架的结构与层次。 二、目标 构建服务业综合业务管理系统J2EE应用的开发框架，注入Spring支撑，使用兼具灵活性与使用性的ibatis作为持久层，使所有系统能规范开发组件、提高开发效率，易于统一升级和维护。 三、架构设计 3.1、架构分析 1、服务业综合业务管理系统采用B/S模式。B/S模式具有分布性特点，可以随时随地进行查询、浏览等业务处理。其业务扩展简单方便，通过增加网页即可增加服务器功能。而且后期维护方面只需要改变网页，即可实现所有用户的同步更新 2、搭建轻量级J2EE框架—Spring框架。J2EE为搭建具有可伸缩性、灵活性、易维护性的系统提供了良好的机制。J2EE框架使得开发的产品更加高效，更加健壮，在伸缩性和稳定性上面也有着显而易见的效果。而Spring是一个完美的框架“黏合剂”。它提供了一种管理对象的方法，可以把中间层对象有效地组织起来。他的分层结构可以增量引入项目。而非侵入性应用程序对Spring API的依赖可以减至最小限度。 3、使用兼具灵活性与实用性的ibatis作为系统的持久层。Ibatis是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。Ibatis将代码和sql语句分离，sql可以写在xml中，结构清晰，灵活配置，对平台支持性大幅度提高。 3.2、设计思想 1、系统技术架构采用主流的MVC模式 MVC思想将一个应用分成三个基本部分：Model（模型）、View（视图）和Controller （控制器），这三个部分以最少的耦合协同工作，从而提高应用的可扩展性及可维护性。直接向数据库发送请求并用HTML显示,开发速度往往比较快,但由于数据页面的分离不是很直接,因而很难体现出业务模型的样子或者模型的重用性。产品设计弹性力度很小，很难满足 ONVIF 测试工具使用方法 ONVIF Device Manage工具主要用来验证设备是否支持onvif，实时预览、PTZ控制及远程配置IPC参数等功能。 一、ONVIF Device Manage安装 1.PC安装环境要求：装有Microsoft .Net Framework 4.0版本 2.安装源文件请见：ONVIF Device Manage.rar 注：Microsoft .Net Framework 4.0安装不成功的解决方式，见备注。 二、ONVIF Device Manage的使用 1.运行工具 双击ONVIF Device Manage快捷方式，运行工具。当前局域网内，支持onvif协议的IPC可以自动显示出来，见下图。Device List列表即检索到的IPC列表 2.基本功能介绍 1>登录 此时输入的用户名和密码为设备自身的用户名和密码，有的厂家设备不需要。输入正确的用户名和密码，即可实时预览IPC及参数配置。 2>实时预览 在设备列表选择一个IPC（单击即可），点击Live video即可预览该IPC画面，main stream是主码流预览，sub stream是子码流预览 3>检索 在Device List区域的文本框输入IP地址，即可过滤其它IPC，留下符合条件的设备. 4>手动增加 点击Add按钮，输入url，例如http://192.168.1.123/onvif/device_service，点击Apply，即可手动增加IPC 5>rtsp路径 实时预览画面的下方，会显示rtsp路径。如下： rtsp://192.168.1.166:5504/channel=0;stream=0;user=system;pass=system 192.168.1.166为IPC的地址 5504为IPC的端口 channel为通道 stream为码流，0默认是主码流，1为子码流 user和pass：用户名和密码 6>视频编码配置 选择子码流预览，可以配置子码流的编码参数 7>码流选择 点击Profiles，进入码流切换界面 HAProxy安装及配置详解与算法 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。 HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy 运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整 合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。 其支持从4层至7层的网络交换，即覆盖所有的TCP协议。就是说，Haproxy甚至还支持Mysql的 均衡负载。如果说在功能上，能以proxy反向代理方式实现WEB均衡负载，这样的产品有很多。包括Nginx，ApacheProxy，lighttpd，Cheroke等。 但要明确一点的，Haproxy并不是Http服务器。以上提到所有带反向代理均衡负载的产品，都 清一色是WEB服务器。简单说，就是他们能自个儿提供静态(html,jpg,gif..)或动态(php,cgi..) 文件的传输以及处理。而Haproxy仅仅，而且专门是一款的用于均衡负载的应用代理。其自身并不能提 供http服务。 但其配置简单，拥有非常不错的服务器健康检查功能还有专门的系统状态监控页面，当其代理的后端服务器出现故障,HAProxy会自动将该服务器摘除，故障恢复后再自动将该服务器加入。自1.3版本开始还引入了frontend,backend,frontend根据任意HTTP请求头内容做规则匹配，然后把请求定向到相关的backend。 1.安装 官方版本获取地址：http://haproxy.1wt.eu/，不过官方页面已经打不开了，请自行搜索！ 上面中的26是linux系统内核，通过命令#uname-a可查看，我使用的是CentOS #tar xzvf haproxy-1.4.24.tar.gz #cd haproxy-1.4.24 #make TARGET=linux26PREFIX=/usr/local/haproxy #make install PREFIX=/usr/local/haproxyb 2.配置 安装完毕后，进入安装目录配置文件，默认情况下目录里是没有.cfg配置文件的，可以回到安装文件目录下将examples下的haproxy.cfg拷贝到usr/local/haproxy下。 #cd/usr/local/haproxy #vi haproxy.cfg 默认文件内容如下：(注意！！标示开始的为默认的配置文件没有的)软件架构设计说明书
HAProxy的安装部署详细
Kettle开发使用手册范本
软件架构设计文档模板
配置nginx到后端服务器负载均衡
KETTLE组件介绍与使用
系统的架构设计文档
批量配置工具用户手册(可视对讲)
PXC5.6实验集群的安装与设置
Kettle开发使用手册
软件架构设计说明书完整版
搜索配置工具使用说明剖析
haproxy高级配置
pentaho-Kettle安装及使用说明(例子)
软件(结构)设计说明(SDD)6Y
自己总结的Kettle使用方法和成果
系统架构说明书
ONVIF Device Manager测试工具使用方法
HAPROXY安装及配置详解与算法