最新互联网架构演变
互联网架构演变历程1.技术发展历程总结
1.1.单节点架构
1.2.集群架构
1.3. 集群+分布式架构
后台管理系统
商城门户
搜索系统
订单系统
会员系统
服务中间件Dubbo
商品服务
内容服务
单点登录服务
订单服务
搜索服务
缓存redis MyCat 数据库中间件
Mysql 数据库
Mysql 数据库
Mysql 数据库
Mysql 数据库
Solr 服务
索引库
消息队列ActiveMQ
服务层
表现层
持久层
《红星照耀中国》名著导读练习题
一、选择题
1. 美国记者埃德加?斯诺在《红星照耀中国》一书中写道：“在某种意义上讲，这次大迁移是历史上最大的一次流动的武装宣传。”文中的“大迁移”是指（D ）
A、国民革命军北伐
B、朱、毛红军会师井冈山
C、北方少数民族南迁
D、中国工农红军万里长征
2. 美国记者斯诺在《红星照耀中国》一书中写道：“在某种意义上讲，这次大迁移是历史上最大的一次流动的武装宣传。”文中的“武装宣传”是指（C ）
A、国民革命军出师北伐，扩大了革命影响
B、太平天国北伐、东征，打击了中外反动势力
C、工农红军的万里长征，成为“革命的播种机”
D、刘邓大军千里跃进大别山，开辟了革命根据地
3. 美国著名记者埃德加．斯诺的《红星照耀中国》一书以纪实性手法向西方国家大量介绍了红色中国以及红军长征的事迹，一度风靡全世界。2017年是红军长征胜利（D ）
A、51周年
B、61周年
C、71周年
D、81周年
4.
计算机系统结构发展历程及未来展望
计算机系统结构发展历程及未来展望 一、计算机体系结构 什么是体系结构 经典的关于“计算机体系结构（computer Architecture）”的定义是1964年C.M.Amdahl在介绍IBM360系统时提出的，其具体描述为“计算机体系结构是程序员所看到的计算机的属性，即概念性结构与功能特性” 。 按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。一般来说，低级机器的属性对于高层机器程序员基本是透明的，通常所说的计算机体系结构主要指机器语言级机器的系统结构。计算机体系结构就是适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据库和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操作者；数据库是通过软件访问的大型的、有组织的信息集合；文档是描述系统使用方法的手册、表格、图形及其他描述性信息；过程是一系列步骤，它们定义了每个系统元素的特定使用方法或系统驻留的过程性语境。 体系结构原理 计算机体系结构解决的是计算机系统在总体上、功能上需要解决的问题，它和计算机组成、计算机实现是不同的概念。一种体系结构可能有多种组成，一种组成也可能有多种物理实现。 计算机系统结构的逻辑实现，包括机器内部数据流和控制流的组成以及逻辑设计等。其目标是合理地把各种部件、设备组成计算机，以实现特定的系统结构，同时满足所希望达到的性能价格比。一般而言，计算机组成研究的范围包括：确定数据通路的宽度、确定各种操作对功能部件的共享程度、确定专用的功能部件、确定功能部件的并行度、设计缓冲和排队策略、设计控制机构和确定采用何种可靠技术等。计算机组成的物理实现。包括处理机、主存等部件的物理结构，器件的集成度和速度，器件、模块、插件、底板的划分与连接，专用器件的设计，信号传输技术，电源、冷却及装配等技术以及相关的制造工艺和技术。 主要研究内容 1·机内数据表示：硬件能直接辨识和操作的数据类型和格式 2·寻址方式：最小可寻址单位、寻址方式的种类、地址运算 3·寄存器组织：操作寄存器、变址寄存器、控制寄存器及专用寄存器的定义、数量和使用规则 4·指令系统：机器指令的操作类型、格式、指令间排序和控制机构 5·存储系统：最小编址单位、编址方式、主存容量、最大可编址空间 6·中断机构：中断类型、中断级别，以及中断响应方式等
微信红包数据库架构演变
微信红包数据架构演变 嘉宾：莫晓东 ?红包印象 ?2015春晚红包 ?2015新的挑战 ?2016再战春晚
红包映像 微信红包是什么？ 包红包(支付) 发 抢拆 2014年短短几天内快速上线的内部项目，满足业务基本需求，每秒几 百发送，每秒上千拆的请求。 微信红包是什么
微信红包资金流银行卡 A用户微信支付余额微信红包中转账户 银行卡 A 用户微信支付余额 微信红包中转账户微信红包中转账户 E 用户微信支付余额 D 用户微信支付余额 C 用户微信支付余额 ?转账(拆红包) ?支付(发红包)?退款（过期 24小时) or ? A 用户发红包，C, D, E 用户抢红包 ?资金原路返回 必须做到资金安全，所以需要事 务。 2015年春晚红包400倍的挑战 海量之道 全民摇红包，不能失败
存储层方案和设备选型 ?项目挑战： ?预估量级是日常的100倍。 ?无法借鉴、摸着石头过河。 ?精确压测性能，为容量评估和限流提供依据。 ?从配置、部署、容灾三方面深入优化，为业务保驾护航。?是否继续使用MySQL？ ?需要多少机器，怎样部署。 ?使用什么机器类型。 ?可能出现什么问题，怎么解决。 继续使用MySQL ? MySQL支持事物，满足一致性要求。 ? 结构化存储，紧凑、连续。 ? 支持多索引。 ? 部署简单，工具支持。 ? 团队技术积累。 ? 设备改进。 硬盘从sas升级FusionIO SSD。 系统从SUSE linux 10升级tlinux 1.2。 ? 测试先行，实践是检验真理的第一标准。 模拟测试： 吞吐量：2.6w/s 主事物：2k+/s 同步速度：6k/s
Web应用系统架构演进过程
1 系统架构演化历程 -- 初始阶段架构 初始阶段的小型系统，其特征表现为应用程序、数据库、文件等所有的资源都部署在一台服务器上，我们通俗称为LAMP架构。 特征： 应用程序、数据库、文件等所有的资源都在一台服务器上。 描述： 通常服务器操作系统使用Linux，应用程序使用PHP开发，然后部署在Apache上，数据库使用MySQL，汇集各种免费开源软件以及一台廉价服务器就可以开始系统的发展之路了。 2 系统架构演化历程 -- 应用服务和数据服务分离
好景不长，发现随着系统访问量的增加，Web应用服务器器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台Web应用服务器提供系统的访问效率。 特征： 应用程序、数据库、文件分别部署在独立的资源上。 描述： 数据量增加，单台服务器性能及存储空间不足，需要将应用和数据分离，并发处理能力和数据存储空间得到了很大改善。 3 系统架构演化历程 -- 使用缓存改善性能标题
特征： 数据库中访问较集中的一小部分数据存储在缓存服务器中，减少数据库的访问次数，降低数据库的访问压力。 描述： 1. 系统访问特点遵循二八定律，即80%的业务访问集中在20%的数据上； 2. 缓存分为本地缓存和远程分布式缓存，本地缓存访问速度更快但缓存数据量有限，同时存在与应用程序争用内存的情况。 4 系统架构演化历程 -- 使用应用服务器集群
在对应用系统做完分库分表工作后，数据库上的压力已经降到比较低了，又开始过着每天看着访问量暴增的幸福生活了，突然有一天，发现系统的访问又开始有变慢的趋势了，这个时候首先查看数据库，压力一切正常，之后查看Web Server，发现Apache阻塞了很多的请求，而应用服务器对每个请求也是比较快的，发现问题是由于请求数太高导致需要排队等待，响应速度变慢。 特征： 多台服务器通过负载均衡同时向外部提供服务，解决单台服务器处理能力和存储空间上限的问题。 描述： 1. 使用集群是系统解决高并发、海量数据问题的常用手段。 2. 通过向集群中追加资源，提升系统的并发处理能力，使得服务器的负载压力不再成为整个系统的瓶颈。 5 系统架构演化历程 -- 数据库读写分离
互联网电商系统架构介绍
互联网电商系统架构介绍
背景 说起架构，大多人想到的是技术语言、技术框架、SOA、微服务、中间件等，这些都是纯粹的系统架构或基础架构，它们基本不受业务影响，大多可以独立于具体业务进行开发和发展，形成自己独立的体系甚至标准化的技术产品。 但实际上大多情况下技术是为业务服务的，我们开发的更多的是应用系统或者称之为业务系统，业务的不同特点决定了应用（业务）架构也必然有不同的特点。 而这些不同的特点单纯靠技术肯定解决不了，应用架构设计的一条重要原则是技术中立，所以更多时候我们要从应用的角度而不是技术的角度去考虑问题。 我做过电商核心交易相关系统，提起电商大家想到的自然是PV、UV、高性能、高并发、高稳定、抢购秒杀、订单、库存、分布式事务等。 这里的每一个点初听起来都充满着高深与神秘，以关心较多的秒杀为例（1000 万人秒杀100 块100g 的金条）我们来分析看看。 常规秒杀架构常规架构如下
常规流量分布模型 展示层流量> 应用层流量> 服务层流量> DB 层流量 超NB 的系统流量分布模型如下 展示层流量= 应用层流量= 服务层流量= DB 层流量
我们知道DB 是系统最底层也是流量的最大瓶颈，从上面几个图可以看到，超NB 的公司解决了DB 瓶颈所有流量可以一路直到DB 层，每一层都可以任意扩展，那么系统的压力就可以轻松化解。 当然一些没有经验的系统也是这么做的，但DB 层甚至其他层扩展做不好，所以系统经常挂。而实际上再NB 的公司也不会这么去做，即使技术上能做到也没有必要，因为代价实在太大。 所以我们要从DB 层之前想办法梯形逐层进行流量过滤，也就成了上边看到的常规流量分布模型，最好的结果就是到DB 层流量只有实际的订单数100（100 块金条）。 秒杀流量过滤—常规思路 回到常规流量分布模型，以下是一个常用的秒杀系统流量过滤过程：
一线互联网智能推荐系统架构演进
一线互联网智能推荐系统架构演进 作者：fisherman，时任推荐部门推荐系统负责人，负责推荐部门的架构设计及相关研发工作。Davidxiaozhi，时任推荐部门推荐系统架构师，负责推荐系统的架构设计和系统升级。来自：《决战618：探秘京东技术取胜之道》零，题记在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。2013年，国内大数据时代到来，一方面如果做的事情与大数据不沾边，都显得自己水平不够，另外一方面京东业务在这一年开始飞速发展，所以传统的方式已经跟不上业务的发展了，为此推荐团队专门设计了新的推荐系统。随着业务的快速发展以及移动互联网的到来，多屏（京东App、京东PC商城、M站、微信手Q等）互通，推荐类型从传统的商品推荐，逐步扩展到其他类型的推荐，如活动、分类、优惠券、楼层、入口图、文章、清单、好货等。个性化推荐业务需求比较强烈，基于大数据和个性化推荐算法，实现向不同用户展示不同内容的效果。为此，团队于2015年底再次升级推荐系统。2016年618期间，个
性化推荐大放异彩，特别是团队开创的“智能卖场”，实现了 活动会场的个性化分发，不仅带来GMV的明显提升，也大幅降低了人工成本，大大提高了流量效率和用户体验，从而达到商家和用户双赢，此产品获得了2016年度的集团优秀 产品。为了更好地支撑多种个性化场景推荐业务，推荐系统一直在迭代优化升级，未来将朝着“满屏皆智能推荐”的方向 发展。一、推荐产品用户从产生购买意向，到经历购买决策，直至最后下单的整个过程，在任何一个购物链路上的节点，推荐产品都能在一定程度上帮助用户决策。1.1、推荐产品发展过程推荐产品发展历程主要经历了几个阶段（图1），由简单的关联推荐过程到个性化推荐，逐步过渡到场景智能推荐。从相关、相似的产品推荐过渡到多特征、多维度、用户实时行为、结合用户场景进行的全方位智能推荐。图1 推荐产品发展历程1.2、多屏多类型产品形态多类型主要指推荐类 型覆盖到多种类型，如商品、活动、分类、优惠券、楼层、入口图、文章、清单、好货等。在移动互联时代，多屏场景非常普遍，整合用户在多屏的信息，能使个性化推荐更精准。多屏整合的背后技术是通过前端埋点，用户行为触发埋点事件，通过点击流系统进行多屏的行为信息收集。这些行为数据通过实时流计算平台来计算用户的兴趣偏好，从而根据用户兴趣偏好对推荐结果进行重排序，达到个性化推荐的效果。京东多屏终端如图2所示。图2 京东多屏终端二、推荐系
互联网构架
软件设计工作量 一、数据库服务器工作量 1.对关系型数据库全部表格架构的设计（包括字段、类型、列集、默认状态、计算规范、 DTS复制、可合并行属性的设计） 2.数据库访问中用到的全部存储过程的设计（包括接口定义、语句访问权限、存储性能分 析设计工作） 3.数据库用户权限的分配（包括确定登录名的服务器角色、登录名数据库映射、登录名数 据库角色、安全对象模板） 4.计划任务的设计和布置（包括定时备份、定时优化计划任务） 5.数据库代理服务的布置（包括作业内容、代理脚本设计和错误日志记录） 二、服务器端的调度软件工作量 1.审核并确认登录用户的级并建立数据库的连接（对用户Sha512加密结果进行检索以确 定用户身份） 2.协调客户端并发请求（建立自适应缓冲池、建立多线程向数据库添加数据） 3.向服务器增、删、改客户端上传数据（为解决可能存在的并发冲突，多线程并发的调用 数据库预先设计存储过程，实现数据多种数据处理） 4.接收“不满意报告”并反馈给医师端以及将医师端报告重新发给用户并对服务器对应数 据做修改（基于Windows消息机制模型，设计病例数据传发消息，将“不满意报告”发给医师重新审定，并再次发送至用户） 5.接收在线售卡系统及财务提交的申请并自动生成加密串号反馈给用户或财务端软件（串 号的生成要求加密，从而实现防伪的功能） 6.向客户端发出续费提示（实时查询用户在数据库中的储值情况，及时向用户发送续费提 示） 7.向客户端发送公司的群发消息（以系统托盘弹出消息的方式提示用户公司需要发布的最 新消息） 8.医师离线时，服务器会动态分配“不满意报告”（建立后台定时器，对于超时任务，自 动派发给在线医师） 9.按次数及用户等级对用户卡中金额进行扣除（按照公司预定义的费率扣除费用） 10.按照用户等级生成并向客户端发送诊断报告（建立分级处理线程，根据用户等级，并行 处理） 三、医师端软件工作量 1.医师用户登录权限审核（对医师用户Sha512加密结果进行检索以确定医师用户身份） 2.接收服务器端发来的“不满意报告”（基于Windows消息机制模型，设计病例数据传发 消息，将“不满意报告”重新审定） 3.对报告进行修改反馈给数据库（修改自动生成的诊断结果，将新结果反馈给用户） 4.患者历史数据和历史诊断的查询和分析图样 5.患者测量数据图样的绘制及可能患病的分析（根据需求绘制病例图样，以方便医师诊断） 四、缴费系统工作量
数据库架构规划方案
数据库架构规划方案
架构的演变 架构演变一定是根据当时要求的场景、压力下性能的需要、安全性、连续性的要求、技术的发展..... 我把架构的发展分为大概4个阶段： 1.单机模式 IT建设初期，高速建设阶段，大家要做的只有一件事，我需要什么构建什么，我需要ERP我买软件，需要HIS买HIS，这个时期按需构建大量的系统基本在这个时期产生，当然那个时候也没什么高可用的要求。 2.双机热备和镜像 基本是20年前的技术了，在高速构建后，一堆的系统运行中，用户发现我们的核心业务如果坏掉业务受影响，停机几个小时做恢复这是无法接受的，那么双机热备或镜像，Active-Standby的模式出现，这样一台机器工作，一台备用坏了在短时间可以接管业务，造成的损失会低很多！
那么问题也很明显，备机资源浪费，依赖存储，数据还是单点，成本较高。产品也很多：RoseHA/RoseMirrorHA、NEC ExpressCluster、微软MSCS、Symantec VCS、Legato、RHCS 太多太多了。 随后为了解决数据单点的问题有出现了存储的主备，存储的双活这厂商也太多了，这里就不介绍了 基本上传统企业依然停留在第一和第二阶段，也就是要么单机，要么双机热备 3.节点多活
随着业务量越来越大，数据量不断飚升，系统高效性的矛盾显现出来，系统卡慢、报表、接口业务无法分离OLAP OLTP业务混合导致系统锁情况严重，资源消耗极其庞大，光靠升级硬件已经无法满足要求，横向扩展已经成为大势所趋。 同时切换时间、备机无法启动的问题也困扰着用户。 那么节点多活，多台机器同时对外提供访问的技术登上舞台，代表的ORACLE RAC、微软ALWAYSON 、MOEBIUS集群 多活的两种模式也是从第二带架构的演变 oracle rac 把双机热备的辅助节点变的可以访问，关键点数据在多节点内存中的调配 Microsoft awo、Moebius 则是把镜像的辅助节点变的可以访问，关键点数据多节点同步 这样横向扩展来分担压力，并且可以在业务上进行分离。 4.分布式架构 分布式架构真的不知道从何说起，概念太大，每个人理解的都不一样，只能意会不能言传： 比如说一份数据分开存成多份
超融合：架构演变和技术发展
超融合：架构演变和技术发展 1、超融合：软件定义一切趋势下的诱人组合 超融合是以虚拟化为核心，将计算、存储、网络等虚拟资源融合到一台标准x86服务器中形成基本架构单元，通过一整套虚拟化软件，实现存储、计算、网络等基础功能的虚拟化，从而使购买者到手不需要进行任何硬件的配置就可以直接使用。 “超”特指虚拟化，对应虚拟化计算架构。这一概念最早源自Nutanix等存储初创厂商将Google/Facebook等互联网厂商采用的计算存储融合架构用于虚拟化环境，为企业客户提供一种基于X86硬件平台的计算存储融合产品或解决方案。超融合架构中最根本的变化是存储，由原先的集中共享式存储（SAN、NAS）转向软件定义存储，特别是分布式存储（如Object、Block、File存储）。 “融合”是指计算和存储部署在同一个节点上，相当于多个组件部署在一个系统中，同时提供计算和存储能力。物理融合系统中，计算和存储仍然可以是两个独立的组件，没有直接的相互依赖关系。超融合则重点以虚拟化计算为中心，计算和存储紧密相关，存储由虚拟机而非物理机CVM(ControllerVM)来控制并将分散的存储资源形成统一的存储池，而后再提供给Hypervisor用于创建应用虚拟机。
超融合已从1.0阶段发展至3.0阶段，服务云平台化趋势明显，应用场景不断丰富。超融合1.0，特点是简单的硬件堆砌，将服务器、存储、网络设备打包进一个“盒子”中；超融合2.0，其特点则是软件堆砌，一般是机架式服务器+分布式文件系统+第三方虚拟化+第三方云平台，具有更多的软件功能。 在1.0和2.0阶段，超融合和云之间仍旧有着“一步之遥”，并不能称之为“开箱即用”的云就绪系统，超融合步入3.0阶段，呈现以下两个特点： 服务的云平台化。它所交付的不仅是软硬一体的超融合方案，更是一套完整的云平台服务：用户只需要一次性投入，就能够得到完整的云服务。假设用户是第一次上云，只需满足最基本的IaaS服务即可；随着云化的深入，用户开始在云上部署业务，在需要开发测试，需要数据库、大数据等应用的时候，不需要增加任何节点，便可在已有的超融合部署环境里获得丰富的PaaS服务，如数据库、缓存、大数据、数据仓库、容器平台、人工智能、物联网等。进一
互联网的体系结构
互联网的体系结构 互联网的体系结构包括七层，分别是物理层、数据链路层、网络层、传输层、会话层、表示层、应用层。 第一层：物理层（PhysicalLayer) 规定通信设备的机械的、电气的、功能的和规程的特性，用以建立、维护和拆除物理链路连接。具体地讲，机械特性规定了网络连接时所需接插件的规格尺寸、引脚数量和排列情况等；电气特性规定了在物理连接上传输bit流时线路上信号电平的大小、阻抗匹配、传输速率距离限制等； 第二层：数据链路层（DataLinkLayer) 在物理层提供比特流服务的基础上，建立相邻结点之间的数据链路，通过差错控制提供数据帧（Frame）在信道上无差错的传输，并进行各电路上的动作系列。 第三层：网络层(Network layer) 在计算机网络中进行通信的两个计算机之间可能会经过很多个数据链路，也可能还要经过很多通信子网。网络层的任务就是选择合适的网间路由和交换结点，确保数据及时传送。网络层将数据链路层提供的帧组成数据包，包中封装有网络层包头，其中含有逻辑地址信息- -源站点和目的站点地址的网络地址。 第四层：传输层(Transport layer) 第4层的数据单元也称作处理信息的传输层(Transport layer)。但是，当你谈论TCP等具体的协议时又有特殊的叫法，TCP的数据单元称为段（segments）而UDP协议的数据单元称为“数据报（datagrams）”。这个层负责获取全部信息，因此，它必须跟踪数据单元碎片、乱序到达的数据包和其它在传输过程中可能发生的危险。 第五层：会话层(Session layer) 这一层也可以称为会晤层或对话层，在会话层及以上的高层次中，数据传送的单位不再另外命名，统称为报文。会话层不参与具体的传输，它提供包括访问验证和会话管理在内的建立和维护应用之间通信的机制。如服务器验证用户登录便是由会话层完成的。
互联网智能推荐系统架构设计
互联网智能推荐系统架构设计
一，题记 58同城智能推荐系统大约诞生于2014年（C++实现），该套系统先后经历了招聘、房产、二手车、黄页和二手物品等产品线的推荐业务迭代，但该系统耦合性高，难以适应推荐策略的快速迭代。 58同城APP猜你喜欢推荐和推送项目在2016年快速迭代，产出了一套基于微服务架构的推荐系统（Java 实现），该系统稳定、高性能且耦合性低，支持推荐策略的快速迭代，大大提高了推荐业务的迭代效率。此后，我们对旧的推荐系统进行了重构，将所有业务接入至新的推荐系统，最终成功打造了统一的58同城智能推荐系统。 下面我们将对58同城智能推荐系统展开介绍，首先会概览整体架构，然后从算法、系统和数据三方面做详细介绍。 整体架构首先看一下58同城推荐系统整体架构，一共分数据层、策略层和应用层三层，基于58平台产生的各类业务数据和用户积累的丰富的行为数据，我们采用各类策略对数据进行挖掘分析，最终将结果应用于各类推荐场景。
二，数据层 主要包括业务数据和用户行为日志数据。业务数据主要包含用户数据和帖子数据，用户数据即58平台上注册用户的基础数据，这里包括C端用户和企业用户的信息，帖子数据即用户在58平台上发布的帖子的基础属性数据。 这里的帖子是指用户发布的房源、车源、职位、黄页等信息，为方便表达，后文将这些信息统称为帖子。用户行为日志数据来源于在前端和后台的埋点，例如用户在APP上的筛选、点击、收藏、打电话、微聊等各类操作日志。
这些数据都存在两种存储方式，一种是批量存储在HDFS上以用作离线分析，一种是实时流向Kafka以用作实时计算。 三，策略层 基于离线和实时数据，首先会开展各类基础数据计算，例如用户画像、帖子画像和各类数据分析，在这些基础数据之上便是推荐系统中最重要的两个环节：召回和排序。召回环节包括多种召回源的计算，例如热门召回、用户兴趣召回、关联规则、协同过滤、矩阵分解和DNN等。 我们采用机器学习模型来做推荐排序，先后迭代了LR、FM、GBDT、融合模型以及DNN，基于这些基础机器学习模型，我们开展了点击率、转化率和停留时长多指标的排序。 这一层的数据处理使用了多种计算工具，例如使用MapReduce和Hive做离线计算，使用Kylin做多维数据分析，使用Spark、DMLC做大规模分布式机器学习模型训练，使用theano和tensorflow做深度模型训练。 三，应用层 再往上就是应用层，我们通过对外提供rpc和http接口来实现推荐业务的接入。58同城的推荐应用大多是向用户展示一个推荐结果列表，属于topN推荐模式，这里介绍下58同城的几个重要的推荐产品：
数据库未来发展趋势
数据库技术最新发展 数据库（Databases，简称DB）是指长期保存在计算机的存储设备上、并按照某种模型组织起来的、可以被各种用户或应用共享的数据的集合。数据库管理系统（Database Management Systems，简称DBMS）是指提供各种数据管理服务的计算机软件系统，这种服务包括数据对象定义、数据存储与备份、数据访问与更新、数据统计与分析、数据安全保护、数据库运行管理以及数据库建立和维护等。 由于企业信息化的目的就是要以现代信息技术为手段，对伴随着企业生产和经营过程而产生的数据进行收集、加工、管理和利用，以改善企业生产经营的整体效率，增强企业的竞争力。所以，数据库是企业信息化不可缺少的工具，是绝大部分企业信息系统的核心。 纵观数据库发展，三大数据库巨头公司纷纷推出其最新产品，数据库市场竞争日益加剧。从最新的IDC报告显示，在关系数据库管理系统(RDBMS)软件市场上，Oracle继续领先对手IBM和微软，但是微软在2006年取得了更快的销售增长率…… 根据对数据库发展的技术趋势不难看出，整个数据库发展呈现出了三个主要特征： (1)、支持XML数据格式 IBM公司在它新推出的DB29版本中，直接把对XML的支持作为其新产品的最大卖点，号称是业内第一个同时支持关系型数据和XML数据的混合数据库，无需重新定义XML数据的格式，或将其置于数据库大型对象的前提下，IBM DB2 9允许用户无缝管理普通关系数据和纯XML数据。 对于传统关系型数据与层次型数据的混合应用已经成为了新一代数据库产品所不可或缺的特点。除了IBM，Oracle和微软也同时宣传了它们的产品也可以实现高性能XML存储与查询，使现有应用更好的与XML共存。 (2)、商业智能成重点
数据库常用架构方案
数据库常用架构方案
一、数据库架构原则 (3) 二、常见的架构方案 (3) 方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 (3) 方案二：双主架构，两个主库同时提供服务，负载均衡 (4) 方案三：主从架构，一主多从，读写分离 (5) 方案四：双主+主从架构，看似完美的方案 (6) 三、一致性解决方案 (7) 第一类：主库和从库一致性解决方案： (7) 第二类：DB和缓存一致性解决方案 (9) 四、总结 (11) 1、架构演变 (11) 2、个人见解 (11)
?高可用 ?高性能 ?一致性 ?扩展性 方案一：主备架构，只有主库提供读写服务，备库冗余作故障转移用 jdbc:mysql://vip:3306/xxdb 1、高可用分析：高可用，主库挂了，keepalive（只是一种工具）会自动切换到备库。 这个过程对业务层是透明的，无需修改代码或配置。 2、高性能分析：读写都操作主库，很容易产生瓶颈。大部分互联网应用读多写少，读 会先成为瓶颈，进而影响写性能。另外，备库只是单纯的备份，资源利用率50%，这点方案二可解决。 3、一致性分析：读写都操作主库，不存在数据一致性问题。
4、扩展性分析：无法通过加从库来扩展读性能，进而提高整体性能。 **5、可落地分析：**两点影响落地使用。第一，性能一般，这点可以通过建立高效的索引和引入缓存来增加读性能，进而提高性能。这也是通用的方案。第二，扩展性差，这点可以通过分库分表来扩展。 方案二：双主架构，两个主库同时提供服务，负载均衡 jdbc:mysql://vip:3306/xxdb 1、高可用分析：高可用，一个主库挂了，不影响另一台主库提供服务。这个过程对业务层是透明的，无需修改代码或配置。 2、高性能分析：读写性能相比于方案一都得到提升，提升一倍。 3、一致性分析：存在数据一致性问题。请看下面的一致性解决方案。 4、扩展性分析：当然可以扩展成三主循环，但笔者不建议（会多一层数据同步，这样同步的时间会更长）。如果非得在数据库架构层面扩展的话，扩展为方案四。 5、可落地分析：两点影响落地使用。第一，数据一致性问题，一致性解决方案可解决问题。第二，主键冲突问题，ID统一地由分布式ID生成服务来生成可解决问题。
最新play框架手册19.管理数据库变化evolution资料
19.管理数据库变化Evolution 当使用关系数据库时，你需要去跟踪和安排数据库schema (结构)变化，特别是有多个存储位置的情况下，你就需要更多的经验来跟踪数据的schema变化: ?当处理团队合作进行开发时，每个人都需要知道数据库结构的变化 ?当部署到生产服务器上时，就需要一个稳健的方式去更新数据库结构 ?如果在多台数据库服务器上工作时，就需要保持所有数据库结构同步 如果在JPA下工作，Hibernate会自动为你处理好这些数据库变化。如果你不打算使用JPA或打算手工对数据库结构进行更好的调整，那么Evolutions将非常 有用。 Evolutio ns 脚本 Play使用evolutions 脚本来跟踪你的数据库变化。这些脚本采用的是原始的sql语句来书写的，应该位于应用程序的db/evolutions 目录。 第一个脚本名叫1.sql,第二为2.sql,以此类推… 每个脚本包含了两部分： * Ups部分用于描述必要的转换 * Dow ns部分用于描述如何恢复他们 比如，查看第一个evolution脚本，这个脚本用于引导一个基本的应用： #Users schema #--- !Ups CREATE TABLE User ( id bigi nt(20) NOT NULL AUTO_INCREMENT, email varchar(255) NOT NULL, password varchar(255) NOT NULL, full name varchar(255) NOT NULL, isAdmin boolean NOT NULL, PRIMARY KEY (id) ); #--- !Dow ns DROP TABLE User;
常用的系统架构图
常用的系统架构图 2014年冬
1.1.共享平台逻辑架构设计 如上图所示为本次共享资源平台逻辑架构图，上图整体展现说明包括以下几个方面： 1 应用系统建设 本次项目的一项重点就是实现原有应用系统的全面升级以及新的应用系统的开发，从而建立行业的全面的应用系统架构群。整体应用系统通过SOA面向服务管理架构模式实现应用组件的有效整合，完成应用系统的统一化管理与维护。 2 应用资源采集 整体应用系统资源统一分为两类，具体包括结构化资源和非机构化资源。本次项目就要实现对这两类资源的有效采集和管理。对于非结构化资源，我们将通过相应的资源采集工具完成数据的统一管理与维护。对于结构化资源，我们将通过全面的接口管理体系进行相应资源采集模板的搭建，采集后的数据经过有效的资源审核和分析处理后进入到数据交换平台进行有效管理。 3 数据分析与展现 采集完成的数据将通过有效的资源分析管理机制实现资源的有效管理与展现，具体包括了对资源的查询、分析、统计、汇总、报表、预测、决策等功能模块的搭建。 4 数据的应用 最终数据将通过内外网门户对外进行发布，相关人员包括局内各个部门人员、区各委办局、用人单位以及广大公众将可以通过不同的权限登录不同门户进行相关资源的查询，从而有效提升了我局整体应用服务质量。 综上，我们对本次项目整体逻辑架构进行了有效的构建，下面我们将从技术角度对相
关架构进行描述。 1.2.技术架构设计 如上图对本次项目整体技术架构进行了设计，从上图我们可以看出，本次项目整体建设内容应当包含了相关体系架构的搭建、应用功能完善可开发、应用资源全面共享与管理。下面我们将分别进行说明。 1.3.整体架构设计 上述两节，我们对共享平台整体逻辑架构以及项目搭建整体技术架构进行了分别的设计说明，通过上述设计，我们对整体项目的架构图进行了归纳如下：
互联网分层架构分析
互联网分层架构分析
上图是一个典型的互联网分层架构： ?客户端层：典型调用方是browser或者APP ?站点应用层：实现核心业务逻辑，从下游获取数据，对上游返回html或者json ?数据-缓存层：加速访问存储 ?数据-数据库层：固化数据存储 如果实施了服务化，这个分层架构图可能是这样： 中间多了一个服务层。
同一个层次的内部，例如端上的APP，以及web-server，也都有进行MVC分层：?view层：展现 ?control层：逻辑 ?model层：数据 可以看到，每个工程师骨子里，都潜移默化的实施着分层架构。 那么，互联网分层架构的本质究竟是什么呢？ 如果我们仔细思考会发现，不管是跨进程的分层架构，还是进程内的MVC分层，都是一个“数据移动”，然后“被处理”和“被呈现”的过程，归根结底一句话：互联网分层架构，是一个数据移动，处理，呈现的过程，其中数据移动是整个过程的核心。
如上图所示： 数据处理和呈现要CPU计算，CPU是固定不动的： ?db/service/web-server都部署在固定的集群上 ?端上，不管是browser还是APP，也有固定的CPU处理 数据是移动的： ?跨进程移动：数据从数据库和缓存里，转移到service层，到web-server层，到client层?同进程移动：数据从model层，转移到control层，转移到view层
数据要移动，所以有两个东西很重要： ?数据传输的格式 ?数据在各层次的形态 先看数据传输的格式，即协议很重要： ?service与db/cache之间，二进制协议/文本协议是数据传输的载体 ?web-server与service之间，RPC的二进制协议是数据传输的载体 ?client和web-server之间，http协议是数据传输的载体 再看数据在各层次的形态，以用户数据为例： ?db层，数据是以“行”为单位存在的row(uid, name, age) ?cache层，数据是以kv的形式存在的kv(uid -> User) ?service层，会把row或者kv转化为对程序友好的User对象 ?web-server层，会把对程序友好的User对象转化为对http友好的json对象?client层：最终端上拿到的是json对象
计算机系统结构发展历程及未来展望
计算机系统结构发展历程及未来展望一、计算机体系结构 什么是体系结构 经典的关于“计算机体系结构（computer A 按照计算机系统的多级层次结构，不同级程序员所看到的计算机具有不同的属性。一般来说，低级机器的属性对于高层机器程序员基本是透明的，通常所说的计算机体系结构主要指机器语言级机器的系统结构。计算机体系结构就是适当地组织在一起的一系列系统元素的集合，这些系统元素互相配合、相互协作，通过对信息的处理而完成预先定义的目标。通常包含的系统元素有：计算机软件、计算机硬件、人员、数据库、文档和过程。其中，软件是程序、数据库和相关文档的集合，用于实现所需要的逻辑方法、过程或控制；硬件是提供计算能力的电子设备和提供外部世界功能的电子机械设备(例如传感器、马达、水泵等)；人员是硬件和软件的用户和操作者；数据库是通过软件访问的大型的、有组织的信息集合；文档是描述系统使用方法的手册、表格、图形及其他描述性信息；过程是一系列步骤，它们定义了每个系统元素的特定使用方法或系统驻留的过程性语境。 体系结构原理 计算机体系结构解决的是计算机系统在总体上、功能上需要解决的问题，它和计算机组成、计算机实现是不同的概念。一种体系结构可能有多种组成，一种组成也可能有多种物理实现。 计算机系统结构的逻辑实现，包括机器内部数据流和控制流的组成以及逻辑设计等。其目标是合理地把各种部件、设备组成计算机，以实现特定的系统结构，同时满足所希望达到的性能价格比。一般而言，计算机组成研究的范围包括：确定数据通路的宽度、确定各种操作对功能部件的共享程度、确定专用的功能部件、确定功能部件的并行度、设计缓冲和排队策略、设计控制机构和确定采用何种可靠技术等。计算机组成的物理实现。包括处理机、主存等部件的物理结构，器件的集成度和速度，器件、模块、插件、底板的划分与连接，专用器件的设计，信号传输技术，电源、冷却及装配等技术以及相关的制造工艺和技术。 主要研究内容 1·机内数据表示：硬件能直接辨识和操作的数据类型和格式 2·寻址方式：最小可寻址单位、寻址方式的种类、地址运算 3·寄存器组织：操作寄存器、变址寄存器、控制寄存器及专用寄存器的定义、数量和使用规则4·指令系统：机器指令的操作类型、格式、指令间排序和控制机构 5·存储系统：最小编址单位、编址方式、主存容量、最大可编址空间 6·中断机构：中断类型、中断级别，以及中断响应方式等 7·输入输出结构：输入输出的连接方式、处理机/存储器与输入输出设备间的数据交换方式、数据交换过程的控制 8·信息保护：信息保护方式、硬件信息保护机制。 根据指令流、数据流进行分类
支付系统技术架构演进
支付系统技术架构演进
目录 1、概述 (3) 2、支付系统2.0详解 (5) 2.1 交易核心 (6) 2.2 支付核心 (9) 2.3 渠道网关 (11) 2.4 资金核算体系 (12) 3、统一平台业务上下文 (13)
1、概述 在1.0 的支付系统中，我们遇到了诸多问题。痛定思痛，我们决心对支付系统做一次架构升级。那么，怎么去做支付系统的架构升级呢?我们从两个方面来进行架构升级梳理: ?巨大的单体应用必须要拆分，在拆分之前，需要确定业务、系统边界，并对支付业务进行建模。 ?构建完整的资金核算体系，以能够清晰地知晓各类业务的流水、收入、支出等。 ?支付系统 2.0 - 拆分系统边界 拆分单体应用之前，从三个维度对边界进行拆分: ?基于业务，拆分为面向支付业务和面向资金核算两套体系。 ?基于场景，例如依据支付流程等进行拆分。 ?基于技术实现，例如出于对系统的性能等考虑拆分。 我们将支付系统中的核心系统拆分为收银台、交易核心、支付核心、渠道网关、账务系
统、会计系统、清算系统、合规系统等。如图14.4 所示的是核心支付链路流程示意图。 得益于蘑菇街强大的基础平台及中间件系统，比如RPC 服务框架Tesla、数据库中间件Raptor、可靠的消息中间件Corgi、数据库事件变更中间件Pigeon、数据配置推送平台Metabase 及分布式缓存KVStore 等，我们在2015 年第四个季度对支付系统做了整体的服务化拆分，拆分后的架构如图14.5 所示。
下面大致介绍一下各系统的功能: ?面向支付业务，可拆分为收银台、交易核心、支付核心、渠道网关。 ?面向资金核算，可拆分为会计系统、账务系统、清算系统、合规系统。 ?其他基础服务的拆分，比如支付会员服务、支付风控和对账系统等。 2、支付系统2.0详解 以上讲述了支付系统2.0 的整体架构，接下来对各个核心系统的拆分和实现进行具体介绍。
系统架构演进过程
系统架构演进过程
高大上的淘宝架构 我们以淘宝架构为例，了解下大型的电商项目的服务端的架构是怎样，如图所示 上面是一些安全体系系统，如数据安全体系、应用安全体系、前端安全体系等。 中间是业务运营服务系统，如会员服务、商品服务、店铺服务、交易服务等。 还有共享业务，如分布式数据层、数据分析服务、配置服务、数据搜索服务等。 最下面呢，是中间件服务，如MQS即队列服务，OCS即缓存服务等。 图中也有一些看不到，例如高可用的一个体现，实现双机房容灾和异地机房单元化部署，为淘宝业务提供稳定、高效和易于维护的基础架构支撑。 这是一个含金量非常高的架构，也是一个非常复杂而庞大的架构。当然这个也不是一天两天演进成这样的，也不是一上来就设计并开发成这样高大上的架构的。
这边就要说一下，小型公司要怎么做呢？对很多创业公司而言，很难在初期就预估到流量十倍、百倍以及千倍以后网站架构会是什么样的一个状况。同时，如果系统初期就设计一个千万级并发的流量架构，很难有公司可以支撑这个成本。 因此，一个大型服务系统都是从小一步一步走过来的，在每个阶段，找到对应该阶段网站架构所面临的问题，然后在不断解决这些问题，在这个过程中整个架构会一直演进。 那我们来一起看一下。 1 单服务器-俗称all in one
从一个小网站说起。一台服务器也就足够了。文件服务器，数据库，还有应用都部署在一台机器，俗称ALL IN ONE。 随着我们用户越来越多，访问越来越大，硬盘，CPU，内存等都开始吃紧，一台服务器已经满足不了。这个时候看一下下一步演进。 2 数据服务与应用服务分离
我们将数据服务和应用服务分离，给应用服务器配置更好的CPU，内存。而给数据服务器配置更好更大的硬盘。 分离之后提高一定的可用性，例如Files Server挂了，我们还是可以操作应用和数据库等。 随着访问qps越来越高，降低接口访问时间，提高服务性能和并发，成为了我们下一个目标，发现有很多业务数据不需要每次都从数据库获取。 3 使用缓存，包括本地缓存，远程缓存，远程分布式缓存
企业数据库架构建设规划方案
企业数据库架构建设规划方案
目录 一、架构的演变 (3) 二、单机模式 (3) 三、双机热备和镜像 (3) 四、节点多活 (5) 五、分布式架构 (6) 六、其他技术漫谈 (8) 七、如何选架构 (9) 八、总结 (12)
一、架构的演变 架构演变一定是根据当时要求的场景、压力下性能的需要、安全性、连续性的要求、技术的发展..... 我把架构的发展分为大概4个阶段： 二、单机模式 IT建设初期，高速建设阶段，大家要做的只有一件事，我需要什么构建什么，我需要ERP我买软件，需要HIS买HIS，这个时期按需构建大量的系统基本在这个时期产生，当然那个时候也没什么高可用的要求。 三、双机热备和镜像
基本是20年前的技术了，在高速构建后，一堆的系统运行中，用户发现我们的核心业务如果坏掉业务受影响，停机几个小时做恢复这是无法接受的，那么双机热备或镜像，Active-Standby的模式出现，这样一台机器工作，一台备用坏了在短时间可以接管业务，造成的损失会低很多！ 那么问题也很明显，备机资源浪费，依赖存储，数据还是单点，成本较高。产品也很多：RoseHA/RoseMirrorHA、NEC ExpressCluster、微软MSCS、Symantec VCS、Legato、RHCS 太多太多了。 随后为了解决数据单点的问题有出现了存储的主备，存储的双活这厂商也太多了，这里就不介绍了。
基本上传统企业依然停留在第一和第二阶段，也就是要么单机，要么双机热备 四、节点多活 随着业务量越来越大，数据量不断飚升，系统高效性的矛盾显现出来，系统卡慢、报表、接口业务无法分离OLAP OLTP业务混合导致系统锁情况严重，资源消耗极其庞大，光靠升级硬件已经无法满足要求，横向扩展已经成为大势所趋。
(完整版)网络监控系统网络架构设计
一、目前网络监控系统网络架构 二、各部分交换机设计 1、接入层交换机 1、如用户要求摄像机采用MPEG4或H.264的方式，画质要最好的，那么D1分 辨率的图像传输的速度就要达到2M bps/秒左右，720P分辨率的图像传输的速度 要达到4Mbps/秒左右，若达不到要求，图像就会卡顿或者马赛克。
2、24口10M/100M接入，1000M上传交换机，理论上端口的传输最大速度就是 1000Mbps/秒，但受制于传输的线路的质量，摄像机和计算机网卡的质量等影响， 实际的有效带宽只有30%～50%，按30%有效带宽来算，在保障画质不变的情况 下，1000Mbps/秒的端口只能传输150路D1摄像机的图像或者75路720P摄像 机的图像。 2、汇聚层交换机设计 汇聚层交换机的选择根据以下两个方面考虑： A、汇聚层交换机区域内接入层交换机的数量 B、汇聚层交换机区域内网络摄像机的数量 以接入层交换机为24口百兆接入、千兆上传举例说明，每个汇聚层交换机可以连接接入层交换机的数量： 3、核心交换机设计 核心交换机在一般的系统中采用千兆核心交换机即可 三、交换机重要参数要求 在网络监控系统中的数据包是持续的、大码率的，因此网络监控系统中的网络交换机也有一定的要求，一般有以下两个要求： 1、背板交换带宽
考察交换机上所有端口能提供的总带宽。计算公式为端口数*相应端口速率*2（全双工模式）。如果总带宽≤标称背板带宽，那么在背板带宽上是线速的。 在网络监控系统中，要求背板交换带宽要满足全双工。 2、包转发率 包转发速率是指交换机每秒可以转发多少百万个数据包（Mpps），即交换机能同时转发的数据包的数量。包转发率以数据包为单位体现了交换机的交换能力。