云计算概述

来自CloudWiki
跳转至: 导航搜索

问题

  • 谷歌搜索实现的原理是什么 ?
  • 阿里云的“飞天”系统是什么 ?它能实现什么功能 ?
  • 19世纪的发电厂和21世纪的云计算有什么共同之处 ?
  • 什么是云计算 ?
  • 飞天系统和 阿里金融、飞猪旅行是什么关系 ?飞天系统又叫什么 ?
  • 纪录片最后,阿里云的飞天系统最终把多少台计算机成功连到了一起 ?

网络时代变革,信息数据增长

·随着移动互联网、全联接时代的到来,越来越多的终端设备被投入使用,每天都有大量的数据产生,传统的ICT基础设施也在面临着前所未有的挑战。\

Cloud2023090501.jpg

  • PC时代从本质上讲是计算机和计算机的联网,个人的电脑通过服务器彼此相连。现在,我们正处于移动时代,大家通过手机就可以互相联网。随着5G网络将要到来,所有的电脑,手机,智能终端,都能连接到一起,将会进去万物互联的时代。


  • 万物互联到来后,整个产业的布局和竞争是生态的竞争。从过去的经验看,到了移动时代,再到万物互联时代,母个时代形成之后,生态一开始是高速变化的,后来趋于稳态,当稳态的时候很难再改变它。PC时代是Windows、Intel芯片和X86架构,上面有许许多多的应用,互联网来了之后又有了浏览器。到了移动时代,这个时候的ARM上面有IOS、安卓系统,它们上面又有各种各样的应用。
  • 互联网经历了两代,现在正在开启第三代,也就是万物互联。每一代互联网相比上一代,从设备的数量和市场的规模,都会有巨大的增长,这是未来的机会所在。每一代互联网都有掌握产业链的龙头公司,从PC时代的英特尔和微软,到今天的ARM和Google,而未来谁能掌握核心芯片和操作系统,就会成为新的产业链霸主

传统IT面临的挑战

互联网的到来,给企业带来了大量的流量、用户以及数据,传统IT架构已经不能满足企业高速发展的需求。

Cloud2023090502.jpg

互联网的到来,给企业带来了大量的流量,用户以及数据,为」能吸四配企业同述-展的进度,就需要不断地采购传统IT设备,时间一长,传统IT设备的弊端就逐渐显示出来:

  • 采购周期长等原因,导致新业务系统上线慢;
  • 集中式架构扩展性差,纵向扩展只能增加单机处理性能;传统硬件设备孤立存在,可靠性只能依赖软件侧;
  • 设备种类多,厂商多,导致管理十分复杂;
  • 单个设备性能有限;
  • 设备整体利用率不高,企业总成本支出居高不下。

Cloud2023090503.jpg

  • 传统IT 基础架构由通常的硬件和软件组件组成:设施、数据中心、服务器、网络硬件、台式计算机和企业应用软件解决方案。与其他基础架构类型相比,这种基础架构设置通常需要更多的电力、物理空间和资金。传统基础架构往往安装在本地,仅供企业或专有使用。


  • 虚拟化是指计算机元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量,简化软件的重新配置过程。
  • 企业数据中心“云化”转型的要点:1.从资源孤岛到真正资源池化;2.从集中式向分布式架构转型;3.从专用硬件向开放的软件定义模式转型;4.从人工处理向自助、自动服务转型;5.从分散统计到统一计量转型。

云计算的两个故事

故事一 公共电网抛弃了爱迪生

O1-3.jpg


  爱迪生的牛气无法言说,这辈子有2000多项发明,在科学界他吃的盐比普通人吃的饭还多。但就是这么一个牛人,也曾被拍打在沙滩上:公共电网狠狠地抛弃了他。

  1878年,爱迪生决定开发一种新产品——电灯泡,为了持续地给它供电,他紧跟着又发明了电流表、发电机等,这是一套完整的供电系统:爱迪生灯具公司制造灯泡,爱迪生电器公司制造发电机,爱迪生电线公司生产电线。

O1-5.jpg

  然而,他的产品只支持直流电厂。直流电有一个很大的缺陷,那就是不能进行长距离运输。于是,越来越多的个人和企业开始独立发电,来点亮爱迪生的直流灯泡。独立发电使得小型私人电厂遍地开花。由于长期为这些电厂提供设备,爱迪生成立的通用电气公司趁机发了大财。

  然而,爱迪生是个伟大的发明家,却不是一个精明的企业家,它相信直流电才是未来。这个短板被他的崇拜者英萨尔意识到:他更推崇交流电。交流电可以长距离运输,有了这个基础,大量效率低的私人电厂,就能整合成一个“中央电厂”,通过一根电线,电能就能运输到各处使用。

O1-4.jpg

  但爱迪生并不看好这种设想,因为这会断掉他的财路:他的商业兴趣在于,私人电厂越多,他的设备就会卖得越好。按照爱迪生的想法,每个企业或者个人都得自备一个小型发电厂。所以,在这场战役中,信赖交流电的英萨尔胜出了。通过“中央电厂”,英萨尔实现了大规模的公用电网。

  如此一来,原先建立私人电厂的企业或个人,就可以避免采购设备昂贵的发电设备。他们只需付上费用,墙面的插头就能提供源源不断的电力,而不必关心这些电力来自何方。故事中取代私人发电厂的“公共电网”,就是电气时代的“公共基础设施”。

故事二 信息“公用电网”的诞生

  1971年,英特尔公司发明了微型电脑。由于价格低廉,且能够完成各种任务,微型电脑很快取代主计算机,成为公司电脑运算的中心。其后,原来的主计算机被改造成了私人服务器(私人发电站),这些服务器下面连接着许多个人电脑。

  爱迪生的灯泡只能搭配直流发电厂,这些个人电脑也只能使用服务器上的程序。这种模式(C/S模式)一直延续至今。正如电气时代每个企业都必须自建一个私人发电厂一样,现在每个企业必须配备一个私人数据中心。如,2005年2月,Google在俄勒冈州北部买下三十亩地准备建立一个庞大的服务器技术中心。数据中心内的信息也只能在局域网传播,也只供企业内部使用。数据中心相当于21世纪的“私人电厂”

O1-6.jpg



  在亚马逊这样的云服务商所建立的公共数据中心,,包含着数万、甚至数十万廉价CPU和硬盘组成的服务器,这就是信息时代的“中央电厂”,它把原来企业内部的服务器(私人电厂)整合为一台机器集中处理。自此,企业再不用采购昂贵的设备,不必再培养一支庞大的技术队伍。他们只要相信,手里有一台连接网络的计算机就行,而不必担心数据存储在什么地方。

O1-7.jpg

  “云计算”也随后迅速地进入到我们的生活。YouTube每月8亿独立访问用户,但运营这些网站的,往往只有几个人,他们租用亚马逊的服务器提供服务,节省了大批资本投资。

  这两个故事关联性很大:电线相当于宽带,电灯泡相当于电脑,私人电厂相当于私人服务器,公用电网就相当于现在的“云计算”。

云计算的历史

云计算的起源

O1-42.png

2006 年 8 月 9 日 Google 的搜索引擎大会上,CEO Eric Schmidt 首次提出了“云计算”这一概念,而真正推动云计算规模应用的是亚马逊,

2006年亚马逊提出弹性云服务EC2(Elastic Compute Version2)——云平台的计算调度

2007年11月,IBM推出蓝云(Blue Cloud)计划,为客户提供即可使用(Ready-to-Use)的云计算。它基于由IBM软件、系统技术和服务支持的开放标准和开源软件,包括一系列的云计算产品。

2010年7月,美国国家航空航天局(NASA)和包括 Rackspace、AMD、Intel、戴尔(DELL)等支持厂商共同宣布“OpenStack”开放源代码计划 微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成,Ubuntu也已把OpenStack加至11.04版本中。

2010年,阿里云推出云计算服务

2015年7月,华为推出公有云。

2015年10月,高职新增云计算技术与应用专业

全球排名前三的云计算公司分别是:

  • 亚马逊:是全球最大的云计算公司,其AWS是全球最领先的云计算服务提供商之一,为全球各行各业的企业提供了全方位的解决方案。
  • 微软:在云计算领域拥有强大的实力,其Azure是全球第二大云计算平台,为企业提供全面的云计算解决方案。
  • 阿里云:作为中国最大的云计算公司,阿里云在全球范围内也拥有广泛的影响力,是全球第三大云计算公司。

2006谷歌提出云计算——分布式云计算——大数据

亚马逊的云

2003 年,亚马逊网站工程经理 Black 写了一篇简短的论文,论述了一种重组亚马逊基础设施的方法,提出了“将虚拟服务器作为服务出售”的可能性。虽然与零售业务无关,但显然 Bezos 认可并推动了它。


2006 年,亚马逊云科技正式推出了他们的前三款产品:EC2(弹性计算机云)、S3(简单存储服务)、SQS(简单队列服务)。亚马逊将所有的 IT 基础设施都分化成了最小的单元,其中包括网络、存储、计算等。

https://zhuanlan.zhihu.com/p/500532059

计算模式的分与合

计算模式的转变过程——分与合

计算——小型化,高速化——集中化——网络化——分布式——中心化——边缘化,智能化

O1-22.png

(华为P20 :用本地算法实现计算)

(思科:将人工智能用于网络管理)


云计算的定义

  • 分布式操作系统,能管理成千上万台机器,
  • 聚合成强大的算力后,能够像水、电、煤一样向客户提供服务,
  • 客户能够以相对低廉的价格从云端租用计算资源(如云服务器)。

特征

  • 按需自助服务:云计算允许用户根据需求来获取和配置计算资源。这种自助式服务使用户可以随时获取所需的服务,而无需人工干预。
  • 广泛的网络访问:云计算可以在任何具有互联网接入的地万便用。区一行使付心程工作和协同成为可能。
  • 资源池化:云计算采用多租户模式,将物理和虚拟的资源集中起来供多个用户共享。这使得云服务提供商可以更有效地利用资源。
  • 快速伸缩性:云计算资源可以快速地进行扩展或缩减,以满足用户的需求。这种弹性使得用户可以根据业务的变化来调整资源使用。
  • 按使用付费:云计算采用计量计费的方式,用户只需为实际使用的资源付费。这种计费方式可以帮助用户节约成本。


云计算关键技术

虚拟化技术

服务器虚拟化是云计算底层架构的重要基石。在服务器虚拟化中,虚拟化软件需要实现对硬件的抽象,资源的分配、调度和管理。

数据存储技术

云计算系统需要同时满足大量用户的需求,并行地为大量用户提供服务。因此,云计算的数据存储技术必须具有分布式、高吞吐率和高传输率的特点。‘

海量数据管理技术

云计算的特点是对海量的数据存储、读取后进行大量的分析,如何提高数据的更新速率以及进一步提高随机读速率是未来的数据管理技术必须解决的问题。


除以上关键技术外,还有两个重要技术:

  • 编程方式,云计算提供了分布式的计算模式,客观上要求必须有分布式的编程模式。云计算采用了一种思想简洁的分布式并行编程模型Map—Reduce Map—Reduce是一种编程模型和任务调度模型。主要用于数据集的并行运算和并行任务的调度处理。在该模式下,用户只需要自行编写Map函数和Reduce函数即可进行并行计算。
  • 云计算平台管理技术,云计算资源规模庞大,服务器数量众多并分布在不同的地点,同时运行着数百种应用,如何有效的管理这些服务器,保证整个系统提供不问断的服务是巨大的挑战。

云计算的三种服务模式

O1-23.png

Infrastructure,Platform,Software

IAAS

基础设施即服务(Infrastructure As A Service)

消费者使用“基础计算资源”,如处理能力、存储空间、网络组件或中间件。消费者能掌控操作系统、存储空间、已部署的应用程序及网络组件(如防火墙、负载平衡器等),但并不掌控云基础架构。例如:Amazon AWS、Rackspace

IAAS:Amazon EC2,azure ,google ,阿里云,华为云,腾讯云等

华为云:https://www.huaweicloud.com/product/ecs.html?utm_source=baidu&utm_medium=brand&utm_campaign=10033&utm_content=&utm_term=&utm_adplace=AdPlace024720

阿里云: https://www.aliyun.com/product/ecs?spm=5176.19720258.J_2686872250.2.7b8176f4iCqXCZ&scm=20140722.M_5933520.P_197.MO_401-ID_5933520-MID_5933520-CID_20728-ST_3903-V_1

PAAS

平台即服务(Platform As A Service)

消费者使用主机操作应用程序。消费者掌控运作应用程序的环境(也拥有主机部分掌控权),但并不掌控操作系统、硬件或运作的网络基础架构。平台通常是应用程序基础架构。例如:百度开放云

PAAS:Google App Engine,force.com,heroku,Openshift,和Windows Azure Platform等。

https://support.huaweicloud.com/qs-appcube/appcube_02_0030.html

DevCloud: https://www.huaweicloud.com/devcloud/

即时设计:https://js.design/?source=pz&plan=beijing

腾讯蓝鲸

SAAS

软件即服务(Software As A Service)

消费者使用应用程序,但并不掌控操作系统、硬件或运作的网络基础架构。是一种服务观念的基础,软件服务供应商,以租赁的概念提供客户服务,而非购买,比较常见的模式是提供一组账号密码。

SAAS:Salesforce Sales Cloud,Google Apps,Zimbra,Zoho和IBM Lotus Live等。

http://www.kingdee.com/sem/?utm_source=baidu&utm_medium=pinzhuan&utm_content=jhy

O1-1.png

以蒸馒头为例,在自己家蒸馒头 叫本地部署;在别人的房子里自己发面自己蒸,叫IaaS ; 在别人的房子里别人给发好面,自己蒸叫PaaS;买馒头,SaaS; 更形象、更具体的解释:https://www.zhihu.com/question/21641778/answer/62523535

云计算的部署类型

公有云

公有云通常指第三方提供商为用户提供的云服务,可通过互联网使用。公有云的核心属性是共享资源服务。这种云有许多实例,可在当今整个开放的公有网络中提供服务。

公有云:亚马逊EC2,S3、微软Azure,Google,阿里云,腾讯云,华为云

O1-45.png

私有云

私有云(Private Clouds)是为一个客户单独使用而构建的云,它能提供对数据、安全性和服务质量的最有效控制。该公司拥有基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源。

私有云:开源通用标准——OpenStack,CloudStack,商业产品落地

面向客户:规模以上企业 或对数据安全要求高的单位

例子:山东商院数据中心,中石油数据中心

O1-112.jpg

混合云

混合云融合了公有云和私有云,将公有云和私有云进行混合和匹配,以获得最佳的效果。是近年来云计算的主要模式和发展方向。我们已经知道私有云主要是面向企业用户,出于安全考虑,企业更愿意将数据存放在私有云中,但是同时又希望可以获得公有云的计算资源,在这种情况下混合云被越来越多的采用,它将公有云和私有云进行混合和匹配,以获得最佳的效果,这种个性化的解决方案,达到了既省钱又安全的目的

混合云:标准——OpenStack,亚马逊,阿里云,腾讯云,华为云

O1-46.png

社区云

社区云(托管云):运营商,私有云+运营商,私有云+公有专用云,华为企业云

2018-2020企业上云实践

http://www.miit.gov.cn/newweb/n1146295/n1652858/n1653018/c6309218/content.html

(五)大型企业可建立私有云,部署数据安全要求高的关键信息系统;可将连接客户、供应商、员工的信息系统采用公有云部署,并与私有云共同形成混合云架构。对于数据安全要求高且需对外连接提供服务的信息系统,可考虑采用数据存储于私有云、应用部署于公有云的混合云架构。

(六)中小企业和创业型企业可依托公有云平台,按需租用存储、计算、网络等基础设施资源,应用设计、生产、营销、办公、财务等云服务或构建特色云服务,提高经营管理水平和效率,加快形成业务能力,开展业务和服务模式创新,实现个性化服务输出,加速建立现代化经营模式。

典型的开源云平台

abicloud,hadoop(GFS),Eucalyptus(EC2),MongoDB(10gen),OpenStack(Rackspace),CloudStack

动手实践

  • 观看视频:0和1的裂变
  • 团队分组,在线设计logo,在线photoshop
  • 在线人脸识别
  • 在线服装尺码计算:http://www.matools.com/size
  • 直接使用一个SAAS云软件平台,Google Docs,百度音乐等
  • 直接使用一个PAAS平台,Docker容器的试用等
  • 注册和使用一个公有云主机IAAS,腾讯云,阿里云等
  • 直接使用一个私有云主机IAAS,OpenStack等