博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
root cern使用方法_CERN如何使用OpenStack推动其科学使命
阅读量:2525 次
发布时间:2019-05-11

本文共 2210 字,大约阅读时间需要 7 分钟。

root cern使用方法

世界上最大的科学组织之一正在使用OpenStack来了解什么构成了我们宇宙中的一切。 是地球上合作性最强的科学项目之一,负责例行产生大量数据,以使诺贝尔奖得主的发现(例如希格斯玻色子)具有一些非常独特的计算要求。

Belmiro Moreira向我们介绍了如何使用OpenStack来实现CERN的这一开创性科学,以及他们如何为该开源项目做出贡献。 满足精通计算机的科学家的苛刻需求可能是具有挑战性的,CERN肯定会运行数十年来一直使用的遗留应用程序,直至为新构想的方法编写的新部署。 Moreira将在即将于日本东京举行的OpenStack峰会上就CERN的云架构发表演讲。

CERN和其他机构传统上使用超级计算机。 为什么CERN创建了如此庞大的私有云,并且使新的或不同的研究得以开展?

CERN为广大的科学家和实验社区提供计算资源。 (LHC)实验是使用CERN计算资源的最大型科学合作,其数据分析更适合于分布式计算模型。 它需要执行大量松散耦合的作业; 这需要高吞吐量的计算,而不是单个程序的高性能。

在90年代后期,使用大量运行Linux的商用x86服务器的方法开始流行。 为了处理LHC实验的数据,CERN开发了基于该模型的计算基础架构,成为全球LHC计算网格的Tier-0。 那时,很少有可用于管理数千个节点的工具,这导致了我们自己工具的开发。 多年来,维护这些工具需要大量的精力,并且很难找到新的训练有素的员工。

2012年,CERN IT决定基于 , 和等常用开源工具部署私有云。 这使我们能够以一致的方式管理大量物理资源,在不同的科学社区和服务之间共享它们,提高资源利用率,并为自助服务资源分配模型启用云接口。

对于CERN科学界的所有成员而言,这代表了一大进步,使他们能够在几分钟内访问计算资源,而不必等待数周/数月的时间来安装和分配物理服务器。

CERN的部署规模是多少?

CERN的私有云运行在两个数据中心(日内瓦和布达佩斯)中,总共有约5,000台服务器(约130,000个核心)。 到2016年夏季,我们预计将增长到约200,000个内核。 对于块存储,CERN运行的容量为3.5PB。

什么样的应用程序正在运行?

云基础架构运行的应用程序非常多样化,范围从IT服务到科学数据处理应用程序再到用户的个人远程桌面。 这是非常具有挑战性的,因为这些项目具有不同的需求和用户社区。 例如,我们现在在同一台服务器中运行诸如“ ATLAS Analysis”,“ IT Videoconference”和“ Personal Belmiro”之类的项目,而在过去,它们将有不同的专用资源并排运行。

是否有确定云或超级计算机最适合应用程序的标准?

高度并行化且需要低延迟网络的应用程序在特殊的专用硬件(而不是云基础架构)中运行。 但是,这些并不代表我们在CERN承担的大部分科学工作量。

CERN云基础架构中运行的主要科学应用程序和框架用于LHC数据分析。 这些工作量很大,但是作业可以独立运行。 这是云环境的理想工作负载,在云环境中,每个作业都可以在临时虚拟机(VM)中拥有自己的运行环境。 由于主要分析由存储在CERN存储系统中的数据整理组成,因此在VM故障时可以重新提交作业。

OpenStack如何改变了CERN大数据分析的方式?

科学实验不仅使用CERN可用的计算资源,而且还使用全球其他较小的数据中心甚至公共云。 OpenStack是一个开源项目,它允许CERN和其他研究机构向其用户公开一组通用的云API,从而显着提高了生产率。

过去,资源是静态的,分配给不同的科学项目。 如果不使用该容量,移动该容量非常困难。 现在,由于仅在需要时才创建资源,因此导致更多的资源可用于所有科学界,从而带来了新的机遇。

CERN如何参与上游开发社区?

欧洲核子研究中心与上游开发社区在多个项目中积极合作。 例如,在上与LDAP的初始集成,作为CERN openlab / Rackspace合作的一部分,对云联合的改进,以及最近在的可伸缩性增强。

自波士顿一届以来,欧洲核子研究组织一直参加OpenStack设计峰会(艾塞克斯设计峰会)。 我们在运营商社区中,特别是在大型部署小组中,进行了非常积极的讨论,在该小组中,我们与其他部署共享了经验和最佳实践。

此外,我们积极参与 ,为包装工作做出贡献。 最后,我们在“ ”博客中分享我们的经验。

将科学应用程序部署到您的部署中最大的挑战是什么?

我们有许多应用程序是在很多年前编写的,当时还没有云或虚拟化模型。 通常,它们是整体的-它们只能在一台大型服务器上运行,并且不能容忍故障。 使这些应用程序在任何云环境中运行都具有挑战性。

但是,对于大多数情况,我们选择将应用程序移至云基础架构。 我们甚至移动了需要非常大的VM的设备。 使它们在OpenStack中运行可以为我们提供更大的灵活性,因为我们可以对数据中心的所有物理服务器采用通用的管理方法。

满足大型,富有创造力且非常精通计算的科学界的需求是一个挑战,我们密切跟踪容器等新兴技术。 这具有挑战性,但很有趣。

OpenStack峰会
演讲者访谈

本文是针对的一部分,该 为期4天,面向OpenStack云软件的开发人员,用户和管理员

翻译自:

root cern使用方法

转载地址:http://xsfzd.baihongyu.com/

你可能感兴趣的文章
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第1节 网络通信概述_3_网络通信协议分类...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第1节 网络通信概述_4_IP地址...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第1节 网络通信概述_5_端口号...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第2节 TCP协议_1_TCP通信的概述(上)...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第2节 TCP协议_2_TCP通信的概述(下)...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第2节 TCP协议_3_TCP通信的客户端代码实现...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第2节 TCP协议_4_TCP通信的服务器端代码实现...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第3节 综合案例_文件上传_1_综合案例_文件上传的原理...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第3节 综合案例_文件上传_2_综合案例_文件上传案例的客户端...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第3节 综合案例_文件上传_3_综合案例_文件上传案例的服务器端...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第3节 综合案例_文件上传_4_综合案例_文件上传案例阻塞问题...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第3节 综合案例_文件上传_5_综合案例_文件上传案例优化...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第4节 模拟BS服务器案例_1_模拟BS服务器分析...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_07-网络编程_第4节 模拟BS服务器案例_2_模拟BS服务器代码实现...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_1_函数式接口的概念&函数式接口的定义...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_2_函数式接口的使用...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_3_性能浪费的日志案例...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_4_使用Lambda优化日志案例...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_5_函数式接口作为方法的参数案例...
查看>>
阶段1 语言基础+高级_1-3-Java语言高级_08-JDK8新特性_第1节 常用函数接口_6_函数式接口作为方法的返回值类...
查看>>