利用高性能计算,澳大利亚的科学家和研究人员在探索研究涉及大量数据的问题的能力被大大增强,这是高性能计算的主要优点。
在过去几年里,无论是进行数值模拟,还是创建虚拟的岩石实验室,或是在提供发现和处理由GPS站点收集的地测信息的方法方面,高性能计算和网格计算已经成为勘探和采矿应用程序的主要组成部分。
但是,由于这些底层结构的零碎特性,使得科学家们在各方面使用高性能计算的能力被束缚了。
根据CSIRO(澳大利亚联邦科学与工业研究组织)勘探和开采计算地球科学小组的项目组长Ryan Fraser说法,澳大利亚的高性能计算中心托管各种个样的来自不同制造商,具有不同配置和架构的超级计算机。
“每一个超级计算机都是不同的,因此用户要想成功使用超过一台的超级计算机,必须彻底明白他们之间的差别”,Ryan Fraser说道,“每台机器需要不同的用户名和密码,用户也必须他们配置的不同。另外,对于每台机器,软件都被安装在不同的位置,并且各自使用的编程语言也不一样。”
CSIRO已经找到了解决这一难题的答案,那就是AuScope Grid,该项目可以生成促使国家的分布式数据集和高性能计算资源整合的电子研究架构,可以开发处理大量数据的工具,并可建立确保项目可持续性的合适的管理框架。
AuScope Grid包含分布式数据存储硬件、宽带网络连接、数据管理协议、中间件和软件,最终使政府机构主要的地球科学和地理空间存储数据与学术社区的高性能资源和宽带网络连接在一起。
AuScope创建了一个网格计算平台,该平台使用标准化的方法访问高性能计算机,而不必考虑这些机器的类型、制造商和所处位置。“在当科学家和研究者从事更大规模的科学问题研究时,这种计算无缝的访问是非常重要的”,Fraser说道。
Fraser说网格计算数据“中间件基础设施”,是处于高性能计算机和工作流程客户端之后的实际催化因素,如下的示例说明了此种情况。
“对工作流程的用户和开发者而言,网格计算所能做的是通过提供对一组高性能计算资源的无缝的和互操作的的访问,来简化使用高性能计算。它使得一组异构的超级计算机在外界看来是一样的。”Fraser说道。
“这些工作流程的部署可能早于网格计算,但是为了得到理想的结果,他们需要远远更多的计算时间(曾有长达6个月的记录),并且这通常要求用户具有计算机科学学位。”
CSIRO的Fraser重点说明了AuScope能帮助建立的三种工作流程。
桌面建模工具箱(Desktop modelling toolkit)
桌面建模工具箱(Desktop Modelling Toolkit,简称DMT)是一个软件套件,它具有相近的用户界面,科学家和研究人员可用其开发复杂的地球科学模型,并可以通过两种方法对模型进行处理,如在本地处理,或者对于较大规模的问题,可通过AuScope Grid访问高性能计算网络资源。
实际上,它通过提供一个概念视图,抽象了创建和运行数值模拟的过程。地球科学计算软件是非常复杂的,并且通常要求用户知道如何编程——这正是束缚许多只想简单地回答问题的科学家的因素。
DMT使得许多科学家能使用高性能计算机执行大规模的地球科学模拟,而这些以前只有那些具有编程能力的少数人能做。
DMT由CSIRO勘探和矿业开发,目前是CSIRO的澳大利亚矿物科研旗舰(Minerals Down Under National Research Flagship)的一部分。
虚拟岩石实验室(Virtual rock laboratory)
虚拟岩石实验室是一个基于网络直观用户界面开发的,可以用来创建一个分析岩石尤其是岩石力学的虚拟实验室。
该界面可使科学家访问离散元程序ESyS-Particle,该离散元程序由昆士兰大学的地球系统科学计算中心(Earth Systems Science Computational Centre,简称ESSCC)开发。
ESyS-Particle是一个用户岩石力学的功能强大的数值软件工具,尤其可用其分析岩石的破裂。但是,如同DMT一样,使用此工具的用户必须知道如何进行软件编程。AuScope Grid和ESSCC合作开发了一个网站,该网站给用户提供了一个使用预建组件(可通过网站界面预定义)进行建模的环境。
一旦用户建立了他们的模型,就可以提交给网格进行处理。该网站给用户提供了处理大型的岩石破裂模拟的直观的网络环境,并且没有使用实际实验室设备的成本。并且它可在同时执行多个实验。
测地学工作流程(Geodesy workflow)
测地学工作流程是在开发澳大利亚的高性能计算资源和简化使用地球科学软件中的最近活动和成果。
测地学提供了探索和处理大量的GPS站点收集的测地信息的的机制,这些GPS站点在澳大利亚由AuScope和澳大利亚地球科学局部署。科学家使用此数据进行站点的时间序列分析和比较评价,以此确定大陆的尺寸、形状和运动(除了别的之外)。
此工作流程意在降低研究者和学生使用测地模拟软件的难度,并且还提供了一个成果和学习库作为一般性参考。
测地学工作流程是一个网站,该网站结合了由澳大利亚地球科学局通过网络地图界面提供的测地数据集,并且整合了网格技术以在高性能计算机上进行数据处理。
用户可以使用该网站界面去探索数据,并使用几个测地模拟软件包去选择他们想要处理的数据集。当他们选定感兴趣的数据集时,他们可通过此网站提交数据,从而可通过AuScope Grid在澳大利亚的一个或多个高性能计算资源处理数据。
该网站同时允许用户监视他们工作的状态,下载和移动文件/数据集,将输入和结果数据集记录在一个特定的编目中一遍日后使用和研究。最后,该网站还整合了后处理网站以便使用户以可视化的方式在网络地图中他们的处理结果。
他们可以查看他们在不同的澳大利亚GPS站点的模拟结果,并解释这些结果。
测地学工作流是AuScope Grid内部的一个项目,它由是AuScope、科廷大学、塔斯马尼亚大学、澳大利亚国立大学、澳大利亚地球科学局联合研发。
此文是在CSIRO的杂志《Earthmatters》上首发。