Acesso ao HPC e portal de metadados (Champ).

Você deve ter notado se leu alguma das minhas postagens aqui é que muitas delas foram acompanhadas desde 2006, apoiando os cálculos, normalmente baseados na teoria funcional da densidade (DFT) e esses cálculos são acompanhados por um ponteiro de identificador persistente^‡ para uma publicação de repositório de dados. Até agora, não entrei nos detalhes aqui das infraestruturas necessárias para fazer esse tipo de coisa, mas recentemente um dos dois componentes foi atualizado para a V2, depois de estar na V1 por cerca de quatorze anos (citação) 10.1021/CI500302p (/citação) e isso oferece uma oportunidade pontual para descrever o sistema um pouco mais.

O design authentic foi baseado no que chamamos de portal para acessar os recursos de computação de alto desempenho (HPC) disponíveis centralmente. Estes são controlados por um pacote comercial chamado PBS que fornece uma interface acionada pela linha de comando para filas em lote. Enquanto a rotina de rotina diária, parecia mais conveniente para empacotar essa interface em um portal acessado pela Net, que também incluía a capacidade de especificar os recursos necessários (como memória, número de CPUs, and many others.) para executar o programa de computação desejado, no nosso caso, o pacote Gaussian 16 e a completa as coisas, adicionando uma interface simples.

O processo de uso dessa ferramenta, que funciona em essência como um pocket book eletrônico de laboratório ou ELN para química computacional, pode ser resumida como um fluxo de trabalho, que ocorre horizontalmente na captura de tela de V1 acima. Cada trabalho recebe um ID interno, que está associado a um projeto pré-configurado e recebe uma descrição pesquisável. Seu standing nas filas controlado por PBS é indicado e, quando concluído, os arquivos de entrada e saída associados ficam disponíveis para obtain, com uma opção para excluí-las, se não forem de fato necessárias e uma opção remaining para publicar na ferramenta que o acompanha, que é um repositório de dados. A v1 deste portal foi de fato escrita na linguagem de script php e controlada nos bastidores usando um banco de dados MySQL, que permite que as entradas sejam filtradas por termos de pesquisa, como o projeto atribuído ou a descrição. Isso se mostrou particularmente útil quando o número de entradas atingiu grandes números (> 100.000 eventualmente) e significava que mesmo as entradas de 15 anos poderiam ser facilmente encontradas e inspecionadas!

Embora esse fluxo de trabalho tenha sido altamente robusto, o sistema PHP subjacente e o código associado tornaram -se cada vez mais inalteráveis ​​e, em 2021, decidimos refatorá -lo para maior sustentabilidade. Tínhamos notado que em 2018, outro grupo havia tomado o conceito básico que usamos em 2006, escrito um package de ferramentas mais flexível e portátil OpenSource para construir esse portal, chamando-o de abertura de OnDemand: um portal de cliente baseado na Net para os centros de HPC e publicamos uma descrição (cita) 10.21105/joss.0062 (/cite) em uma descrição (cita) 10.21105/joss.0062 (/cite) em eficazes em eficazes, em uma descrição (cita) 10.21105/joss.0062 (/cite) em eficazes em eficazes, em que os siratados e a manifestação e a descrição (cite) 10.21105/joss. O grupo de engenharia aqui no Imperial estava muito mais feliz usando essa ferramenta. Então agora digite a v2 de nosso próprio portal, que agora chamamos de acesso ao HPC Acesso e metadados ou CAMPEÃO. (CITE) 10.21105/joss.03824 (/cite)

O fluxo de trabalho é o mesmo de antes, mas com flexibilidade adicional que permite que recursos personalizados sejam selecionados, o que pode incluir as filas de prioridade financiadas por concessão especiais. Além disso, uma nova ferramenta de diretório permite a inspeção de quaisquer entradas ou saídas de trabalho, fornecidos pelo pacote Open OnDemand e que facilita bastante o gerenciamento/inspeção de trabalhos minuto a minuto para garantir que os resultados sejam os esperados para um trabalho de funcionamento adequado.

Se o trabalho for considerado adequado para compartilhar, o botão Publicar será pressionado. Isso induz um fluxo de trabalho que, Inter aliaconverte o arquivo de ponto de verificação específico do sistema em uma versão formatada que pode ser usada em qualquer sistema e gera vários arquivos extras necessários para publicação do trabalho.

Também de interesse é o arquivo de metadados, que gera metadados específicos do cálculo adequados para injeção no repositório de dados. Atualmente, isso inclui a corda e a tecla Inchi para a molécula calculada e a Gibbs_energy, cujo objetivo foi descrito em este publish. No futuro, planejamos tornar esses metadados ainda mais ricos com mais informações. Esses metadados específicos do cálculo serão posteriormente confundidos com os metadados genéricos para a publicação remaining no repositório actual. Esse registro completo de metadados inclui informações sobre a pessoa que dirigia o trabalho (seu orcídeo and many others.), a instituição em que estão, o licenciamento de dados and many others., recebido em parte da entrada de perfil para esse usuário no portal do Campeão.

Após a publicação, a entrada do campeão para o trabalho é atualizada para incluir o DOI para a publicação de dados e hiperlinked para permitir o acesso imediato a esta entrada no repositório.

Uma página de informações sobre o trabalho também inclui um hyperlink para os registros de metadados publicados finais finais.

Atualmente, o Champ inclui fluxos de trabalho para publicar no Repositório Imperial School. O Zenodo agora também foi adicionado e, possivelmente, outros repositórios no futuro, conforme a demanda, é necessário.

Você pode ver aqui que descrevi como um ELN foi originalmente projetado do zero para controlar os cálculos quânticos e como um parceiro simbiótico essencial para esse recurso foi considerado um repositório de dados desde o início, mesmo em 2006. Agora, o primeiro desses recursos foi refaturado na forma moderna e sem dúvida o fim do repositório também estará no futuro. O código está disponível para qualquer pessoa criar um portal de computação semelhante para si.

Uma versão diferente desta descrição, incluindo mais detalhes da engenharia de software program, será em breve Journal of Open Supply Software programjuntamente com o código -fonte adequado para uso com o OpenDemand em https://github.com/imperialcolleglendon/hpc_portal/.

^‡ Originalmente na forma de uma alça, que foi substituída pelo uso de um doi. O próprio doi para este publish é 10.14469/hpc/9010

Relacionado