Fundação Linux apoia computação de alto desempenho e exascalabilidade
Fundação Linux apoia a computação de alta performance e escalabilidade exascalar
Computação de alto desempenho (HPC) utiliza o processamento paralelo de dados para fornecer o desempenho de computação mais rápido possível. Sejam supercomputadores, como o supercomputador Exabyte fast Frontier HPE Cray, ou clusters de centenas ou milhares de servidores, tudo se resume a executar tarefas complexas o mais rápido possível, como uma máquina.
Agora, A Linux Foundation, uma organização líder em inovação de código aberto, anunciou duas novas fundações para avançar em soluções de HPC e armazenamento: A High-Performance Software Foundation (HPSF) e a DAOS Foundation.
Também: Como escolher a distribuição de desktop Linux certa para você
A HPSF tem como objetivo construir, promover e avançar uma pilha de software core portátil para computação de alto desempenho. A pilha consiste em 10 programas diferentes. Estes são:
-
Spack: o gerenciador de pacotes HPC
-
Kokkos: um modelo de programação portável para escrever aplicativos modernos em C++ de forma independente de hardware.
-
AMReX: uma estrutura de software portável de alto desempenho projetada para acelerar a solução de equações diferenciais parciais em malhas estruturadas em blocos e refinadas de forma adaptativa.
-
WarpX: um código de partículas de células com algoritmos avançados que ganhou o Prêmio Gordon Bell 2022
-
Trilinos: uma coleção de bibliotecas de software científico reutilizáveis, conhecida em particular por solucionadores lineares, não lineares e transientes, além de otimização e quantificação de incerteza.
-
Apptainer: um sistema de contêineres e formato de imagem especificamente projetado para computação de alto desempenho segura.
-
VTK-m: um conjunto de algoritmos de visualização científica para arquiteturas de aceleradores.
-
HPCToolkit: ferramentas de medição e análise de desempenho para computadores que vão de laptops aos maiores supercomputadores acelerados por GPU do mundo.
-
E4S: a Pilha de Software Científico de Escala Extrema
-
Charliecloud: implementação de contêineres otimizada para HPC, leve e totalmente desprivilegiada.
O que esses programas têm em comum? São todos de código aberto, o que faz todo o sentido. Por anos, o Linux e a computação de código aberto alimentaram todos os supercomputadores TOP500.
Também foram todos projetados para simplificar a vida dos desenvolvedores de software de alto desempenho. Com eles, os programadores podem obter integração contínua, pilhas de software prontas para uso e teste de desempenho. Isso facilitará muito suas vidas.
Esta nova fundação aborda a crescente ubiquidade do HPC na computação científica, engenharia digital e aplicações de IA. A fundação planeja aproveitar investimentos do Projeto de Computação de Escala de Exabyte do Departamento de Energia dos EUA, do EuroHPC Joint Undertaking e de outros projetos internacionais para aprimorar o desempenho em diversas arquiteturas de computação.
Também: O Linux tem mais de 3% do mercado de desktops? É mais complicado do que isso
Entre os principais apoiadores da HPSF estão a Amazon Web Services, o Argonne National Laboratory, o CEA, o CIQ, a Hewlett Packard Enterprise, a Intel e a NVIDIA, entre outros. A fundação estabelecerá um comitê consultivo técnico para gerenciar grupos de trabalho sobre diversos temas de HPC, seguindo um modelo de governança inspirado na Cloud Native Computing Foundation (CNCF).
Em resumo, Rick Stevens, diretor associado de laboratório para computação, meio ambiente e ciências da vida do Argonne National Laboratory, explicou: “A HPSF fornecerá um ambiente colaborativo e acesso a recursos que permitirão que a comunidade desenvolva coletivamente o software necessário para impulsionar sistemas de HPC atuais e futuras gerações, e o Argonne tem a honra de participar como membro fundador”.
A DAOS Foundation é focada na governança e desenvolvimento do projeto Distributed Asynchronous Object Storage (DAOS). Pronunciado como “boss”, o DAOS é um sistema de armazenamento de código aberto de alto desempenho que revolucionou o desempenho dos trabalhos de HPC e IA. Ele oferece uma arquitetura de armazenamento de chave-valor totalmente distribuída, superando as limitações dos sistemas de armazenamento tradicionais de HPC baseados em POSIX.
Também: O pioneiro em IA Cerebras está tendo ‘um ano incrível’ em computação híbrida de IA
O DAOS oferece suporte a alta largura de banda, baixa latência e operações de I/O por segundo (IOPS) elevadas. Novamente, o nome do jogo é velocidade, velocidade, velocidade. Este é um projeto maduro no qual a Intel começou a trabalhar em 2012. A Intel doará o código-fonte do DAOS para a fundação e continuará como um grande contribuidor.
Assim como o HPFS, o DAOS conta com o apoio de uma extensa lista de influentes na área de HPC, como o Argonne National Laboratory, Enakta Labs, Google Cloud, Hewlett Packard Enterprise e Intel.
Sob o guarda-chuva da Linux Foundation, essas duas fundações representam um grande salto nos esforços colaborativos para avançar nas soluções de código aberto em computação e armazenamento de alto desempenho. Elas fomentarão a inovação, reduzirão as barreiras de entrada e apoiarão o desenvolvimento de tecnologias críticas em HPC e IA/ML.
