Kubernetes simplificado? A Microsoft adiciona o operador de cadeia de ferramentas de IA ao serviço Azure
Kubernetes Simplificado? Microsoft adere ao Azure para adicionar o operador de ferramentas de IA.
Se você deseja executar inteligência artificial (IA) e aplicações de aprendizado de máquina, como grandes modelos de linguagem (LLMs), em escala, é necessário executá-los no Kubernetes. No entanto, dominar o Kubernetes – o orquestrador de contêiner favorito de todos – não é fácil. É aí que entra o Operador de ferramentas Kubernetes Al – a mais recente adição ao Azure Kubernetes Service (AKS) da Microsoft.
Também: A Microsoft Azure introduz a plataforma de desenvolvimento Radius de código aberto
O AKS já torna o Kubernetes no Azure mais fácil. Em vez de fazer tudo manualmente, os pipelines incorporados de code-to-cloud e os guardrails do AKS fornecem uma maneira mais rápida de começar a desenvolver e implantar aplicativos nativos da nuvem no Azure. Com sua administração e governança unificadas para clusters Kubernetes no local, de borda e de múltiplas nuvens, o AKS também simplifica (não há nada simples quando se trata de Kubernetes) a integração com os serviços de segurança, identidade, gerenciamento de custos e migração do Azure.
O que o Operador de ferramentas Kubernetes Al traz para a mesa são formas automatizadas de executar cargas de trabalho de IA/ML de software de código aberto de maneira econômica e com menos configuração manual. Ele também automatiza a implantação de modelos LLM no AKS, utilizando os recursos disponíveis de CPU e GPU, selecionando a infraestrutura de tamanho ideal para o LLM ou outro projeto.
O operador de ferramentas de IA faz isso provisionando automaticamente os nós de GPU necessários e configurando o servidor de inferência associado como um servidor de endpoints para seus modelos de IA. Um servidor de inferência, como o Hugging Face’s 7B ou o NVIDIA Triton Inference Server, aplica modelos de IA treinados aos dados de entrada para tomar decisões em tempo real. A inferência é o processo de executar dados em tempo real por meio de um modelo de IA treinado para fazer uma previsão ou resolver uma tarefa. Usando esse complemento, você reduz o tempo de aquisição e pode se concentrar no uso e desenvolvimento do modelo de IA, em vez de configurar a infraestrutura.
- O Amazon Fire TV Stick está apenas $20 à frente da Black Friday 2023
- Eu não esperava que essa mini soundbar tivesse um som tão grande, e...
- O carregador MagSafe Duo da Apple atinge preço recorde de apenas $7...
Também possibilita dividir facilmente a inferência em várias máquinas virtuais (VMs) com contagem menor de GPU. Isso significa que você pode executar seus LLMs em mais regiões do Azure, eliminando os tempos de espera para as regiões do Azure com VMs de contagem de GPU mais alta e reduzindo o custo total. Em outras palavras, você pode executar automaticamente seus LLMs em regiões de menor potência e menos dispendiosas. Sim, você pode perder potência de processamento, mas nem todos os trabalhos exigem mais poder.
Também: Testei as novas funcionalidades de IA da Microsoft, e essas 5 são as mais úteis
Facilitando a configuração, você também pode escolher entre modelos pré-definidos com imagens hospedadas pelo AKS. Isso reduz significativamente o tempo total de configuração do serviço. Depois de estar descoberto e rodando há algum tempo, você pode ajustar seu modelo Azure para se adequar melhor à sua carga de trabalho.
Além disso, o Gerenciador de Frota Kubernetes do Azure permite cenários multi-cluster e em escala para clusters AKS. Administradores de plataforma que gerenciam frotas Kubernetes com muitos clusters frequentemente enfrentam desafios ao encenar suas atualizações de maneira segura e previsível. Isso permite que os administradores orquestrem as atualizações em vários clusters, usando execuções, estágios e grupos de atualização. Como as cargas de trabalho de IA/ML tendem a ser muito exigentes, isso torna a sua gestão muito mais fácil.
Em resumo, se você quer trabalhar seriamente com IA/ML no Azure, o operador de ferramentas Kubernetes Al exige a sua atenção.
