Cuidado com a lacuna de confiança preocupações com dados levam os clientes a terem cautela em relação à IA generativa
Cuidado com a lacuna de confiança na IA generativa devido às preocupações com dados dos clientes.
A inteligência artificial generativa (AI) está sendo defendida como essencial para que as organizações garantam sua relevância no mercado, mas algumas ainda estão hesitantes em adotá-la devido a preocupações com dados e confiança.
Essas questões são especialmente pertinentes para empresas que operam em setores com regras rigorosas de governança de dados e grandes bases de clientes, o que as leva a adiar a adoção de ferramentas de AI generativa, apesar dos benefícios anunciados.
Também: As empresas precisam de clareza nos preços à medida que os serviços de AI generativa entram no mercado
A capacidade de gerar relatórios de vendas por meio de um comando, por exemplo, em vez de ter que mexer manualmente em planilhas, oferece um potencial interessante para ferramentas de AI generativa, como o Einstein Copilot da Salesforce, disse Sarwar Faruque, chefe de operações de desenvolvimento da Jollibee Foods Corporation. A operadora de cadeias de restaurantes filipina usa o Heroku da Salesforce para criar seus aplicativos e o Mulesoft como middleware para conectar seus aplicativos, incluindo sistemas ERP e de gerenciamento de pedidos.
A Jollibee tem 15.000 funcionários e opera quase 4.000 lojas em todo o mundo, em 34 países. Seus aplicativos são executados principalmente na nuvem, portanto, não mantém seus próprios data centers, com exceção de uma pequena intranet.
- Bitwarden adiciona SSO sem senha para facilitar a vida dos clientes...
- Comprar um produto grande em uma loja da Apple? Agora você pode esc...
- Guia do comprador do Apple Watch Ultra vs. Ultra 2 12 diferenças co...
Faruque também vê potencial para o uso de AI na indústria de manufatura, onde ela pode impulsionar eficiências em sua linha de produção e montagem. Por exemplo, a AI pode ajudar a monitorar a qualidade dos alimentos e prever a demanda.
No entanto, seu interesse no uso potencial de AI continua limitado às operações de backend. Faruque é enfático em manter a AI generativa longe das interações com os clientes e das operações voltadas para o cliente – pelo menos por enquanto.
Com a tecnologia ainda em sua infância, ainda há muito a ser compreendido e solucionado, observou ele.
“Vemos a saída [e as respostas] que ela gera, mas realmente não entendemos como [ela chegou à resposta]”, disse ele. “Existe essa caixa preta… ela precisa ser desmistificada. Quero saber como funciona, como ela chegou a essa resposta e se essa resposta é repetível [sempre que a pergunta for feita]”.
Também: Por que as empresas devem usar AI para pensar de forma diferente, e não apenas para reduzir custos
Atualmente, esse não é o caso, disse ele, acrescentando que o risco de alucinação também é uma preocupação. E na ausência de um incidente de segurança, pouco se sabe sobre se existem problemas inerentes de segurança cibernética que precisam ser resolvidos.
“No momento, há apenas muito marketing [hype]”, disse Faruque, acrescentando que não era suficiente falar apenas sobre “confiança” sem fornecer detalhes sobre o que exatamente isso significa.
Ele instou os fornecedores de AI a explicar como seus grandes modelos de linguagem são formados, que dados eles consomem e o que exatamente fazem para gerar respostas. “Eles precisam parar de agir como se fosse mágica [quando] há um código executando e há ciência por trás disso”, disse ele. “Ajude-nos a entender isso [porque] não gostamos de adotar uma tecnologia que não temos um entendimento sólido”.
Ele ressaltou a necessidade de responsabilidade e transparência, juntamente com garantias de que os dados dos clientes usados para treinar os modelos de AI não serão divulgados publicamente. Isso é fundamental, especialmente para organizações que precisam cumprir regulamentações de privacidade de dados em sua jurisdição local.
Também: Medindo a confiança: por que todo modelo de AI precisa de uma pontuação FICO
Até que essas questões sejam resolvidas, ele disse que não está disposto a colocar os dados de seus próprios clientes em risco.
A confiança também é algo que o Ministério do Comércio e da Indústria de Cingapura (MTI) leva a sério, especificamente em termos de privacidade e segurança de dados. Dez agências governamentais estão sob o ministério, incluindo EDB e o Conselho de Turismo de Cingapura.
Em particular, os dados do ministério devem ser retidos em Cingapura, e isso está se mostrando um grande obstáculo para garantir a segurança e a governança de dados, disse Sharon Ng, CIO da família ministério do MTI. Isso significa que qualquer AI e grandes modelos de linguagem que ele usa devem ser hospedados em seu próprio ambiente, mesmo aqueles executados por fornecedores dos EUA, como a plataforma Einstein Copilot da Salesforce.
Assim como Faruque, Ng também enfatizou a necessidade de transparência, em particular os detalhes de como a camada de segurança opera, incluindo que tipo de criptografia é usada e se os dados são retidos, observou ela.
Também: Como a IA generativa confiável pode melhorar a experiência do cliente conectado
Sua equipe está explorando atualmente como as ferramentas de IA generativa, incluindo as da Salesforce, podem beneficiar o ministério, que está aberto a usar diferentes modelos de IA e linguagem grandes disponíveis no mercado. Isso seria menos custoso do que construir seus próprios modelos e reduziria o tempo de lançamento no mercado, disse ela.
O uso de qualquer modelo de IA, no entanto, ainda estaria sujeito a considerações de confiança e segurança, observou ela. A MTI está atualmente executando pilotos de IA generativa que visam melhorar a eficiência operacional e facilitar as tarefas de trabalho em suas agências.
Para a M1, empresa de telecomunicações de Singapura, fornecer um melhor atendimento ao cliente é o KPI claro para a IA generativa. No entanto, assim como a MTI e a Jollibee, a conformidade com os dados e a confiança são cruciais, disse Jan Morgenthal, diretor digital da M1. A empresa de telecomunicações está atualmente executando provas de conceito para avaliar como a IA generativa pode aprimorar as interações de seu chatbot com os clientes e se pode suportar outros idiomas além do inglês.
Isso significa trabalhar com fornecedores para descobrir os parâmetros e entender onde os modelos de idioma grande e IA estão implantados, disse Morgenthal. Semelhante à MTI e à Jollibee, a M1 também precisa cumprir regulamentações que exigem que alguns de seus dados, incluindo os hospedados em plataformas de nuvem, residam em seu mercado local.
Também: Antes da IA, essa outra onda de tecnologia está avançando rapidamente
Isso exige que o treinamento de modelos de IA seja realizado no ambiente de rede da M1, disse ele.
A empresa de telecomunicações de Singapura também precisa ter cuidado com os dados usados para treinar os modelos e as respostas geradas, que devem ser testados e validados, disse ele. Eles não apenas precisam ser verificados em relação às diretrizes estipuladas pelo fornecedor, como a Camada de Confiança da Salesforce, mas também em relação aos limites estabelecidos pela empresa controladora da M1, a Keppel.
Abordando a lacuna de confiança da IA generativa
Tais esforços serão críticos em meio à queda da confiança no uso da IA.
Tanto as organizações quanto os consumidores estão agora menos abertos ao uso da IA do que antes, de acordo com uma pesquisa da Salesforce divulgada no mês passado. Cerca de 73% dos compradores empresariais e 51% dos consumidores estão receptivos ao uso da tecnologia para melhorar suas experiências, uma queda de 82% e 65%, respectivamente, em 2022.
E, embora 76% dos clientes confiem nas empresas para fazer reivindicações honestas sobre seus produtos e serviços, apenas 57% confiam nelas para usar a IA de forma ética. Outros 68% acreditam que os avanços da IA tornaram mais importante que as empresas sejam confiáveis.
A lacuna de confiança é um problema significativo e uma preocupação para as organizações, disse Tim Dillon, fundador e diretor da Tech Research Asia, citando a reação negativa que o Zoom enfrentou quando mudou seus Termos de Serviço, dando a ele o direito de usar os dados de vídeo, áudio e chat de seus usuários para treinar seus modelos de IA.
Também: IA, confiança e segurança de dados são questões-chave para empresas financeiras e seus clientes
Os fornecedores de IA generativa gostariam de evitar um cenário semelhante, disse Dillon em uma entrevista com ENBLE, nos bastidores do Dreamforce 2023 realizado em San Francisco esta semana. Grandes players de mercado como Salesforce e Microsoft têm feito esforços para preencher a lacuna de confiança, o que ele considerou um passo positivo.
Além de abordar questões de confiança, as organizações que planejam adotar a IA generativa também devem considerar a implementação da gestão de mudanças, observou Phil Hassey, CEO e fundador da empresa de pesquisa CapioIT.
Essa é uma área que muitas vezes é deixada de fora da discussão, disse Hassey à ENBLE. As organizações precisam descobrir os custos envolvidos e as habilidades que precisam adquirir e as funções que precisam ser requalificadas, como resultado da implementação da IA generativa.
Uma estratégia adequada de gestão de mudanças é fundamental para garantir uma transição tranquila e reter talentos, disse ele.
Com base em Singapura, Eileen Yu relatou para a ENBLE do Dreamforce 2023, em San Francisco, a convite da Salesforce.com.
