A Grande Tecnologia Abandonou a Confiança e a Segurança. Agora as Startups Estão Vendendo de Volta Como um Serviço
A Tecnologia de Ponta Abandonou a Confiança e a Segurança. Agora, as Startups Estão Vendendo de Volta como Serviço
Despedidas em massa em todo o setor de tecnologia têm atingido duro as equipes de confiança e segurança ao longo do último ano. Mas com guerras em curso na Ucrânia e no Oriente Médio e mais de 50 eleições acontecendo nos próximos 12 meses, especialistas se preocupam que uma indústria nascente de startups criadas para manter as pessoas seguras online não será capaz de lidar.
Os cortes ganharam manchetes há um ano, quando a X (então Twitter) demitiu 3.700 pessoas – incluindo centenas em funções de confiança e segurança. Desde então, Meta, Alphabet e Amazon fizeram cortes semelhantes. Os cortes na X inspiraram outras plataformas a fazer o mesmo, argumenta Sabhanaz Rashid Diya, diretora fundadora do instituto de políticas tecnológicas Tech Global Institute e ex-membro da equipe de políticas da Meta. “De muitas maneiras, o Twitter se safou disso”, diz ela. “Isso deu confiança às outras empresas de dizer: ‘Sabe de uma coisa? Tudo bem, você pode sobreviver e não enfrentar uma terrível consequência'”.
Ainda assim, o custo desses cortes é, sem dúvida, evidente na forma como as principais plataformas se apressaram em responder à guerra entre Israel e Hamas. E a mudança para equipes externas de confiança e segurança criou uma oportunidade para consultorias e startups oferecerem algo novo: confiança e segurança como serviço.
Essas empresas, muitas delas fundadas e formadas por pessoas com experiência em grandes empresas de tecnologia, permitem que as plataformas “comprem em vez de construir” serviços de confiança e segurança, diz Talha Baig, ex-engenheiro da Meta, cuja startup, Sero AI, recebeu recentemente apoio do acelerador Y Combinator. “Há muito mais trabalho disponível no mercado, e também há mais clientes dispostos a comprar esse trabalho”.
Mas os especialistas alertam que terceirizar a confiança e segurança também significa terceirizar as responsabilidades para equipes sem poder para mudar a forma como as plataformas realmente funcionam.
- WeWork Acaba de Pedir Falência
- IA e mídia conENBLE O novo papel de Pernille Holbøll na Better Coll...
- O ApeFest da Yuga Labs enfrenta escrutínio devido à iluminação após...
Sahar Massachi, ex-membro da equipe de integridade cívica da Meta e cofundador e diretor executivo do think tank Integrity Institute, teme que, ao terceirizar funções-chave, as plataformas possam estar prejudicando sua capacidade de melhorar os produtos. Questões de confiança e segurança às vezes podem envolver mais o design do produto do que a moderação ativa – um usuário deve poder compartilhar novamente o conteúdo? Quanto peso diferentes métricas devem ter em um algoritmo de recomendação? “Os fornecedores podem ser ótimos, mas eles não serão capazes de ter insights sobre isso por causa da forma como as empresas trabalham”, diz Massachi.
O mesmo vale para os sistemas de IA usados pelas empresas para auxiliar na identificação de conteúdo potencialmente perigoso ou abusivo. As plataformas frequentemente usam grandes volumes de dados para criar ferramentas internas que as ajudam a agilizar esse processo, diz Louis-Victor de Franssu, cofundador da plataforma de confiança e segurança Tremau. Mas muitas dessas empresas precisam contar com modelos comercialmente disponíveis para construir seus sistemas – o que pode introduzir novos problemas.
“Há empresas que dizem que vendem IA, mas na realidade eles reúnem diferentes modelos”, diz Franssu. Isso significa que uma empresa pode estar combinando diversos modelos de aprendizado de máquina – digamos, um que detecta a idade de um usuário e outro que detecta nudez para sinalizar possíveis materiais de abuso sexual infantil – em um serviço que oferecem aos clientes.
E embora isso possa deixar os serviços mais baratos, também significa que qualquer problema em um modelo usado por um terceirizado será reproduzido em todos os seus clientes, diz Gabe Nicholas, pesquisador do Centro de Democracia e Tecnologia. “Do ponto de vista da liberdade de expressão, isso significa que se houver um erro em uma plataforma, você não pode levar sua mensagem para outro lugar – se houver um erro, esse erro se proliferará em todos os lugares”. Esse problema pode ser agravado se vários terceirizados estiverem usando os mesmos modelos fundamentais.
Ao terceirizar funções críticas para terceiros, as plataformas também poderiam dificultar para as pessoas entenderem onde as decisões de moderação estão sendo tomadas, ou para a sociedade civil – os think tanks e organizações sem fins lucrativos que acompanham de perto as principais plataformas – saber onde colocar a responsabilidade por falhas.
“[Muitos observadores] falam como se essas grandes plataformas fossem as responsáveis pela tomada de decisões. É para onde muitas pessoas na academia, na sociedade civil e no governo direcionam suas críticas”, diz Nicholas. “A ideia de que possamos estar apontando para o lugar errado é assustadora”.
Historicamente, grandes empresas como Telus, Teleperformance e Accenture seriam contratadas para gerenciar uma parte importante do trabalho terceirizado de confiança e segurança: moderação de conteúdo. Isso muitas vezes se parecia com centros de chamadas, com um grande número de funcionários mal pagos analisando manualmente postagens para decidir se violam as políticas de uma plataforma contra coisas como discurso de ódio, spam e nudez. As novas startups de confiança e segurança estão se inclinando mais para a automação e inteligência artificial, muitas vezes se especializando em certos tipos de conteúdo ou áreas temáticas – como terrorismo ou abuso sexual infantil – ou focando em um meio específico, como texto versus vídeo. Outras estão construindo ferramentas que permitem a um cliente executar vários processos de confiança e segurança por meio de uma única interface.
As grandes empresas de tecnologia tendem a ver confiança e segurança como um centro de custo, diz Baig – algo que elas precisam fazer para manter reguladores e grupos da sociedade civil afastados, mas sem muito valor monetário. Mas isso logo pode mudar. O Digital Services Act da União Europeia e o Online Safety Act do Reino Unido, por exemplo, criaram novas obrigações para empresas de tecnologia grandes e pequenas monitorarem o que acontece em suas plataformas, e essas leis permitem que os governos apliquem multas enormes.
“As empresas não mudam a forma como moderam o conteúdo em sua plataforma para obter eficiência de 5, 10, 30 por cento”, diz Franssu, da Tremau. “O que as motivará é se elas tiverem medo de serem multadas, especialmente multas tão grandes quanto 6 por cento da receita anual global, ou responsabilidade criminal, como podemos ver no Reino Unido.”
Novas regulamentações no Reino Unido e na Europa também afetarão plataformas menores, especialmente no que diz respeito aos tipos de conteúdo e serviços aos quais as crianças podem ter acesso. Startups podem preferir comprar confiança e segurança como serviço, em vez de construir suas próprias equipes e sistemas, diz Sara Ittelson, sócia do fundo de investimento Accel, que investiu na ferramenta de confiança e segurança Cinder. “Costumava ser que as empresas pensavam que questões de confiança e segurança só surgiam para plataformas de um determinado tamanho”, diz ela. “Mas, na realidade, você vai enfrentá-las muito cedo.” E as pessoas, argumenta ela, não querem usar plataformas em que não se sintam seguras ou que estejam cheias de conteúdo indesejado.
A explosão de interesse em IA generativa só aumentou a pressão sobre as empresas para lidar com questões de confiança e segurança mais cedo em seus ciclos de vida. As ferramentas de IA generativa agora podem ser usadas para produzir e compartilhar material de abuso sexual infantil e pornografia não consensual, ambos violariam as diretrizes da maioria das plataformas. “Existe uma conscientização muito maior sobre como essas ferramentas podem ser exploradas”, diz Ittelson. Isso levantou questões para as empresas sobre como elas vão garantir que suas plataformas não sejam inundadas com conteúdo de IA generativa, ou como vão garantir que suas ferramentas não sejam usadas de forma abusiva.
“A IA generativa está tornando as coisas 10 vezes piores”, diz Dror Nahumi, sócio da Norwest Venture Partners, que investiu na startup de confiança e segurança ActiveFence. “Se eu sou um ator mal-intencionado e estava criando um artigo por semana, agora eu poderia criar 10 postagens diferentes na mesma semana sem fazer nenhum esforço extra.”
Embora os investidores que conversaram com a ENBLE tenham hesitado em especular sobre o tamanho potencial da indústria de confiança e segurança como serviço, a ActiveFence, fundada em 2017 e uma das pioneiras no campo, levantou $100 milhões de dólares em 2021 e foi avaliada em cerca de meio bilhão de dólares em 2021. E seu cofundador, Noam Schwartz, diz que essa avaliação aumentou.
Embora ainda esteja em estágio inicial, a indústria está claramente em crescimento. “É exatamente assim que a indústria de segurança cibernética era há 20 anos”, diz Schwartz. Um relatório de 2020 da empresa de capital de risco Paladin Capital descobriu que a indústria já havia levantado mais de $1 bilhão em financiamento, e um relatório de 2023 do Departamento de Ciência, Inovação e Tecnologia do Reino Unido estimou que a “Tecnologia de Segurança”, que inclui tudo, desde moderação de conteúdo até detecção de fraudes, estava a caminho de atingir £1 bilhão ($1.22 bilhão) em receita até meados da década de 2020.
Embora Nahumi afirme que as demissões das Big Tech possam indicar que, momentaneamente, há menos disposição para gastar em confiança e segurança em geral, “a longo prazo, vemos isso como algo positivo para as empresas do setor, porque significa que [empresas de tecnologia] terão que depender cada vez mais de serviços de empresas especializadas nesse segmento, e não algo construído internamente.”
