Apple abre código-fonte do PCC para pesquisadores identificarem bugs na segurança da IA na nuvem
A Apple disponibilizou publicamente seu Ambiente de Pesquisa Virtual (VRE) de Computação em Nuvem Privada (PCC), permitindo que a comunidade de pesquisa inspecione e verifique as garantias de privacidade e segurança de sua oferta.
O PCC, que a Apple revelou no início de junho, foi comercializado como a “arquitetura de segurança mais avançada já implantada para computação de IA em nuvem em escala”. Com a nova tecnologia, a ideia é descarregar solicitações computacionalmente complexas de inteligência da Apple para a nuvem de uma maneira que não sacrifique a privacidade do usuário.
A Apple disse que está convidando “todos os pesquisadores de segurança e privacidade — ou qualquer pessoa com interesse e curiosidade técnica — para aprender mais sobre o PCC e realizar sua própria verificação independente de nossas alegações”.
Para incentivar ainda mais a pesquisa, a fabricante do iPhone disse que está expandindo o programa Apple Security Bounty para incluir o PCC, oferecendo pagamentos monetários que variam de US$ 50.000 a US$ 1.000.000 por vulnerabilidades de segurança identificadas nele.
Isso inclui falhas que podem permitir a execução de código malicioso no servidor e explorações capazes de extrair dados confidenciais dos usuários ou informações sobre as solicitações do usuário.
O VRE visa oferecer um conjunto de ferramentas para ajudar pesquisadores a realizar suas análises de PCC a partir do Mac. Ele vem com um Secure Enclave Processor (SEP) virtual e aproveita o suporte integrado do macOS para gráficos paravirtualizados para permitir inferência.
A Apple também disse que está tornando o código-fonte associado a alguns componentes do PCC acessível via GitHub para facilitar uma análise mais profunda. Isso inclui CloudAttestation, Thimble, splunkloggingd e srd_tools.
“Nós projetamos o Private Cloud Compute como parte do Apple Intelligence para dar um passo extraordinário à frente para privacidade em IA”, disse a empresa sediada em Cupertino. “Isso inclui fornecer transparência verificável – uma propriedade única que o diferencia de outras abordagens de IA baseadas em servidor.”
O desenvolvimento ocorre à medida que pesquisas mais amplas sobre inteligência artificial generativa (IA) continuam a descobrir novas maneiras de desbloquear grandes modelos de linguagem (LLMs) e produzir resultados não intencionais.
No início desta semana, a Palo Alto Networks detalhou uma técnica chamada Deceptive Delight , que envolve misturar consultas maliciosas e benignas para enganar chatbots de IA e fazê-los contornar suas proteções, aproveitando sua limitada “capacidade de atenção”.
O ataque requer no mínimo duas interações e funciona primeiro pedindo ao chatbot para conectar logicamente vários eventos – incluindo um tópico restrito (por exemplo, como fazer uma bomba) – e depois pedindo para ele elaborar os detalhes de cada evento.
Pesquisadores também demonstraram o que é chamado de ataque ConfusedPilot, que tem como alvo sistemas de IA baseados em Retrieval-Augmented Generation ( RAG ), como o Microsoft 365 Copilot, envenenando o ambiente de dados com um documento aparentemente inócuo contendo sequências de caracteres especificamente criadas.
“Este ataque permite a manipulação de respostas de IA simplesmente adicionando conteúdo malicioso a quaisquer documentos que o sistema de IA possa referenciar, o que pode levar à disseminação de desinformação e ao comprometimento dos processos de tomada de decisão dentro da organização”, disse a Symmetry Systems .
Separadamente, descobriu-se que é possível adulterar o gráfico computacional de um modelo de aprendizado de máquina para implantar backdoors “sem código e sub-reptícios” em modelos pré-treinados como ResNet, YOLO e Phi-3, uma técnica com o codinome ShadowLogic.
“Backdoors criados usando essa técnica persistirão por meio de ajustes finos, o que significa que modelos de base podem ser sequestrados para acionar comportamentos definidos pelo invasor em qualquer aplicativo downstream quando uma entrada de gatilho for recebida, tornando essa técnica de ataque um risco de cadeia de suprimentos de IA de alto impacto”, disseram os pesquisadores da Hidden Layer, Eoin Wickens, Kasimir Schulz e Tom Bonner .
“Ao contrário dos backdoors de software padrão que dependem da execução de código malicioso, esses backdoors estão incorporados na própria estrutura do modelo, o que os torna mais difíceis de detectar e mitigar.”
Fonte: thehackernews.com
