O que a IA nunca vê, e por que isso é um limite rígido

Qualquer produto que adicione recursos de IA deve a seus usuários uma resposta simples a uma pergunta: o que o modelo vê.

Para a maioria dos aplicativos, a resposta honesta é muito, porque o conteúdo fica no servidor em formato legível e enviá-lo para um modelo é uma mudança de configuração, não um projeto de engenharia.

O nosso é diferente por uma razão que não tem nada a ver com contenção.

O limite rígido

Perguntas, respostas, mensagens e chamadas são criptografadas nos dispositivos com uma chave gerada neles e nunca enviada para nossos servidores.

Isso significa que não poderíamos enviar a conversa de um casal para um modelo mesmo se decidíssemos fazer isso. Não mantemos o conteúdo em uma forma que qualquer pessoa possa ler, incluindo nós, incluindo qualquer versão futura da empresa com prioridades diferentes.

Esta é a diferença entre uma política e uma limitação técnica. Uma política é uma frase. Uma limitação técnica é o que acontece quando alguém tenta.

Não estamos prometendo não enviar sua conversa para um modelo. Estamos dizendo que não temos acesso a ela.

O que os recursos opcionais realmente veem

O texto que você envia explicitamente para essa finalidade, no momento em que o envia.

Essa é uma ação deliberada e visível. Você escolhe um trecho de texto e pede para fazer algo com ele. Nada é coletado em segundo plano, e nada do que você não entregou é incluído.

Se você nunca usar esses recursos, nada do que é seu chega perto de um modelo.

Por que não criamos mais recursos

Existe um produto óbvio sobre a mesa que não fizemos, e vale a pena explicar o motivo.

Uma versão deste aplicativo que pudesse ler tudo conseguiria fazer muito: notar padrões ao longo dos meses, alertar que um de vocês mencionou a mesma preocupação onze vezes, resumir um ano, sugerir sobre o que conversar com base no que vocês vêm evitando.

Parte disso seria realmente útil. Tudo isso exige que uma empresa guarde um registro legível da coisa mais privada que duas pessoas têm.

Decidimos que essa troca não estava ao nosso alcance, e a decisão foi tomada cedo o suficiente para que a arquitetura a garanta, em vez de depender de continuarmos concordando.

Treinamento

Não treinamos modelos com o conteúdo dos usuários e, no sentido comum, não podemos, porque não o temos.

Para os recursos opcionais, o texto enviado é processado para gerar um resultado e não é usado para treinar nada. Quando um provedor de modelo terceirizado está envolvido, trata-se de uma questão contratual e a tratamos como tal: o acordo exclui o treinamento sobre o conteúdo enviado.

Preferimos apontar para a arquitetura do que para o contrato, porque a arquitetura é a parte que não depende de ninguém cumprir a palavra.

O custo disso para o produto

Coisas reais.

Nenhuma memória entre conversas. Nada pode notar que você disse algo semelhante em março.

Nenhuma busca no seu histórico do nosso lado.

Nenhuma sugestão proativa com base no que vocês dois realmente escreveram, que é o recurso que as pessoas mais pedem.

Isso não está nos nossos planos futuros. São recursos indisponíveis, e esse é exatamente o objetivo.

Como avaliar qualquer aplicativo que afirme isso

Pergunte o que o modelo vê. Pergunte se a resposta é garantida pela arquitetura ou por uma política. E pergunte o que a empresa teria que reconstruir para mudar essa resposta.

Se a resposta para a última pergunta for "nada, apenas atualizaríamos um documento", você aprendeu o que precisava saber.