AIアシスタントが決して見ないもの、そしてそれが不可侵の限界である理由

AI機能を追加するすべてのプロダクトは、「モデルは何を見ているのか」という1つの質問に明確に答える責任がある。

大半のアプリにとって、その正直な答えは「大量に見ている」だ。データがサーバー上に読める形で存在しているため、モデルへのデータ送信は開発プロジェクトというよりも単なる設定変更に過ぎないからだ。

Duoheartが異なる理由は、自制心や倫理観によるものではない。

不可侵の限界

質問、回答、メッセージ、通話は端末上で生成された鍵を用いて暗号化され、当社のサーバーへ送られることはない。

つまり、仮に私たちがそう望んだとしても、カップルの会話をモデルに送信することは不可能だ。私達自身や、将来優先順位が変わった未来の私達を含め、誰も解読できる形でデータを保持していない。

これがポリシー（方針）とコンストレイント（制約）の違いである。ポリシーは文章に過ぎない。制約とは、誰かが実行しようとしたときに起きる物理的な限界だ。

私たちは「会話をモデルに送信しない」と約束しているのではない。「送信すべきデータを持っていない」と伝えているのだ。

任意機能が見ているもの

その目的のためにユーザーが明示的に送信したテキスト、かつ送信したその瞬間だけのデータだ。

それは意図的で明確な操作である。テキストを選択し、特定の処理を依頼する。バックグラウンドで収集されるデータはなく、ユーザーが提出していない情報が含まれることもない。

これらの機能を使わなければ、ユーザーのデータがモデルの近くに送られることは一切ない。

なぜこれ以上の機能を開発しなかったのか

作ろうと思えば作れた明らかな機能が存在する。あえてそれを作らなかった理由を説明する価値はあるだろう。

すべてを読み取れるアプリであれば、多くのことが可能だ。数ヶ月にわたるパターンを検知したり、パートナーの片方が同じ悩みを11回口にしたと警告したり、1年を要約したり、避けている話題に基づいて話し合うべきテーマを提案したりできる。

その一部は間違いなく価値がある。しかし、そのすべてにおいて、2人だけの最もプライベートな記録を企業が解読可能な形で保持することが前提となる。

私たちはそのトレードオフを受け入れないと決断した。そしてその決定は開発の非常に早い段階でなされたため、私たちの意思の継続に頼るのではなく、アーキテクチャ構造そのものがそれを強制している。

機械学習（トレーニング）

私たちはユーザーのコンテンツでモデルを学習させることはない。一般的な意味においても、データを持っていないため学習させようがない。

任意機能において提出されたテキストは、結果を生成するためだけに処理され、いかなる学習にも使用されない。サードパーティのモデルプロバイダーが関与する場合、それは契約上の問題であり、提出されたコンテンツを学習に使用しない規約を結んでいる。

ただし、私たちは契約書よりもアーキテクチャを強調したい。誰かが約束を守るかどうかに依存しないのは、アーキテクチャのほうだからだ。

これによりプロダクトが失うもの

具体的な不利益が存在する。

会話をまたいだ記憶が保持されない。「3月にも同じことを言っていた」と気づくシステムは存在しない。

サーバー側での過去履歴の検索ができない。

二人が実際に書いた内容に基づく積極的な提案ができない。これはユーザーから最も要望の多い機能だ。

これらはロードマップに入っていないのではなく、提供不可能なのだ。それこそが重要な点である。

同様の主張をするアプリの評価方法

モデルが何を見ているかを尋ねること。その答えがアーキテクチャによる強制なのか、単なる方針なのかを尋ねること。そして、その答えを変えるために企業が何を再構築しなければならないかを尋ねること。

最後の質問に対する答えが「何も再構築する必要はない、文書を更新するだけだ」であるなら、知るべきことはすでに明らかだ。