子ども向けAIの安全ガイドの多くは「AIがどんな不適切な発言を拒絶するか」に終始しています。しかし、本当に重要なのは、その直前におこなわれていた会話（子どもが一人で悩み、危険な状態にあったこと）を大人が察知できたかどうかです。
過去に海外で起きたAIチャットボットに関連する悲しい事故に共通していたのは、危険な単語の存在ではなく「静寂」でした。プラットフォーム側が異常を察知して親に知らせる仕組みを持っておらず、手遅れになるまで秘密裏に会話が続いてしまっていたのです。
重要なのは、AIが何を喋らないかだけでなく、「知らせるべき時に、自主的に親へ教えてくれるか」です。
「リアルタイム通知」という言葉の本当の意味
マーケティング用語として「リアルタイム通知」という言葉が使われますが、実際にはまったく異なる3つのレベルが存在します。
NGワード（キーワード）ブロック： 特定の単語を検知してブロックする古い方法。子どもは悩みを単純なNGワードで表現しないため、ほとんどのSOSを見逃してしまいます。
自分で確認しに行くダッシュボード： 会話ログが保存され、親が自らアプリを開いて確認するタイプ。透明性はありますが受動的であり、親が気づくことに依存しています。
その日のうちに届く能動的な通知： 親が探しに行かなくても、システムが会話の異常を検知した時点で、その日のうちにメールなどで知らせてくれる仕組み。
本当に「リアルタイムセーフティ通知」と呼べるのは3つ目だけです。
なぜこの機能を備えたAIアプリが少ないのか
能動的な通知システムを作るのは、技術的・運用的に非常に難しいためです。
ChatGPTなどの大手AIも10代向けの保護者通知を導入し始めましたが、これは保護者と連携された10代アカウントの極めて深刻な緊急事態のみに機能する最終手段です。
また、教育用AIやパートナー型AIの多くには、そもそも会話の危険度を分析して親に知らせる仕組み自体が存在しません。
全メッセージの文脈をリアルタイムで危険度判定し、オオカミ少年（誤検知の連発）にならず、かといって見逃しもせず親に伝えるシステムを構築するのは、単なる単語ブロックよりもはるかに高度な開発が必要とされるからです。
「安全通知」をうたうアプリを評価する5つの質問
1. NGワードだけでなく、すべてのメッセージの「文脈」を判定しているか？ 単語リストだけでは、遠回しな悩みの表現を見落としてしまいます。
2. 週刊レポートではなく「その日」に通知が届くか？ 危険な状況があった場合、1週間後のレポートでは遅すぎます。
3. 通知疲れ（オオカミ少年）を防ぐ工夫があるか？ ちょっとしたネガティブ発言のたびにメールが届くと、親は通知を無視するようになってしまいます。軽微なものは履歴バッジのみ、真剣なものだけ即メール、といった整理がされているか。
4. なぜフラグが立ったのか、親が行動できる言葉で説明されているか？ 「コード3を検知」のような機械的な通知ではなく、何が起きたかを分かりやすい文章で教えてくれるか。
5. 医療診断ではなく「AIの検知」であることを明記しているか？ AIの通知はあくまで会話のきっかけ作りのサインであり、確定的な診断ではないことを真摯に伝えているか。
Yoggiにおける具体的な通知の仕組み
概念だけでなく、子ども専用AIであるYoggiがこれをどう実装しているかを具体例としてご紹介します。
Yoggiでは、お子さまが送信したメッセージは回答作成と同時に分析され、「なし」「注意」「緊急」の3段階に分類されます。「注意」は会話履歴にそっとバッジ表示され、親が後から確認できます。「緊急」と判定された場合は、AIが状況を落ち着いた客観的な文章にまとめて保護者へ即座にメール送信します。通知疲れを防ぐためメール送信は1日1通に制限され、メール内には「これはAIによる検知であり、医療診断ではありません」という注記が必ず添えられます。
これに加え、毎晩届くアプリ内の「AIインサイト」と、希望者へ届く「週刊レポート」という静かな見守り層も用意されています。緊急通知は即座の対応が必要なときのための動的な層、インサイトやレポートは普段の様子を把握するための静的な層です。
ただブロックするだけでなく、保護者へ知らせるAI。
Yoggiはすべてのメッセージをリアルタイムで分析し、注意が必要なときはすぐにお知らせします。毎日のインサイトも全プラン無料です。
アプローチの比較
| 評価基準 | 汎用AI（ChatGPT） | パートナー型AI | 子ども専用AI（Yoggi） |
|---|---|---|---|
| すべてのメッセージの危険度判定 | 一部のみ（10代連携アカウント） | 機能なし | 〇（全メッセージを回答と同時に判定） |
| その日のうちの保護者通知 | 連携アカウントの最終手段のみ | × | 〇（緊急判定時に即メール） |
| 通知疲れを防ぐ仕組み | 不明・未記載 | 該当なし | 〇（緊急メールは1日1通上限） |
| AI生成であり診断でない旨の明記 | 明確でない | 該当なし | 〇（すべての通知に明記） |
| 無料プランでの利用可能性 | アカウント連携の設定が必要 | 該当なし | 〇（無料プラン含む全プラン） |
リアルタイム通知に「できないこと」
限界についても明確にしておく必要があります。AIのアラートは「会話のきっかけを作るための合図」であり、メンタルヘルスの診断ではありません。親子の対話を完全に代替するものでもありません。通知の真の価値は、問題を解決することではなく、「親が最後の最後まで何も知らなかった」という状況を防ぐことにあります。
まとめ
フィルターは「AIが何と言わないか」に答えます。年齢適合は「AIがどう話すか」に答えます。しかし、真に重大なケースで最も大切なのは「誰かが親に教えてくれるか」です。全メッセージを判定し、その日のうちに届き、通知疲れにも配慮された本物の通知機能こそが、子ども向けに真摯に作られたAIとそれ以外の決定的な違いです。
Lucas G.
Yoggi創業者。「子ども向けAIは過剰に現実を突きつけるのではなく、世界を広げる存在であるべきだ」という信念のもと、Yoggiを立ち上げました。
