AI / AI BUILD AI INTEGRATION · 5 LENSES 「AI 機能を 載せたら 1日の 利用者数が 下がった」「LLM の 利用料が 想定を 大きく 超えた」「顧客から 個人情報の 取り扱いについて 指摘を 受けた」— 既存 プロダクトへの AI 機能の 追加で 起きやすい、典型的な 失敗パターンです。新規プロダクトを ゼロから 作る ときには 現れない、既存 ユーザー・既存 データ・既存運用を 抱えたまま AI を 載せる ことによる 固有の 難しさが あります。どの 業務に AI を 使うべきかについては、コラム「AI エージェントが 効く 5つの 業務 パターン — リサーチ・定型・判断・対話・連携の 見極め方 」で 整理しています。本稿は「載せると 決めた あと、実装に 入る 前に 固めておく 5つの こと」に 絞って 解説します。
1. 既存 プロダクトへの AI 搭載が 頓挫する 3大要因 失敗事例を 分解すると、原因は おおむね 3つの 構造的な 要因に 集約されます。
1.1 データの 前提が 崩れる 「自社には データが ある」と 思って 着手した ものの、フォーマットが 揃っていない、更新されていない、利用規約上 AI に 渡せない、という ケースが よく あります。データを 使える 状態に 整えるだけで2〜3 ヶ月かかる こともあります。
1.2 コスト試算が 甘い PoC の ときの 月額数万円という 感覚の まま 本番化を 決めると、利用者が 増えた ところで 費用が 月額数百万円に 達する こともあります。価格に 転嫁できなければ、その 機能は 赤字に なります。試算の 段階から、処理する 文字量(LLM の 課金単位に なる トークン)、使う モデルの 選び方、キャッシュ(同じ 指示文を 使い回して 費用を 抑える 仕組み)の 3点を 織り込んでおく 必要が あります。
1.3 UX が AI の 誤答を 想定していない「AI は 100%正 解する」前提で 画面や 操作の 流れを 作ると、誤答が 一度出ただけで 利用者の 信頼を 失います。誤答が 出ても 利用者が 困らない 画面の 作りを、最初から 設計に 組み込みます。
3大要因の うち、もっとも 見落とされやすいのは UX の 設計です。
2. データ — 既存 データが AI に 使えるかを 見る 5つの チェック項目 実装に 着手する 前に、既存データが AI に 使える 状態か どうかを、次の 5つの 項目で 確認します。
2.1 ボリューム — 必要な 最低件数 必要な 件数は、用途によって 大きく 変わります。自社データを 参照させる 仕組み(RAG)なら、100件以上で 動きます。手本と なる 例を 見せて 出力を 整える 方式(Few-shot )で は、一度に 見せる 手本は 数件で 済みます。ただし、状況に 合う 手本を 選び出す元データとして、1,000件以上 あると 安定します。自社データで 追加学習させる 方式(Fine-tuning )なら、10,000件以上が 目安です。
2.2 構造化度 — そのまま 読み込めるか CSV や データベースなど 整形済みの データであれば、ほぼ そのまま 使えます。PDF・Word・スキャン 画像の 文書は、読み込める 形に 整える 前処理が 必要です。その 費用も 試算に 入れておきます。
2.3 品質 — ノイズ・欠損率 欠損率(値が 空に なっている 割合)が 30%を 超える 項目は、事実上使えません。重複や 矛盾を 含む データも、AI の 精度を 直接押し下げます。データの 修正・整理(クレンジング)に かかる 工数を、最初から 見積もりに 入れます。
2.4 アクセス 権限 — 利用条件 社内データなら 通常は 問題ありませんが、顧客データは 利用規約・個人情報保護法・GDPR(EU の 一般 データ保護規則)の 確認が 必須です。「AI の 学習に 使う」場合と「回答を 作らせる ときに 渡すだけ」の 場合とで、扱いが 変わる こともあります。
2.5 更新頻度 — 鮮度低下の リスク データが 定期的に 更新されないと、AI の 出力は 徐々に 古くなり、利用者の 信頼を 失います。参照型なら データ更新の 自動化が、追加学習型なら 再学習の 計画が 必要です。
データの 整備に かかる 工数が、AI 開発本体を 上回る こともあります。
3. コスト — LLM の 利用料を 利用者数から 試算する LLM の 利用料は、利用者数と 処理する 文字量(トークン)の 掛け算で 急激に 膨らみます。本番化の 前に 試算しておくべき 要素は 4つです。1つ目は トークン量で、1回あたりの 入力と 出力の 量に 利用回数を 掛けて 求めます。2つ目は モデルの 選び方で、最上位モデルと 軽量モデルでは 単価が 大きく 違います。3つ目は キャッシュ率です。AI への 指示文(プロンプト)を 使い回す 仕組みを 入れれば、その 部分の 費用を 50〜8 0%削 減できる ことがあります。Anthropic と OpenAI は どちらも 公式の キャッシュ機能を 用意しているので、設計の 段階から 織り込んでおきます。4つ目は、自社で モデルを 動かすか、外部の AI サービス(API)を 使うかです。軽い 処理なら、自社で 動かすほうが 大幅に 安く 済むこともあります。この 4つに 分けて 試算しておかないと、利用者が 増えた ときの 費用を 正しく 見積もれません。
試算は「1日の 利用者が 1万人の ときに いくらか」「10万人の ときに いくらか」と 、利用者数の 段階ごとに 出します。ある 利用者数を 超えた 途端に 赤字へ 転じる 分岐点を、見落とさないためです。
利用者数ごとの 月額費用の 上限と、それを 価格に 転嫁できるか どうかは、本番化の 判断より 前に 固めておきます。
4. UX — 精度80%で も 使える 4つの UI パターン AI の 回答には、一定の 割合で 誤りが 混じります。それを 前提に、誤答が 出ても 使い続けられる UI の パターンが 4つあります。
パターン 仕組み 向く用途 誤答への備え 候補提示型 AI が 複数の 選択肢を 出し、ユーザーが 選ぶ 商品レコメンド・メール 返信候補・タグ候補 1つの 正解を 断定しないため、誤答が 許容されやすい 編集前提型 AI が 下書きを 作り、ユーザーが 編集する 文章生成・コード生成・要約 「下書き」と 明示する ため、完璧を 期待されない 確認ボタン型 AI が 提案し、ユーザーが 承認してから 実行する データ 更新・送信・削除など、取り消せない 操作 AI に 最終決定権を 持たせない フィードバック 収集型 「役に 立ちましたか?」の 評価を 集めて学習に 使う FAQ 応答・検索結果・推奨 集まった 評価を もとに、誤答を 減らし続けられる
データの 更新や 削除など 取り消せない 操作では、AI に 最終決定を させない「確認ボタン型」を 基本に します。
5. セキュリティ — 顧客 データを LLM に 渡す前の4つの 対策 顧客データを LLM に 渡した 時点で、セキュリティと 法務の 新たなリスクが 生じます。本番化の 前に、次の 4つの 対策を 講じておきます。
5.1 個人情報の 除去 氏名・住所・電話番号など 個人を 特定できる 情報は、LLM に 渡す前に 伏せ字に 置き換えます(マスキング)。既製の 変換ツールを 使うか、自社で 置き換えの ルールを 決めて 自動で 処理するのが 一般的です。
5.2 API 提供元の 利用規約入力した データを AI の 学習に 再利用するか どうかの 方針は、OpenAI・Anthropic・Google で 異なります。Enterprise プランや、 入力データを 保持しない オプションを 利用できるか どうかを、契約前に 必ず 確認します。
5.3 自社運用か クラウドか 金融・医療・法務などの データを クラウドの LLM に 渡せない 場合は、オープンソースの LLM を 自社の 設備で 動かす(オンプレミス)選択肢が あります。コスト・運用負荷・精度の 3つの 軸で 比べて 決めます。
5.4 顧客への通知・同意 プライバシー ポリシーに「AI 処理の ために 第三者サービスに データを 送信する」旨を 明記します。既存顧客への 通知が 必要に なり、場合によっては 同意を 取り直す必要も あります。
外部に 渡した データは、後から 取り消せません。セキュリティと 個人情報の 扱いは、AI 機能を 公開する 前に 固めておきます。
6. 運用 — 公開後の 評価と 監視の 最低構成 本番公開後も 改善を 続けるには、次の 4つが 最低限必要です。これらが ないと、AI 機能の 品質が 落ちても 誰も 気付かないまま 放置されます。
6.1 継続監視 — 精度劣化・コスト・応答速度 モデルが 更新されたり、入力データの 傾向が 時間とともに 変わったりする ことで、精度は 徐々に 落ちていきます。本番の ログから 精度を 測り続ける 仕組みを、最初から 組み込みます。コストと 応答速度も 同じように 監視します。
6.2 自動評価(Eval)の 組み込み 代表的な 入力を 100〜1 ,000件選んで テストケースとして 固定し、モデルや プロンプトを 変える たびに 自動で 評価する 仕組みを 用意します。詳しくは、コラム「PoC で 終わらせない — 本番運用に 届ける 7つの 設計原則 」の 「出力品質の 自動評価」の 章で 解説しています。
6.3 A/B テストの 設計 新しい プロンプトや モデルを 一部の 利用者にだけ公開し、従来版と 比べる 仕組み(A/B テスト)を 用意します。事業の KPI(コンバージョン率・継続率)へ の 影響を 測ります。
6.4 インシデント 対応 プロセス 「AI が 不適切な 回答を した」「コストが 急増した」「外部の AI サービスが 止まった」と いった 事態への 対応を、手順書に まとめておきます。問題が 起きた ときに AI 機能だけを すぐ 止められるよう、機能の オン・オフを 切り替える 仕組み(機能フラグ)も 組み込んでおきます。
精度を 測る 仕組みは、本番化より 前に 用意しておきます。
7. 発注前 ヒアリングシート(5つの 項目) 本稿の 5つの 観点を、開発を 発注する 前に 自社で 答えておくべき質問として 整理しました。
データ 準備度 :既存 データの ボリューム・構造化度・品質・アクセス 権限・更新頻度は 把握できているか?コスト 許容 ライン :1日の 利用者が 1万人・10万人に なった ときの 月額コストの 上限と、価格に 転嫁できるか どうかは 決まっているか?UX 設計方針 :候補提示・編集前提・確認 ボタン・フィードバック 収集の どの パターンを 採るか?セキュリティ 要件 :個人情報の 除去、利用規約の 確認、自社運用か クラウドかの 選択、顧客への 通知について、方針は 決まっているか?運用体制 :精度の 監視・自動評価・A/B テスト・インシデント 対応について、責任者と 工数は 確保できているか?5つ すべてに 具体的な 回答が 出る 状態で 発注すれば、PoC から 本番化までの 期間は 大きく 縮まります。Kmetric の AI エージェント 開発 では、初回の 要件整理(Discovery)で 、この ヒアリングシートを 必ず 埋める ところから 始めます。
8. AI 機能の 実装パターン3例 既存 プロダクトへの AI 機能の 載せ方を、代表的な 3つの 例で 整理します。
機能の例 UX パターン 基盤 コスト戦略 小売 SaaS への 商品レコメンド 候補提示型 社内データ参照型(RAG) 中位クラスの LLM と プロンプトキャッシュを 併用 業務システムへの 自然言語検索 編集前提型(Slack で共有・編集) 自社環境で 動かす LLM 外部 API の 利用料を かけない SaaS への AI 文章校正機能 編集前提型 クラウドの LLM(API) 利用回数に 応じた 従量課金で、費用を価格に 転嫁
この 3例は、UX パターン・基盤・コスト 戦略の 組み合わせが それぞれ異なります。自社に 合う 組み合わせは、第7章の ヒアリングシートに 答えていくと 絞り込めます。