この記事はAnswer Botの動作原理について概説します。この記事では、次のトピックについて説明します。
Answer Botにおける自然言語処理の活用
Answer Botは人工知能を搭載しており、人間の認知を模倣することができます。Answer Botは自然言語処理(NLP)を使用して、ヘルプセンター内の各記事を読み、その記事の背景にある主要な概念を理解します。そして、すべての記事から概念を抽出し、「地図」の上に配置します。それぞれの概念には地図上の「住所」が与えられ、他の類似した概念の近くに置かれます。しかし、この住所は都市、番地、郵便番号といったものではなく、500個のパーツで構成されています。新しい質問が寄せられるたびに、Answer Botはその質問の内容(概念)を理解し、地図を使ってその概念に最も近い既存の記事を見つけ出します。
たとえば、いくつかの質問からAnswer Botが抽出する概念を以下に示します。
質問 | 想定される概念 |
---|---|
チケットをファイルにダンプする方法は? | データのエクスポート |
アカウントからロックアウトされました | アカウントのアクセス権 / パスワードのリセット |
鶴を作る方法を教えてください | 折り紙で鶴を折る |
Answer Botの推奨記事の提示機能が推奨記事を決める方法
質問の内容が既存の記事と密接に一致すると、(上記で説明した)地図上で「近所」とされ、当然、それがAnswer Botの推奨する記事となります。しかし、最も近い記事が数軒先や近隣にある場合は、記事の内容に関連性があるかどうか確信が持てなくなります。
Zendeskのデータ解析チームは、Answer Botのパフォーマンスを注意深く監視し、「しきい値」を細かく調整しています。このしきい値はZendeskの開発チームだけが触ることができ、管理者やエージェントは調整できません。しきい値はシステム全体に適用され、すべてのAnswer Botアカウントに影響を与えます。そして概念地図の上で2つの概念がどれだけ近似しているかを判断するために使われます。しきい値を上げると、Answer Botは概念の適用範囲を狭め、質問により関連性の高い記事を選ぶようになるため、推奨記事の数は少なくなります。しかし、これではAnswer Botが記事を推薦できない質問が増えることになります。反対に、しきい値を下げれば、Answer Botによる推奨記事の数は増えますが、エンドユーザーには関係のない記事が提示される可能性が高くなります。
よくある誤解:Answer Botがしないこと
Answer Botや機械学習については、一般的に誤解されていることがいくつかあります。このセクションでは、これらの誤解を解き、Answer Botがデータを使って何をしているのか、何をしていないのかをより明確に理解していただけるようにします。
このセクションでは、以下のような質問を用意しました。
Answer Botの学習はエンドユーザーのフィードバックに基づいていますか?機械学習は活用されていないのですか?
Answer Botは機械学習モデルを採用していますが、これはAnswer Botが常に学習しているという意味ではありません。Answer Botの学習モデルには、エンドユーザーやエージェントからのリアルタイムのフィードバックは含まれていません。そのため、お勧めする記事の選択にフィードバックが影響を与えることはありません。
エンドユーザーからのフィードバックは、以下のようにさまざま方法で収集され、活用されています。
- エージェントに表示されるフィードバック:どのような記事が閲覧されたか、「参考にならない」とされた記事があるか、問題の解決に使われたかなどのコンテキストをさらに提供します。
- レポートに報告されるフィードバック:管理者はAnswer Botのパフォーマンスを追跡することができます。
- Zendeskのデータ解析チームによって評価されるフィードバック
もしAnswer Botが繰り返し間違った記事を提案する場合は、タイトルと先頭の数行を修正して記事の主要な概念をより明確にするとよいでしょう。また、ラベルを使用してAnswer Botが提示する記事のリストを作成することで、Answer Botによる推奨記事をリスト内の記事だけに限定することもできます。
キーワード検索よりもAIを使った検索の方が常に優れていますか?
全体的には、キーワード検索よりもAIを使ったAnswer Botの提案の方がより正確で関連性が高いことが判明しています。1~3語の語句ではなく、文章にした形の質問では特に優れています。
しかし、キーワード検索の方が効果的な場合もあります。たとえば、ユーザーがWeb Widget(従来版)から1単語で質問をした場合、Answer Botはデフォルトでキーワード検索を使用します。これは一般的に1単語クエリの方が正確であるためです。ただし、中国語のようにスペースなどの単語の区切りがない言語を除きます。
同じ質問と回答を何度も繰り返し、「はい」「いいえ」の回答に基づいて関連性のある記事とない記事を仕分けるようにして、Answer Botに学習させることができますか?
いいえ。Answer Botは、エージェントやエンドユーザーからのフィードバックに関係なく、常に同じ記事を推奨します。Answer Botは記事の提案に特化して開発されているため、トレーニングは必要はありません。自然言語を理解できるように、すでに調整済みです。もし、ある語句や質問をテストしてみて、Answer Botが不適切な記事を推奨する場合は、記事のタイトルと先頭の数行を修正して、主要な概念をより明確にするとよいでしょう。
記事にラベルを付けることは、キーワードを追加するのと同じようなものですか?ラベルを使用して、記事が提案される頻度を上げることができますか?
ラベルは、Answer Botが取得できる承認済み記事のリストを作成するのに便利です。ただし、ラベルはAnswer Botが各記事に与える重み付けには影響しません。ラベルについての詳細はこちらの記事をご覧ください。
「回答の品質向上」ボタンでAnswer Botの回答を改善できない場合、どうすれば改善できますか?
Answer Botのパフォーマンスを向上させるには、以下の方法を検討してみてください。
- Answer Botのアクティビティを分析する:Exploreを活用し、パフォーマンスにおいてベストの記事とワーストの記事を確認します。
- 既存の記事の構造:ヘルプセンターの記事を調べ、内容が簡潔にまとまっていることを確認します。それぞれのタイトルは、短い文章や質問のような言い回しにしてください。
- コンテンツキュー:機械学習技術とGuide記事の利用データを使用して、ナレッジベースの健全性を向上できる箇所とタスクを発見することができます。
0 コメント
サインインしてコメントを残してください。