推論(Inference)とは、学習済みのAIモデルが入力された情報を基に、実際に回答や判断を行う処理のこと。
学習とは異なり、運用中にリアルタイムで行われる点が特徴です。
AIチャットボットでは、参照ナレッジやコンテキストを踏まえて推論が行われるため、設計次第で回答の正確性や応答速度が変わります。
実務利用では、用途に応じた推論設計が重要になります。