PDFデータの読み込み（00:23:10 - 00:27:25）
RAG｜ChatGPTの能力を底上げする技術

この動画では、チャットボットを業務用システムとして活用する際の形態として広く採用されているRAGという技術について解説します。前半で基本的な仕組みを座学として学び、後半でLangChainを用いた実装を行います。実際に運用可能なシステムとして実現するためには、たとえば以下の点を考慮する必要がありますが、本動画には内容として含まれておりませんのでご了承ください。

・外部文書の検討方法
・外部文書の分割
・構築されたRAGシステムの評価方法（こちらの動画は参考になると思います https://youtu.be/DLwhHZUd2fU ）
・システムのデプロイ先、データの格納先
・セキュリティ上のリスク対応

また、動画内では例としてOpenAIのGPTをモデルに採用していますが、RAGは「プロンプトに適切な補足を入れ込む技術」であり、後段のチャットモデルはOpenAI GPTに限らず利用することができます。

Colabノートブック: https://x.gd/RoU4q
RAG参照用PDF: https://x.gd/hR8y4
スライド: https://x.gd/th5YP

00:00:35 RAGで実現できること
00:03:15 RAGの基本的な仕組み
00:09:07 データをベクトルで表すという発想
00:14:02 性能に関わるのはどの部分か
00:17:35 APIキーの準備
00:23:10 PDFデータの読み込み
00:27:25 文埋め込みと類似文書探索
00:34:30 シンプルにGPT-4oに聞いてみる
00:38:00 プロンプトテンプレートを作る
00:43:55 RAGのチェインを作る

----------
「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。

■スピーカー：吉田、鈴木、スミス、辻

#chatgpt #rag #langchain #embedding