この動画では、RAGシステムでも頻繁に活用される文埋め込み（sentence embedding）の技術についてご説明します🧚🏻‍♀️ 👨🏻‍🎓 アジェンダ 1:00 概要 4:55 結論 - BERTとLLMが主流 9:18 文埋め込みモデルの作り方 11:09 プーリング - BERTの場合 14:34 プーリング - LLMの場合 17:11 実用のための情報収集 22:20 まとめ --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、桜島

9/12 に公開された OpenAI の新モデルシリーズ「o1」について、公式リリースページに即してレビューします🧚🏻‍♀️ 👨🏻‍🎓 アジェンダ 01:27 今回の内容 03:32 o1 の強みは一体何 05:43 評価結果（抜粋） 08:10 技術要素 09:57 思考過程を見てみましょう 14:13 o1 活用のコツ 📌 お便りフォーム: https://forms.gle/3cqFD18fwCunD38d6 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、桜島 #openai #o1 #chatgpt

人工知能・自然言語処理との親和性が高く、今や言語学と工学の学際領域といえる「範疇文法」について、初学者の方も想定して解説します🧚🏻‍♀️ 👨🏻‍🎓 アジェンダ 00:48 言語学者は文法をどう見ているか？ 03:14 学校文法 05:01 文法構造＝階層 12:22 文法の理論は何を解明したいのか 15:15 範疇文法 17:35 範疇 19:22 規則 23:47 いかなる意味で計算なのか 29:49 練習してみましょう 33:40 クロージング 📌 お便りフォーム: https://forms.gle/3cqFD18fwCunD38d6 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、スミス #統語論 #言語学 #範疇文法 #自然言語処理

この動画では、RAG（Retrieval-Augmented Generation）技術の、研究領域としての発展について解説しています🥂 📌 技術の広域化（マルチフォーマット、マルチモーダル対応）や精緻化（抽出、生成プロセスの改善）に焦点を当て、単なるトピック紹介ではなく、それを支える基盤技術や、課題認識の背景について説明しています。 RAGについての知見を得ることは大きな目的のひとつですが、より広く適用可能な技術的背景の理解を主眼としています🔥 アジェンダ 👨🏻‍🎓 02:25 RAGってなに 05:35 発展の方向性 12:35 全てはベクトルである 24:14 RAGシステムの性能要因 39:08 いかにして技術発展を追うか 🤍 誹謗中傷を除くいかなるご意見も心よりお待ちしております。 https://forms.gle/fU6ohbNSijR8GTjb9 ---- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、鈴木、スミス、辻 #RAG #chatgpt #生成ai #transformer

高校で学ぶ内容を前提知識として、人工知能のディープな世界へと誘います。高校生以外の方にもきっと楽しんでいただけます🫰どうぞ最後までご視聴ください🥂 📌 何書いたっていいお便りフォーム: https://forms.gle/fU6ohbNSijR8GTjb9 投稿くださっている皆様ありがとうございます！ 👨🏻‍🎓 アジェンダ 02:03 AIが学習するとはどういうことか 12:18 最適なパラメータの見つけ方 22:14 ニューラルネットワークの世界 45:59 ニューラルネットワークの学習 ---------- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、鈴木、スミス、辻 #人工知能 #AI #深層学習 #ニューラルネットワーク #大規模言語モデル #Transformer

Metaから最新のLLM「Llama 3.1」がリリースされました。 論文は長大ですが、特に注目したい要素技術に焦点を当てて解説します。 以下の動画を事前にチェックいただけると、より楽しめると思います！ ・https://youtu.be/DLwhHZUd2fU?si=yJU0yv1GJ28RL6DM ・https://youtu.be/3I-e70ZzHLM?si=C1yEkI-rDMsbXIbk ・https://youtu.be/6tcjwdanedU?si=BV4hmwsno_ov6eoM 03:34 Llama 3.1 の概要 08:35 Llama 3.1 の機構 12:30 Grouped Query Attention 18:32 学習の仕組み 22:59 Direct Preference Optimization 25:20 データの品質を維持する策 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田 #llama #meta #attention #生成ai #大規模言語モデル

こちらの論文を解説します： Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017). https://proceedings.neurips.cc/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html 00:00:25 今回の内容 00:01:48 なぜこの論文が重要なのか 00:03:45 人工知能の論文を読む切り口 00:06:41 系列モデリング 00:11:45 対抗馬は何か 00:19:57 主提案は何か 00:31:20 位置符号化 00:37:20 マルチヘッド自己注意 00:56:12 Point-wise Feed Forward Network 00:59:57 最終出力 01:06:23 評価のWhat/Result 01:13:32 その後の展開 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、スミス #transformer #llm #attention #chatgpt

この動画では、ChatGPTをより快適に活用するために、私が実際に普段使っているノウハウやツールをご紹介します。また、関連する技術・学術的背景についても簡単ながらご説明したいと思います。 動画内で皆さんから頂いたコメントを一部使用させていただきました。 Good、More問わず、いつもコメントいただきありがとうございます！ 01:03 Few-shot learning 10:05 プレースホルダを置く 12:33 Clipy のご紹介 14:53 Browsing 17:17 マルチモーダルの活用 24:57 学術としてのプロンプトエンジニアリング --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、スミス、辻 #chatgpt #プロンプトエンジニアリング #生成AI

この動画では、RAGのバリエーションのひとつであるGraphRAGについて、仕組みの解説とLangChainによる実装をセットでご説明します。 00:01:16 今回の内容 00:01:43 RAGの広がりとGraphRAG 00:03:33 知識グラフ 00:09:25 グラフデータベース 00:13:55 GraphRAG 00:22:57 座学まとめ 00:23:10 LangChainによる実装 Colabノートブック：https://x.gd/F2CRB スライド：https://x.gd/6lrvZ 実際に運用可能なシステムとして実現するためには、たとえば以下の点を考慮する必要がありますが、本動画には内容として含まれておりませんのでご了承ください。 ・外部文書の検討方法 ・外部文書の分割 ・構築されたRAGシステムの評価方法（こちらの動画は参考になると思います https://youtu.be/DLwhHZUd2fU ） ・システムのデプロイ先、データの格納先 ・セキュリティ上のリスク対応 また、動画内では例としてOpenAIのGPTをモデルに採用していますが、RAGは「プロンプトに適切な補足を入れ込む技術」であり、後段のチャットモデルはOpenAI GPTに限らず利用することができます。 --- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、スミス、辻 #chatgpt #rag #langchain #graphrag #グラフRAG

Google Drive: https://drive.google.com/file/d/1US5btebVMTrX8ljRwbG-6urIWirJS8FS/view?usp=sharing 00:01:17 線形代数超入門 00:22:25 Python機械学習最短距離 01:53:18 大規模言語モデルの基礎知識（線形代数・埋め込み・Transformer） 02:49:35 LangChain入門 03:13:34 LLM の仕組み 03:31:27 LLM API、LangChainによるGPT-4oの呼び出し 04:13:20 RAGの仕組み 04:30:26 LangChainによるRAGの実装 ---------- 「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。 ■スピーカー：吉田、鈴木、スミス、辻