バズりと商策に振り回されない｜ChatGPT、Gemini など LLM の評価手法と情報の追い方

この動画では、開発競争が激化し、情報が日々増えているLLMの「評価」に焦点を当てて解説します。自身の判断基準を持ってモデルを比較し、モデルの評価競争を解像度高く追っていくための知識を得ることができます。新たなモデルが発表されたときの情報の見方や、LLM導入時のモデル比較検討に役立つと幸いです！

01:40 背景：LLM戦国時代
04:15 今回の内容
04:40 良いモデル、とは
05:35 先にまとめ
06:09 LLMの評価手法
15:55 評価手法の現状にある背景
18:16 評価結果の情報はどこにあるのか
19:45 Chatbot Arena - 自由記述の評価手法
22:10 各評価手法の課題
24:25 Q&A

MMLU リーダーボード: https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
Chatbot Arena リーダーボード: https://chat.lmsys.org/?leaderboard
----------
「数理の弾丸」は、人工知能や言語にまつわる専門知をわかりやすく、誤魔化さずに伝えることを目指すチャンネルです。

■スピーカー：吉田、鈴木、スミス、辻

#chatgpt #gemini #claude3 #大規模言語モデル #ai

チャンネル登録

数理の弾丸⚡️京大博士のAI解説

※本サイトに掲載されているチャンネル情報や動画情報はYouTube公式のAPIを使って取得・表示しています。動画はYouTube公式の動画プレイヤーで再生されるため、再生数・収益などはすべて元動画に還元されます。

概要カレンダータイムライン動画一覧タイムテーブル YouTube配信チャンネル分析

Timetable

動画タイムテーブル

タイムテーブルが見つかりませんでした。

バズりと商策に振り回されない｜ChatGPT、Gemini など LLM の評価手法と情報の追い方

背景：LLM戦国時代

今回の内容

良いモデル、とは

先にまとめ

LLMの評価手法

評価手法の現状にある背景

評価結果の情報はどこにあるのか

Chatbot Arena - 自由記述の評価手法

各評価手法の課題

Q&A

数理の弾丸⚡️京大博士のAI解説

Timetable

よく話題になっている単語