ChatGPTやGemini, Claudeといった大規模言語モデルの仕組みの解説 補足 動画内ではトークンを1つ1つの単語と同じような意味であるかのように表現していますが実際にはトークンは1単語であるときもあれば、それより小さな部分であることもあります。詳細はフルシリーズをご覧ください。 この動画は3Blue1Brownの動画を翻訳・再編集し公式ライセンスのもと公開しているものです。 3Blue1Brownの翻訳だけでなく中高レベルで楽しめる数学の動画も制作しています。 https://ufolium.com 三角関数のエッセンス　第一回の無料公開動画： https://youtu.be/1a5DevFbZF8 ニューラルネットワークの仕組み https://www.youtube.com/watch?v=tc8RTtwvd5U Transformerの仕組み https://www.youtube.com/watch?v=KlZ-QmPteqM 講演 https://youtu.be/KJtZARuO3JY This was made for an exhibit at the Computer History Museum: https://computerhistory.org/ 日本語版X https://x.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/LPZh9BOjkQs ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com X: https://x.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u

この動画は3Blue1Brownの動画を翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版X https://x.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/EmKQsSDlaa4 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u #数学 #面白い #3blue1brown #3blue1brown 日本語 #3blue1brownjapan

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 ファインマンの講義 https://www.feynmanlectures.caltech.edu/I_31.html Looking Glass Universeの動画 https://youtu.be/uo3ds0FVpXs?si=aj-LG16H03LTReNX 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/Cz4Q4QOuoo8?si=xIyNT1CTrTEZL7iS ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 Quotebook Notebooks: https://3b1b.co/store Looking Glass Universeの動画: https://youtu.be/uo3ds0FVpXs?si=Rbsu64jswH_8tX9J 動画の大部分は以下のファインマンの講義がもとになっています。 https://www.feynmanlectures.caltech.edu/I_31.html 振動する電荷の層による波の位相がなぜ1/4周期遅くなるかは一つ前のchapterで説明されています https://www.feynmanlectures.caltech.edu/I_30.html 日本語版X https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://www.youtube.com/watch?v=KTzGBJPuJwM&pp=ygUUM2JsdWUxYnJvd24gb3B0aWNzIDM%3D ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://www.youtube.com/watch?v=aXRTczANuIs&pp=ygUPb3B0aWNzIHB1enpsZSAy ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u #数学 #面白い #3blue1brown #3blue1brown 日本語 #3blue1brownjapan #光学

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtube.com/watch?v=QCX62YJCmGk 関連するSteve Mouldの動画 https://youtu.be/975r9a7FMqc?si=XCpb8i2O0yHaKeKV Thanks to Quinn Brodsky for setting up the demo and to the MIT Physics Instructional Resources Lab for their help and materials, especially Josh Wolfe and Caleb Bonyun. ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 AI Alignment forum post from the Deepmind researchers referenced at the video's start: https://www.alignmentforum.org/posts/iGuwZTHWb6DFY3sKB/fact-finding-attempting-to-reverse-engineer-factual-recall Anthropic posts about superposition referenced near the end: https://transformer-circuits.pub/2022/toy_model/index.html https://transformer-circuits.pub/2023/monosemantic-features Some added resources for those interested in learning more about mechanistic interpretability, offered by Neel Nanda Mechanistic interpretability paper reading list https://www.alignmentforum.org/posts/NfFST5Mio7BCAQHPA/an-extremely-opinionated-annotated-list-of-my-favourite Getting started in mechanistic interpretability https://www.neelnanda.io/mechanistic-interpretability/getting-started An interactive demo of sparse autoencoders (made by Neuronpedia) https://www.neuronpedia.org/gemma-scope#main Coding tutorials for mechanistic interpretability (made by ARENA) https://arena3-chapter1-transformer-interp.streamlit.app 日本語版X https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://www.youtube.com/watch?v=9-Jl0dxWQs8 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u #数学 #面白い #3blue1brown #3blue1brown 日本語 #3blue1brownjapan #LLM #GPT

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/mH0oCDa74tE?si=WOZ6dLhylQAH4DjZ Errors: *Typo on the "hard problem" at 13:47, it should be a/(b+c) + b/(a+c) + c/(a+b) = 4 *Typo-turned-speako: The classification of quasithin groups is 1221 pages long, not 12,000. The full collection of papers proving the CFSG theorem do comprise tens of thousands of pages, but no one paper was quite that crazy. ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 以前の動画でも扱われたテーマですが、英語版本家でも改めて動画が出ていました。この動画はその新しい方の日本語版です。 訂正 8:30 領域の数はもちろん0, 1, 2, 3, 5ではなく1, 2, 3, 4, 5であるべきですね 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/YtkIWDE36qU?si=_Yg0j7RK4_VAdzq9 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u #数学 #面白い #3blue1brown #3blue1brown 日本語 #3blue1brownjapan #モーザー数列 #円分割問題

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://www.youtube.com/watch?v=eMlx5fFNoYc&t=795s&pp=ygUVYXR0ZW50aW9uIDNibHVlMWJyb3du 訂正 冒頭でAttention機構は2017年の論文ではじめて登場したと紹介していましたが、正しくは2014年にBahdanauらによって初めて導入されていました。もちろんそれ以前にも、人々がこのアイディアについて実験していたのではないかと思います。コメントのご指摘、ありがとうございます！ Attention Is All You Needは従来のシーケンス処理モデルに使われていた回帰型ニューラルネットワークに対して、文字通りAttentionのみでシーケンス処理を可能にし、また多くのアテンションブロックを使用することでモデルの性能を向上させるアプローチが広く受け入れられるきっかけを作ったと言えるのではないでしょうか。 新チャンネルUfolium https://www.youtube.com/watch?v=nF7gFRebGTk&pp=ygUHdWZvbGl1bQ%3D%3D https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUHdWZvbGl1bQ%3D%3D 資料 Andrej Karpathy https://youtu.be/kCc8FmEb1nY?si=ja2COj-IOYR_gQvt vcubingx https://youtu.be/1il-s4mgNdI?si=6v5eNjToNX999kW4 Anthropic https://transformer-circuits.pub/2021/framework/index.html https://www.gptandchill.ai/codingproblems LLMの歴史 Brit Cruise https://youtu.be/OFS90-FX6pg?si=udNZoCAlpt8Odaoe https://arxiv.org/pdf/1301.3781 訳注 「シングルヘッドのアテンション」と訳されている部分は、英語では"Single head of attention"、"Single-headed attention"、"single-head attention"などと表現されています。意味としては「アテンションのヘッド１つ分」という使い方もあれば、「シングルヘッド」という「ある種の特徴や仕様を表現する言葉」として使っている場合もあります。日本語訳では前者のように受け取れる部分でもいくつかは後者で訳していて、これはMulti-head Attentionとの対比をより明確にするためにこのように訳しています。 ---------------------------------------- 英語版翻訳元チャンネルの支援 https://www.patreon.com/3blue1brown アニメーションはmanimで作られています https://github.com/3b1b/manim 英語版公式ソーシャルメディア Webサイト: https://www.3blue1brown.com Twitter: https://twitter.com/3Blue1Brown Facebook: https://www.facebook.com/3blue1brown Reddit: https://www.reddit.com/r/3Blue1Brown ---------------------------------------- Music by Vincent Rubinetti Download the music on Bandcamp: https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown Stream the music on Spotify: https://open.spotify.com/album/1dVyjwS8FBqXhRunaG5W5u #数学 #面白い #3blue1brown #3blue1brown 日本語 #3blue1brownjapan #ニューラルネットワーク #GPT #トランスフォーマー #AI #アテンション