ファッションモデルの機械学習モデルのような事を話す場合はGPTは混乱するのだろうかいやまあ人間も混乱する気はするが…
1980年代に大学生の僕はそのアプローチでのAIの勉強をしていました。LISPやPrologなどのプログラミング言語を駆使してモデルを構築しようと試みられた時代です。当時それらの言語に最適化した専用のコンピュータまで開発されましたが、結局実用的なAIはできなかった。その頃既にニューラルネットワークの基礎理論はありましたが主流ではありませんでした。昨今のAIの隆盛を見ると、新しい時代が来たことをしみじみと感じます。わかりやすい動画での解説ありがとうございます。
ヒトラーを足すとかいうパワーワードで笑ってしまった
「ドイツ－日本」という地域の差に「スシ」を加えると、「ソーセージ」が得られる。面白い！わかりやすい！ベクトルで考えると似た要素同士が近い距離に集まって、要素と要素の関係性が「特徴」として類似のベクトルを作り出す、なるほどー。
内積を二つのベクトルがどれくらい揃っているかを表す尺度とすると、内積はベクトルの大きさにも依存するのでのような比較には向かないかと思うのですが、実際には正規化など行われているのでしょうか？数学には自信がなく、誤っていたらすみません。ベクトルの大きさが意味することがわかると理解できるかもしれませんし、次回も楽しみです！
Unembedding matrix(アンエンべディングマトリックス)を表現行列ってどこかで言ってたのを見たような聞いたような…。忘却の彼方。
ソフトマックス関数が量子力学の各エネルギー固有値に粒子が存在する確率を表す関数p_i=exp(-βE_i)/(Σexp(-βE_i) と完全に同じ形なのおもろい
