【Transformer誕生の舞台裏】ChatGPTの起源『Attention Is All You Need』
About this episode
The episode discusses the backstory of the Transformer paper 'Attention Is All You Need' and its implications in AI.
今回はTransformer論文『Attention Is All You Need』誕生のバックストーリーについて話しました。 【目次】 (00:00) 今回のテーマ (00:29) Transformerとは (01:15) Transformer論文の8人の著者 (11:17) self-attentionの発案 (13:14) self-attentionをGPUでスケーリング (17:38) Transformerの汎用性を発見 (20:05) 『Attention Is All You Need』論文の発表\ (20:58) Googleのイノベーションのジレンマ (22:06) 次回予告 ▼ 伊藤 (NanoHuman) が運営中のサービス SuperIntern: 会議を起点に仕事を自動化するAIエージェント https://super-intern.com/ja/?utm_source=youtube&utm_medium=social&utm_campaign=kigyorireki_description&utm_content=link 【起業の履歴書について】 起業の履歴書は「AI 🤖」と「スタートアップ 💻」について大袈裟に話すチャンネルです。 ホスト2人の仕事や大学時代について話してる自己紹介動画です。パーソナリティに興味を持ってくださった方はぜひ！ https://www.youtube.com/watch?v=3EKSaVEQFuU ＜ホスト＞ ・East Ventures 村上雄也 - https://twitter.com/yu8muraka3 ・NanoHuman 伊藤工太郎 - https://twitter.com/etaroid ＜Podcast＞ Spotify - https://open.spotify.com/show/5ryodBEEOn66Wk7H2Sl8zF Apple - https://podcasts.apple.com/jp/podcast/kigyo-no-rirekisho/id1767313170 【参考文献】 - https://arxiv.org/abs/1706.03762 - https://amzn.asia/d/05qSPxfq - https://amzn.asia/d/0fQgmpjB - https://www.youtube.com/watch?v=3K-R4yVjJfU - https://www.youtube.com/watch?v=_sbFi5gGdRA - https://www.youtube.com/watch?v=ayBOXv_SFCY…
People in this episode
Hosts: 村上雄也, 伊藤工太郎
Topics covered
- Transformer
- ChatGPT
- self-attention
- AI
- innovation
- entrepreneurship
Keywords
- Transformer
- ChatGPT
- self-attention
- AI
- innovation
- entrepreneurship
Mentioned in this episode
Organizations: Google
Books & works: Attention Is All You Need
More episodes of 起業の履歴書
- AIは人間の仕事を奪わない!? / Don’t Thinkは大間違い!? / FDEの時代 / AI Productの肝【AIネイティブ企業 Every Dan Shipper】
- 世界一の仮想通貨取引所 Binanceを作った男 CZ全史 - 『Freedom of Money』
- OpenAI元CTOが作った新AIモデルとは? 見逃し危険のAI進化の方向性【Thinking Machines Lab / Interaction Model】
- 【Transformer誕生の舞台裏】GoogleはなぜLLMを見逃したのか？
- 【第2回居酒屋トーク】AIの脅威から逃れるためにインターネットが繋がらない森の中に逃亡する回
- OpenAIから離脱したAnthropic設立の舞台裏。ChatGPTモーメントは実は…【The Scaling Curve / Claude】
Explore listener stats, chart rankings, contacts and more on the 起業の履歴書 podcast page.