【Transformer誕生の舞台裏】ChatGPTの起源『Attention Is All You Need』

【Transformer誕生の舞台裏】ChatGPTの起源『Attention Is All You Need』

From 起業の履歴書 by 村上雄也/伊藤工太郎

May 20, 2026 · 23 min

About this episode

The episode discusses the backstory of the Transformer paper 'Attention Is All You Need' and its implications in AI.

今回はTransformer論文『Attention Is All You Need』誕生のバックストーリーについて話しました。 【目次】 (00:00) 今回のテーマ (00:29) Transformerとは (01:15) Transformer論文の8人の著者 (11:17) self-attentionの発案 (13:14) self-attentionをGPUでスケーリング (17:38) Transformerの汎用性を発見 (20:05) 『Attention Is All You Need』論文の発表\ (20:58) Googleのイノベーションのジレンマ (22:06) 次回予告 ▼ 伊藤 (NanoHuman) が運営中のサービス SuperIntern: 会議を起点に仕事を自動化するAIエージェント https://super-intern.com/ja/?utm_source=youtube&utm_medium=social&utm_campaign=kigyorireki_description&utm_content=link 【起業の履歴書について】 起業の履歴書は「AI 🤖」と「スタートアップ 💻」について大袈裟に話すチャンネルです。 ホスト2人の仕事や大学時代について話してる自己紹介動画です。パーソナリティに興味を持ってくださった方はぜひ！ https://www.youtube.com/watch?v=3EKSaVEQFuU ＜ホスト＞ ・East Ventures 村上雄也 - https://twitter.com/yu8muraka3 ・NanoHuman 伊藤工太郎 - https://twitter.com/etaroid ＜Podcast＞ Spotify - https://open.spotify.com/show/5ryodBEEOn66Wk7H2Sl8zF Apple - https://podcasts.apple.com/jp/podcast/kigyo-no-rirekisho/id1767313170 【参考文献】 - https://arxiv.org/abs/1706.03762 - https://amzn.asia/d/05qSPxfq - https://amzn.asia/d/0fQgmpjB - https://www.youtube.com/watch?v=3K-R4yVjJfU - https://www.youtube.com/watch?v=_sbFi5gGdRA - https://www.youtube.com/watch?v=ayBOXv_SFCY…

People in this episode

Hosts: 村上雄也, 伊藤工太郎

Topics covered

  • Transformer
  • ChatGPT
  • self-attention
  • AI
  • innovation
  • entrepreneurship

Keywords

  • Transformer
  • ChatGPT
  • self-attention
  • AI
  • Google
  • innovation
  • entrepreneurship

Mentioned in this episode

Organizations: Google

Books & works: Attention Is All You Need

More episodes of 起業の履歴書

Explore listener stats, chart rankings, contacts and more on the 起業の履歴書 podcast page.