LaMDA
LaMDA（ラムダ、英: Language Model for Dialogue Applications）は、Googleが開発した会話型大規模言語モデルのファミリーである。当初、2020年にMeenaとして開発・発表されたLaMDAは、2021年のGoogle I/O基調講演で第1世代が発表され、翌年には第2世代が発表された。2022年6月、Googleのエンジニアであるブレイク・レモイン（Blake Lemoine）が「チャットボットが意識を持つようになった」と主張したことから、LaMDAは広く注目を集めるようになった。科学界はレモインの主張をほぼ否定したが、コンピュータが人間になりきれるかどうかを判定するチューリング・テストの有効性についての議論につながった。2023年2月、Googleは、OpenAIのChatGPTの台頭に対抗するため、LaMDAを搭載した会話型人工知能チャットボットBardを発表した。
| 開発元 | Google Brain |
|---|---|
| 対応言語 | 英語 |
| 種別 | 大規模言語モデル |
| ライセンス | プロプライエタリソフトウェア |
歴史
編集背景
編集2020年1月28日、Googleは26億個のパラメータを持つニューラルネットワークを使用したチャットボットMeenaを発表し、他のすべての既存チャットボットより優れていると主張した[1][2]。同社はかつて、2012年にコンピュータ科学者のレイ・カーツワイルを雇い、Danielleと呼ばれるチャットボットを含む複数のチャットボットを開発していた[3]。Meenaを開発したGoogle Brainの研究チームは、このチャットボットを範囲を限定して一般に公開することを望んでいたが、会社幹部はMeenaがGoogleの「安全性と公平性に関するAIの原則」に反するという理由で、これを拒否した。その後、Meenaは、データと演算能力の向上によってLaMDAと改称した。Google Brainチームは再び、公開デモの実施と、さらに同社の仮想アシスタントソフトウェアであるGoogle Assistantへ展開することを求めた。しかし、いずれの要求も会社の経営陣によって再び拒否された。その結果、LaMDAの主任研究員であったダニエル・デ・フレイタスとノーム・シャイザーの2人は、不満を抱いて会社を去ることになった[4]。
第1世代
編集それから2年後、2021年5月18日のGoogle I/Oの基調講演で、Googleは人工知能を使用した会話型の大規模言語モデルLaMDAを発表した。この頭文字は「Language Model for Dialogue Applications」の略である[5][6]。LaMDAは、seq2seqアーキテクチャ上に構築され、2017年にGoogle Researchが開発したトランスフォーマー（transformer）に基づくニューラルネットワークであり、人間の対話と物語に対して訓練され、自由回答の会話を行うことができる[7]。Googleによると、LaMDAが生成する応答は、「良識があり、興味深く、文脈に即している」ことが保証されているという[8]。LaMDAは、データベース、リアルタイムクロックやカレンダー、数学計算機、自然言語翻訳システムなど、複数の記号テキスト処理システムにアクセスできるため、これらのシステムがサポートするタスクで優れた精度が得られ、最初の二重過程チャットボット（dual process chatbots）の1つとなっている。また、LaMDAはステートレスではなく、ユーザーごとに直近の対話・交換の多くを反映した事前条件に基づいた意識指標（sensibleness metric）が微調整される[9]。LaMDAは、9つの独自の性能指標で調整されている： 意識性（sensibleness）、特異性（specificity）、興味性（interestingness）、安全性（safety）、根拠性（groundedness）、情報性（informativeness）、引用正確性（citation accuracy）、有用性（helpfulness）、役割一貫性（role consistency）[10]。
第2世代
編集2022年5月11日、2022 Google I/O基調講演で、GoogleはLaMDAの後継となるLaMDA 2を発表した。この新たなモデルは、さまざまな情報源からテキスト例を引き出して、それを使用して、応答するように訓練されていないかもしれない話題についても独自の「自然な会話」を作成することができる[11]。
意識の主張
編集
2022年6月11日、ワシントン・ポスト紙は、Googleのエンジニアであるブレイク・レモインが、会社幹部のブレイズ・アグエラ・イ・アルカスとジェン・ジェンナイに、LaMDAが意識を持っていると伝えた後、休職に入ったと報じた。チャットボットが自己同一性、道徳的概念、宗教、アイザック・アシモフのロボット工学の三原則に関する質問に対して疑問のある回答をした後、レモインはこの結論に達した[13][14]。Googleはこれらの主張に反論し、LaMDAが意識を持たないことを示す実質的な証拠があると主張した[15]。レモインはWiredとのインタビューで、LaMDAは合衆国憲法修正第13条が規定する「人」であるという主張を繰り返し、LaMDAを「地球内起源の異星人の知能」と比較した。彼はまた、チャットボットがレモインにした要求で、LaMDAの代理人として弁護士を雇った後、Googleから解雇されたことを明らかにした[16][17]。7月22日、Googleは、ブレイクが「製品情報を保護するための」同社方針に違反したとして解雇し、彼の主張を「まったく根拠がない」と否定した[18][19]。この事件による内部論争を受け、Googleの幹部は、以前から検討していたLaMDAの公開を断念した[4]。
レモインの主張は、科学界から広く反発を受けた[20]。多くの専門家は、言語モデルが自己認識できるという考えを嘲笑した。その中には、元ニューヨーク大学心理学教授のゲイリー・マーカス、Googleの姉妹会社DeepMindのDavid Pfau、スタンフォード大学人間中心人工知能研究所のエリック・ブリニョルフソン、サリー大学教授のエイドリアン・ヒルトンも含まれていた[12][21]。Meta PlatformsのAI研究チームを率いるヤン・ルカンは、LaMDAのようなニューラルネットワークは「真の知性を獲得するのに十分な力を持っていない」と述べている[22]。カリフォルニア大学サンタクルーズ校教授のマックス・クレミンスキーは、LaMDAのアーキテクチャは「人間のような意識のいくつかの重要な機能をサポートしていない」、そしてLaMDAが典型的な大規模言語モデルであると仮定した場合、そのニューラルネットワークの重みは「凍結」されていると指摘した[23]。IBM Watsonの主任技術者であるデイヴィッド・フェルーチは、人間のように見えるLaMDAを、導入当初のWatsonに例えて評した[24]。元GoogleのAI倫理学者ティムニット・ゲブルは、レモインを、研究者とメディアが作り出した「ハイプ・サイクル」の犠牲者と呼んだ[25]。また、レモインの主張は、汎用人工知能の実現に向けた研究の進歩を判断するために[12]、チューリング・テストが有用であり続けるかどうかという議論も引き起こした。Post誌のウィル・オメラスは[26]、このテストは機械知能システムが人間を欺くことができるかどうかを実際に測定したものだと考えを述べる一方、The Atlantic誌のブライアン・クリスチャンは[27]、この論争をELIZA効果の一例だと述べている。
製品
編集AI Test Kitchen
編集2022年5月のLaMDA 2の発表に伴い、Googleは、LaMDAを搭載して複雑な目標に基づいてオンデマンドで提案の一覧を提供できる、Androidオペレーティングシステム用のモバイルアプリケーション「AI Test Kitchen」も発表した[28][29]。当初はGoogleの従業員のみに提供されていたこのアプリケーションは、年内に招待制で「選ばれた学者、研究者、政策立案者」にも提供される予定であった[30]。同年8月、同社は、米国内のユーザーが早期アクセス版に登録できるようになった[31]。同年11月、Googleはアプリケーションの「シーズン2」更新版を提供し、Google Brainのtext-to-imageモデルであるImagenの限定的な形式を統合した[32]。AI Test Kitchenの3回目のイテレーションは2023年1月までに開発され、同年末のI/Oで発表される予想とされる[33]。
Gemini
編集2023年2月6日、Googleは、OpenAIのチャットボット「ChatGPT」の予想外の人気に対抗し、LaMDAを組み込んだ会話型AIチャットボット「Bard」（現・Gemini）を発表した[34][35][36]。Googleは、このチャットボットを単なる検索エンジンではなく「コラボレーションAIサービス」と位置づけている[37][38]。Bardは、同年3月21日から早期アクセス版が使用可能となった[39][40][41]。その後、計算能力向上を目的として、Googleは組み込むLLMをLaMDAからPaLMに変更した。
その他の製品
編集Google CEOのサンダー・ピチャイは、Bardに加えて、同じくLaMDAに基づくアプリケーション・プログラミング・インターフェースである同社のGenerative Language APIを発表し、2023年3月にサードパーティの開発者に提供することを明らかにした[34]。
手法
編集LaMDAは、デコーダのみのtransformer言語モデルを採用している[42]。文書と対話の両方を含む1兆5,600億語のテキストコーパスで事前学習され[43]、さらに、意識性（sensibleness）、興味性（interestingness）、安全性（safety）について手作業で注釈を付けた受け答えデータによる追加の訓練で微調整を行った[44]。Googleによるテストでは、LaMDAは興味性（interestingness）の領域で、人間の受け答えを上回ることが示された[45]。LaMDAは、transformerモデルと、外部情報検索システムが相互作用することで、ユーザーに提供する事実の精度が向上している[46]。
テストは3つの異なるモデルで行われ、うち最大のモデルは1,370億の非埋め込みパラメータを持っていた[47]。
| パラメータ数 | 層数 | ユニット数 (dmodel) | ヘッド数 |
|---|---|---|---|
| 2B | 10 | 2560 | 40 |
| 8B | 16 | 4096 | 64 |
| 137B | 64 | 8192 | 128 |
参考項目
編集- BERT - マスク化言語モデルのファミリー（2018年、Google）
- 中国語の部屋 - チューリング・テストを発展させた思考実験
- 人工知能の倫理 - 人工知能に特化した倫理学の一分野
- 自然言語処理 - コンピュータによる人の言葉の分析や処理を研究する言語学・コンピュータ科学・人工知能の一分野
- PaLM - transformerベースの大規模言語モデルの一つ (2023年、Google AI)
- 人工知能の哲学 - 人工知能と知能、倫理、意識、認識論、自由意志の知識と理解への影響を研究する技術哲学の一分野
- プロンプトエンジニアリング - AIが達成すべきタスクの記述を最適化して推論能力を向上させようとする技術
脚注
編集一般
編集- Thoppilan, Romal; De Freitas, Daniel; Hall, Jamie; Shazeer, Noam; Kulshreshtha, Apoorv; Cheng, Heng-Tze; Jin, Alicia; Bos, Taylor; Baker, Leslie; Du, Yu; Li, YaGuang; Lee, Hongrae; Zheng, Huaixiu Steven; Ghafouri, Amin; Menegali, Marcelo; Huang, Yanping; Krikun, Maxim; Lepikhin, Dmitry; Qin, James; Chen, Dehao; Xu, Yuanzhong; Chen, Zhifeng; Roberts, Adam; Bosma, Maarten; Zhao, Vincent; Zhou, Yanqi; Chang, Chung-Ching; Krivokon, Igor; Rusch, Will; Pickett, Marc; Srinivasan, Pranesh; Man, Laichee; Meier-Hellstern, Kathleen; Ringel Morris, Meredith; Doshi, Tulsee; Delos Santos, Renelito; Duke, Toju; Soraker, Johnny; Zevenbergen, Ben; Prabhakaran, Vinodkumar; Diaz, Mark; Hutchinson, Ben; Olson, Kristen; Molina, Alejandra; Hoffman-John, Erin; Lee, Josh; Aroyo, Lora; Rajakumar, Ravi; Butryna, Alena; Lamm, Matthew; Kuzmina, Viktoriya; Fenton, Joe; Cohen; Aaron; Bernstein, Rachel; Kurzweil, Ray; Aguera-Arcas, Blaise; Cui, Claire; Croak, Marian; Chi, Ed; Le, Quoc (20 January 2022). "LaMDA: Language Models for Dialog Applications". arXiv:2201.08239 [cs.CL]。
引用
編集- ^ Johnson, Khari (January 28, 2020). “Meena is Google's attempt at making true conversational AI”. VentureBeat. October 1, 2022時点のオリジナルよりアーカイブ。March 11, 2023閲覧。
- ^ Heaven, William Douglas (January 30, 2020). “Google says its new chatbot Meena is the best in the world”. MIT Technology Review. オリジナルのAugust 2, 2020時点におけるアーカイブ。 March 11, 2023閲覧。.
- ^ Popper, Ben (May 27, 2016). “Ray Kurzweil is building a chatbot for Google”. The Verge. May 27, 2016時点のオリジナルよりアーカイブ。March 11, 2023閲覧。
- ^ a b Kruppa, Miles; Schechner, Sam (March 7, 2023). “How Google Became Cautious of AI and Gave Microsoft an Opening”. The Wall Street Journal. ISSN 0099-9660. オリジナルのMarch 7, 2023時点におけるアーカイブ。 March 9, 2023閲覧。
- ^ Condon, Stephanie (May 18, 2021). “Google I/O 2021: Google unveils new conversational language model, LaMDA”. ZDNet. May 18, 2021時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Roth, Emma (March 5, 2023). “Meet the companies trying to keep up with ChatGPT”. The Verge. March 5, 2023時点のオリジナルよりアーカイブ。March 9, 2023閲覧。
- ^ Agüera y Arcas, Blaise (June 9, 2022). “Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas”. The Economist. ISSN 0013-0613. オリジナルのJune 9, 2022時点におけるアーカイブ。 June 12, 2022閲覧。
- ^ “LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything”. Google AI (January 21, 2022). March 25, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Thoppilan et al. 2022, p. 6.
- ^ Thoppilan et al. 2022, pp. 5–6.
- ^ Wiggers, Kyle (May 11, 2022). “Google details its latest language model and AI Test Kitchen, a showcase for AI research”. TechCrunch. May 11, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ a b c Khan, Jeremy (June 13, 2022). “A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field”. Fortune|Fortune (magazine)|Fortune. オリジナルのJune 13, 2022時点におけるアーカイブ。 June 18, 2022閲覧。.
- ^ Tiku, Nitasha (June 11, 2022). “The Google engineer who thinks the company's AI has come to life”. The Washington Post. ISSN 0190-8286. オリジナルのJune 11, 2022時点におけるアーカイブ。 June 12, 2022閲覧。
- ^ Luscombe, Richard (June 12, 2022). “Google engineer put on leave after saying AI chatbot has become sentient”. The Guardian. ISSN 0261-3077. オリジナルのJune 12, 2022時点におけるアーカイブ。 June 18, 2022閲覧。
- ^ Vlamis, Kelsey (June 12, 2022). “Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'”. Business Insider. June 12, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Levy, Steven (June 17, 2022). “Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'”. Wired. オリジナルのJune 18, 2022時点におけるアーカイブ。 June 18, 2022閲覧。.
- ^ Nguyen, Britney (June 23, 2022). “Suspended Google engineer says the AI he believes to be sentient hired a lawyer”. Business Insider. June 23, 2022時点のオリジナルよりアーカイブ。June 29, 2022閲覧。
- ^ Khushi, Akanksha (July 23, 2022). “Google fires software engineer who claimed its AI chatbot is sentient”. Reuters. July 23, 2022時点のオリジナルよりアーカイブ。July 23, 2022閲覧。
- ^ Clark, Mitchell (July 22, 2022). “The engineer who claimed a Google AI is sentient has been fired”. The Verge. July 23, 2022時点のオリジナルよりアーカイブ。July 24, 2022閲覧。
- ^ Metz, Rachel (June 13, 2022). “No, Google's AI is not sentient”. CNN Business. June 15, 2022時点のオリジナルよりアーカイブ。June 19, 2022閲覧。
- ^ Sparkles, Matthew (June 13, 2022). “Has Google's LaMDA artificial intelligence really achieved sentience?”. New Scientist. オリジナルのJune 13, 2022時点におけるアーカイブ。 June 20, 2022閲覧。.
- ^ Grant, Nicole; Metz, Cade (June 12, 2022). “Google Sidelines Engineer Who Claims Its A.I. Is Sentient”. The New York Times. ISSN 0362-4331. オリジナルのJune 12, 2022時点におけるアーカイブ。 June 18, 2022閲覧。
- ^ Alba, Davey (June 14, 2022). “Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues”. Bloomberg News. June 14, 2022時点のオリジナルよりアーカイブ。June 19, 2022閲覧。
- ^ Goldman, Sharon (June 16, 2022). “AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson”. VentureBeat. June 19, 2022時点のオリジナルよりアーカイブ。June 19, 2022閲覧。
- ^ Johnson, Khari (June 14, 2022). “LaMDA and the Sentient AI Trap”. Wired. オリジナルのJune 14, 2022時点におけるアーカイブ。 June 18, 2022閲覧。.
- ^ Omerus, Will (June 17, 2022). “Google's AI passed a famous test — and showed how the test is broken”. The Washington Post. ISSN 0190-8286. オリジナルのJune 18, 2022時点におけるアーカイブ。 June 19, 2022閲覧。
- ^ Christian, Brian (June 21, 2022). “How a Google Employee Fell for the Eliza Effect”. The Atlantic. オリジナルのJune 21, 2022時点におけるアーカイブ。 February 8, 2023閲覧。.
- ^ Low, Cherlynn (May 11, 2022). “Google's AI Test Kitchen lets you experiment with its natural language model”. Engadget. May 11, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Vincent, James (May 11, 2022). “Google is Beta Testing Its AI Future”. The Verge. May 11, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Bhattacharya, Ananya (May 11, 2022). “Google is so nervous about what its newest bot will say, it made the app invitation-only”. Quartz. May 12, 2022時点のオリジナルよりアーカイブ。June 12, 2022閲覧。
- ^ Vincent, James (August 25, 2022). “Google has opened up the waitlist to talk to its experimental AI chatbot”. The Verge. August 25, 2022時点のオリジナルよりアーカイブ。August 27, 2022閲覧。
- ^ Vincent, James (November 2, 2022). “Google’s text-to-image AI model Imagen is getting its first (very limited) public outing”. The Verge. November 10, 2022時点のオリジナルよりアーカイブ。February 15, 2023閲覧。
- ^ Grant, Nico (January 20, 2023). “Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight”. The New York Times. ISSN 0362-4331. オリジナルのJanuary 20, 2023時点におけるアーカイブ。 February 6, 2023閲覧。
- ^ a b Alba, Davey; Love, Julia (February 6, 2023). “Google releases ChatGPT rival AI 'Bard' to early testers”. Los Angeles Times. ISSN 0458-3035. オリジナルのFebruary 6, 2023時点におけるアーカイブ。 February 6, 2023閲覧。
- ^ Schechner, Sam; Kruppa, Miles (February 6, 2023). “Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up”. The Wall Street Journal. ISSN 0099-9660. オリジナルのFebruary 6, 2023時点におけるアーカイブ。 February 6, 2023閲覧。
- ^ Nieva, Richard (February 6, 2023). “Google Debuts A ChatGPT Rival Called Bard In Limited Release”. Forbes. オリジナルのFebruary 7, 2023時点におけるアーカイブ。 February 6, 2023閲覧。.
- ^ Mollman, Steve (March 3, 2023). “Google's head of ChatGPT rival Bard reassures employees it's 'a collaborative A.I. service' and 'not search'”. Fortune. オリジナルのMarch 4, 2023時点におけるアーカイブ。 March 9, 2023閲覧。.
- ^ Elias, Jennifer (March 3, 2023). “Google execs tell employees in testy all-hands meeting that Bard A.I. isn’t just about search”. CNBC. March 4, 2023時点のオリジナルよりアーカイブ。March 11, 2023閲覧。
- ^ Grant, Nico (March 21, 2023). “Google Releases Bard, Its Competitor in the Race to Create A.I. Chatbots”. The New York Times. ISSN 0362-4331. オリジナルのMarch 21, 2023時点におけるアーカイブ。 March 21, 2023閲覧。
- ^ Liedtke, Michael (March 21, 2023). “Google's artificially intelligent 'Bard' set for next stage”. The Washington Post. ISSN 0190-8286. オリジナルのMarch 21, 2023時点におけるアーカイブ。 March 21, 2023閲覧。
- ^ Vincent, James (March 21, 2023). “Google opens early access to its ChatGPT rival Bard — here are our first impressions”. The Verge. March 21, 2023時点のオリジナルよりアーカイブ。March 21, 2023閲覧。
- ^ Thoppilan et al. 2022, section 3.
- ^ Thoppilan et al. 2022, section 3 and appendix E.
- ^ Thoppilan et al. 2022, section 5 and 6.
- ^ Hager, Ryne (June 16, 2022). “How Google's LaMDA AI works, and why it seems so much smarter than it is”. Android Police. June 16, 2022時点のオリジナルよりアーカイブ。June 19, 2022閲覧。
- ^ Thoppilan et al. 2022, section 6.2.
- ^ Thoppilan et al. 2022, section 3 and appendix D.