Wikipedia

Qwen

Qwen（中: 通义千问）は、アリババによって開発された大規模言語モデルのファミリーである。2024年7月、一部のベンチマークにおいて中国語モデルとして最高位にランクされ、世界全体ではAnthropicおよびOpenAIの最上位モデルに次ぐ第3位となった。[1]

Qwen
提供元 アリババ
種別 チャットボット
サービス開始 2023年4月 (1年前) (2023-04)
ウェブサイト chat.qwenlm.ai

モデル

編集

アリババは、2023年4月に通義千問（Tongyi Qianwen）の名称でQwenのベータ版を初めて公開した[2]。このモデルは、Meta AIが開発した大規模言語モデルLlamaを基に、さまざまな改良を加えたものである[3]。2023年9月には、中国政府の承認を得て正式に公開された[4]。2023年12月には、72Bおよび1.8Bのモデルをオープンソースとして公開し、Qwen 7Bは2023年8月にオープンソース化された[5][6] 。

2024年6月、アリババはQwen 2を発表し、2024年9月には一部のモデルをオープンソース化する一方で、最も高度なモデルは非公開とした[7][8]。Qwen 2は、Mixture of Experts（専門家混合型）アーキテクチャを採用している[9]。

2024年11月には、OpenAI o1と同様に推論に特化したモデルQwQ-32B-PreviewをApache License 2.0の下で公開した。ただし、公開されたのはモデルの重みのみであり、データセットや学習手法は非公開である[10][11]。QwQは32,000トークンのコンテキスト長を持ち、一部のベンチマークにおいてOpenAI o1を上回る性能を示している[12]。

Qwen-VLシリーズは、ビジョンTransformerと大規模言語モデルを組み合わせた視覚言語モデルである[3][13]。アリババは、20億パラメータと70億パラメータのバリアントを持つQwen-VL2を公開した[14][15]。2024年時点で、アリババの主力視覚モデルはQwen-VL-Maxであり、アリババ・クラウドを通じて1,000入力トークンあたり0.00041米ドルで提供されている[16]。

アリババは、Qwen-AudioやQwen2-Mathなど、さまざまな種類のモデルも公開している[17]。これまでに合計100以上のモデルをオープンソース化しており、累計ダウンロード数は4,000万回を超える[8][18]。Qwenのファインチューニング版も多く開発されており、その一例として、サンフランシスコのAbacus AIが開発したLiberated Qwenがある。このバージョンは、コンテンツの制限なくあらゆるユーザーのリクエストに応答できるように調整されている[19]。

2025年1月、アリババは最新かつ最も強力なモデルであるQwen 2.5-Maxを発表した[20]。Alibabaのブログ記事によると、Qwen 2.5-Maxは主要なベンチマークにおいて、GPT-4o、DeepSeek-V3、Llama-3.1-405Bといった他の基盤モデルを上回る性能を発揮している[21]。

参照

編集
  1. ^ “Alibaba's open-source AI model tops Chinese rivals, ranks 3rd globally” (英語). South China Morning Post (11 July 2024). 30 January 2025閲覧。
  2. ^ “Alibaba to roll out its rival to ChatGPT across all its products” (英語). CNBC (11 April 2023). 30 January 2025閲覧。
  3. ^ a b Bai, Jinze; et al. (28 September 2023). "Qwen Technical Report". arXiv:2309.16609 [cs.CL]。
  4. ^ “Alibaba opens Tongyi Qianwen model to public as new CEO embraces AI” (英語). South China Morning Post (13 September 2023). 30 January 2025閲覧。
  5. ^ “Alibaba unveils new Tongyi Qianwen AI language model”. global.chinadaily.com.cn (2023年12月1日). 30 January 2025閲覧。
  6. ^ “Alibaba rolls out open-sourced AI model to take on Meta's Llama 2”. reuters (August 3, 2023). 30 January 2025閲覧。
  7. ^ “Alibaba says new AI model Qwen2 bests Meta's Llama 3 in tasks like maths and coding” (英語). South China Morning Post (7 June 2024). 30 January 2025閲覧。
  8. ^ a b “China's Alibaba launches over 100 new open-source AI models, releases text-to-video generation tool” (英語). CNBC (19 September 2024). 30 January 2025閲覧。
  9. ^ Yang, An; et al. (10 September 2024). "Qwen2 Technical Report". arXiv:2407.10671 [cs.CL]。
  10. ^ “Alibaba releases Qwen with Questions, an open reasoning model that beats o1-preview”. VentureBeat (29 November 2024). 30 January 2025閲覧。
  11. ^ “阿里通义千问 QwQ 登场：开源 AI 推理新王，MATH 测试超 OpenAI o1 模型 - IT之家”. www.ithome.com (2024年11月28日). 30 January 2025閲覧。
  12. ^ “Alibaba releases an 'open' challenger to OpenAI's o1 reasoning model”. TechCrunch (27 November 2024). 30 January 2025閲覧。
  13. ^ “Alibaba slashes prices on large language models by up to 85% as China AI rivalry heats up” (英語). CNBC (31 December 2024). 30 January 2025閲覧。
  14. ^ “阿里通义千问推出 Qwen2-VL：开源 2B / 7B 参数 AI 大模型，处理任意分辨率图像无需分割成块”. ithome.com (2024年8月30日). 30 January 2025閲覧。
  15. ^ Wang, Peng; Bai, Shuai; Tan, Sinan; Wang, Shijie; Fan, Zhihao; Bai, Jinze; Chen, Keqin; Liu, Xuejing et al. (September 18, 2024). “Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution”. Cs.CV. arXiv:2409.12191. 
  16. ^ “Alibaba Cloud cuts AI visual model price by 85% on last day of the year” (英語). South China Morning Post (31 December 2024). 30 January 2025閲覧。
  17. ^ “Alibaba claims no. 1 spot in AI math models with Qwen2-Math”. VentureBeat (8 August 2024). 30 January 2025閲覧。
  18. ^ “Alibaba accelerates AI push by releasing new open-source models, text-to-video”. Reuters (September 19, 2024). 30 January 2025閲覧。
  19. ^ “Here Come the Anti-Woke AIs”. WSJ (April 19, 2024). 30 January 2025閲覧。
  20. ^ 引用エラー: 無効な <ref> タグです。「boterview 29 January 2025」という名前の注釈に対するテキストが指定されていません
  21. ^ “Qwen2.5-Max: Exploring the Intelligence of Large-scale MoE Model” (英語). Github (29 January 2025). 30 January 2025閲覧。
引用エラー: <references> で定義されている name "boterview 2025年1月29日" の <ref> タグは、先行するテキスト内で使用されていません。

外部リンク

編集
「https://ja.wikipedia.org/w/index.php?title=Qwen&oldid=103565128」から取得