大規模言語モデルとは何か？代表例や主な用途を徹底解説します

近年は、人が書いたものとほとんど見分けがつかないテキストを生成する大規模言語モデルの人気が高まっています。

これらは当初、言語翻訳や感情分析などの自然言語処理タスクに使用するために開発されました。しかしその後、その機能は幅広いアプリケーションに拡張されています。

この記事では、大規模言語モデルとは何かを解説し、私たちに影響を与えてくれる事例を紹介していきます。

大規模言語モデルとは何かを解説

大規模言語モデルとは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことです。

一般的には大規模言語モデルをファインチューニングなどすることによって、テキスト分類や感情分析、情報抽出、文章要約、テキスト生成、質問応答といった、さまざまな自然言語処理（NLP：Natural Language Processing）タスクに適応できるようにしています。

膨大なデータを集めることから始まります。蓄積して自ら学習する能力も備えて依頼されたタスクを処理していきます。その中から的確な情報を抽出し、テキストや音声で伝わるようにアウトプットしてくれるでしょう。

大規模言語モデルの代表例

大規模言語モデルはすでに私たちの周りに浸透しています。生活の快適さとスムーズな流れを作るために、目に見える形で現れているものも増えてきました。その代表例を紹介していきます。

chatgpt（チャットジーピーティー）

ChatGPTはOpenAIが開発した大規模言語モデル「Generative Pre-trained Transformer 3（GPT-3）」を微調整したGPT-3.5がベースになっています。

GPT-3は自然言語処理における最新技術の一つです。

機能として、膨大なデータを学習して効率的に扱うモデルを採用することで従来より多彩で複雑な文章を生成できます。

この膨大なデータの学習には、機械学習の一種である自己教師あり学習（ SSL：Self-Supervised Learning）が採用されています。

人間がラベルを用意する必要がなく、大量のデータを手間をかけずに学習させることが可能です。

さらにChatGPTは今までのGPTシリーズに⼈間からのフィードバックをもとにした強化学習（同じく機械学習の一種で、AIが自らの置かれた環境のなかで試行錯誤を繰り返し、最適な行動・価値を見つけ出す学習法）を⾏い、⼈間に対して「好ましい」出⼒をするように学習しています。

これにより今までの⾔語モデルと⽐較して明らかに性能が向上し、人間らしい自然な対話を実現しています。

ChatGPTは具体的に、以下のような作業を簡略化できます。

質問に対する返答（情報収集）

文章の要約

文章の作成

リストや比較表の作成

BERT

BERTとは、Bidirectional Encoder Representations from Transformers の略で、2018年10月にGoogleのJacob Devlinらの論文で発表された自然言語処理モデルです。

Googleが提供している音声認識の製品に「Google Home」があります。それらの一部にBERTのモデルが使用されています。

BERT導入の背景として、「多様化する検索クエリへの対応」が挙げられるでしょう。検索エンジン以外でも、音声から判断する機能が増えてきた背景も重なっています。

「天気情報を調べてもらう」「アラームを設定してもらう」などの自然言語の命令は長文で複雑化しやすい傾向にありました。こうした中で文脈を読めるモデルの需要が高まっていました。

以上が急激に浸透している大規模言語モデルを採用したAIの代表例でした。

生産性の向上を目的とした部分では、大きく活躍してくれるでしょう。一方で使う側が効率化だけを求めると、人としての価値もAIに置き換わってしまいます。

文章の要約等は、人だからこその表現が魅力的に感じることもあります。人にしかないものと、AIに任せる部分を明確にしていくことが自社や個人の強みに変わっていくでしょう。

日本語に特化したモデルの開発が進んでいる

近年は日本語に特化した大規模言語モデルの開発が進んでいます。

英語の言語モデルで日本語を使用する際、リソースが少ないです。

さらにノイズが多いため、上手く除去しなければならないという課題がありました。

またWEB上のテキストは、ウィキペディアのコピーが多いことから適切なデータも少ないという状況だったのです。

日本語は、語順の自由度が高いことや日常における必須語が多い言語です。

多種多様な表記や同じ音でも意味が異なる言葉があること、方言がたくさんあります。

同じ意味の単語でも異なる意味になるなど、独自の難しさが存在しています。

また、自由度が高い面では、話し言葉では文中の主語や目的語を省略したりしがちです。

なので、テキストを読む際に文中の単語の省略を考慮しながら意味を解釈していく必要があります。それゆえに、これらの課題を解消しようと日本語に特化した言語モデルの進化が期待されているのです。

LINEが日本語特化した世界初のモデルを開発した

2021年にLINE株式会社が、世界初の日本語に特化した大規模汎用言語モデル「HyperCLOVA」を発表しました。前の項でお伝えした、英語圏の中心だった言語モデルが多かったことが開発された背景にあります。

これらはNAVER株式会社と共同で開発されたものです。

膨大なデータを学習させたモデルによって、少量の言語をインプットすることで、文脈にあった言語処理を可能にしたり、エージェントと人間の自然な対話が可能になったりします。

大規模言語モデルの活用例の紹介

大規模言語モデルを活用したもので、急激に成長しているのがchatgptです。前の章の通りLINEも独自開発をするほど、AIのテクノロジーは進化が激しく速いです。すでに大規模言語モデルとchatgptを活用した例は、生活の一部として浸透しています。この章ではその事例を紹介していきます。

【自動応答サービス】

自動応答サービスとは、電話でくる問い合わせや対応を代わりに担ってくれるサービスです。導入事例として株式会社IVRyが提供する「IvRy（アイブリー）」があります。音声でChatGPTの機能を利用できる話題性から公開1週間で利用件数10,000件を突破、また累計通話時間が350時間を超える高い注目度を誇っています。

自動応答サービスは、文字入力を超えて音声を認識して適切な応えを返すところまで進歩しています。AIによる精度も日々改善されていき、対応上手な人のレベルまで上がっていくでしょう。

【オンライン学習サービス】

オンライン学習サービスとは、生徒と講師がオンラインを通じて学習するサービスのことです。

活用事例として、株式会社みんがくが提供中の「みんがく」があげられます。

オンライン学習サービス「みんがく」内では、先生のBUKAという教育現場の利用に特化したChatGPTコミュニケーションツールが提供されています。

先生のBUKA内ではChatGPTの利用が可能となっています。

ChatGPTが対応できる内容はChatGPT、ChatGPTで賄えない部分は人力で対応するといった使い分けがされています。

学習は人力での対応も必要な場合もあるので、使い分けができるかどうかが生き残る鍵となってくるでしょう。

大規模言語モデルが応用されて、目に見える有形なものとしてその恩恵を受けることができています。しかしながら、人とAIが共存し、新しいものを生み出すことも考えていくことも検討する必要があるでしょう。人にしかできないこと、AIに一任することを見極めてシステムの導入をすることが、強みを活かすことにもつながっていきます。

AI GIJIROKU Blog 編集部

AI GIJIROKU ブログ編集部です。議事録や、会議、音声を中心に生産性を向上するためのブログを執筆しています。