オープンソースLLMの日本語能力を高めた「Llama 3.1 Swallow」を公開
[24/10/08]
提供元:共同通信PRワイヤー
提供元:共同通信PRワイヤー
英語力を維持しながら日本語の理解・生成・対話能力を強化した大規模言語モデル
【ポイント】
○大規模言語モデルLlama 3.1の英語の能力を維持しながら、日本語の能力を強化
○Llama 3.1ライセンスにより、商用利用だけでなく他のモデルの改良にも利用可能
○高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進
【概要】
東京科学大学(Science Tokyo) 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所(産総研)は、日本語能力に優れた大規模言語モデル(「Swallow」シリーズの最新版である「Llama 3.1 Swallow」を公開しました(公開リンク参照)。今回、80億パラメータ(8B)、700億パラメータ(70B)の規模に対し、それぞれベース(base)モデルと指示チューニング(instruct)済みモデル、合計4種類のモデルを公開しました。本モデルはLlama 3.1ライセンスで公開されているため、商用利用だけでなく、他のモデルの改良などにも利用できます。
Science Tokyoと産総研の研究チームは、英語の言語理解・生成や対話で高い能力を持つ大規模言語モデル(米Meta社 Llama 3.1)の能力をほぼ落とさずに、日本語の言語理解・生成や対話能力を高めることに成功しました。特に、80億パラメータのモデルは、同規模の既存の大規模言語モデルよりも高い日本語理解・生成能力を有することが確認されました。日本語と英語の両方において高い性能を達成するため、研究チームは学習に用いる日本語ウェブコーパスの大規模化・高品質化や、指示チューニングデータの自動生成などに取り組みました。
公開リンク: https://swallow-llm.github.io/llama3.1-swallow.ja.html
プレスリリースの詳細はこちら
https://www.aist.go.jp/aist_j/press_release/pr2024/pr20241008_2/pr20241008_2.html
【ポイント】
○大規模言語モデルLlama 3.1の英語の能力を維持しながら、日本語の能力を強化
○Llama 3.1ライセンスにより、商用利用だけでなく他のモデルの改良にも利用可能
○高度な日本語処理が求められる多くの場面で、生成AI技術の利活用を推進
【概要】
東京科学大学(Science Tokyo) 情報理工学院 情報工学系の岡崎直観教授と横田理央教授らの研究チームと国立研究開発法人 産業技術総合研究所(産総研)は、日本語能力に優れた大規模言語モデル(「Swallow」シリーズの最新版である「Llama 3.1 Swallow」を公開しました(公開リンク参照)。今回、80億パラメータ(8B)、700億パラメータ(70B)の規模に対し、それぞれベース(base)モデルと指示チューニング(instruct)済みモデル、合計4種類のモデルを公開しました。本モデルはLlama 3.1ライセンスで公開されているため、商用利用だけでなく、他のモデルの改良などにも利用できます。
Science Tokyoと産総研の研究チームは、英語の言語理解・生成や対話で高い能力を持つ大規模言語モデル(米Meta社 Llama 3.1)の能力をほぼ落とさずに、日本語の言語理解・生成や対話能力を高めることに成功しました。特に、80億パラメータのモデルは、同規模の既存の大規模言語モデルよりも高い日本語理解・生成能力を有することが確認されました。日本語と英語の両方において高い性能を達成するため、研究チームは学習に用いる日本語ウェブコーパスの大規模化・高品質化や、指示チューニングデータの自動生成などに取り組みました。
公開リンク: https://swallow-llm.github.io/llama3.1-swallow.ja.html
プレスリリースの詳細はこちら
https://www.aist.go.jp/aist_j/press_release/pr2024/pr20241008_2/pr20241008_2.html