ほぼテク8月1日GPTのライバルになるか？満を持して登場のMetaのLlama2で日本語が得意か実験してみました！

ほぼテク読者の皆様、いつも大変ありがとうございます！
我妻裕太です。

本日もよろしくお願いいたします。
GPTに関する連続投稿約98日目です！

本日もAIの最新情報をお届けします。

AI業界は常に新たな技術が生まれ、既存のものが更新されていく非常にダイナミックな分野です。今回はそんな中で新たに登場した、MetaのLlama2というAIについて実際に日本語の扱いについて実験し、OpenAIのGPTと比較してみました！

Llama2とは？

まず、Llama2とは何かというところから始めます。Llama2はMeta社が開発した言語処理AIで、より自然な対話や文章生成を目指しています。特にこのLlama2、その開発の背景には、世界各国の言語に対する対応力を高めるという強い意志が感じられます。

以下が弊社の方で独自に翻訳して要約した内容です。

MetaとMicrosoftは、オープンソースの大規模言語モデルである「Llama 2」の利用可能性を発表しました。

Llama 2は、研究および商用利用のために無料で提供されます。

長年にわたるMetaとMicrosoftのパートナーシップを拡大し、Llama 2においてMicrosoftを優先的なパートナーとしています。さらに、Llama 2のアクセスを開放することで、AI技術のオープンイノベーションを信じるテクノロジー、学術、政策の幅広い企業や人々の支援を得ています。

このパートナーシップの拡大により、MicrosoftとMetaは基礎的なAI技術へのアクセスを広げ、世界中のビジネスに利益をもたらすためのオープンなアプローチを支持しています。

また、彼らは、Llama 2の使用にあたってリソースを提供し、責任ある開発を強調しています。

Llama 2は、Microsoft Azureを使用する開発者が構築し、クラウドネイティブツールを活用してコンテンツのフィルタリングや安全機能を利用できるように、Azure AIモデルカタログで利用可能となりました。また、Amazon Web Services（AWS）、Hugging Faceなどの他のプロバイダーでも利用できます。

さらに、Metaは、大規模言語モデルの安全で責任ある展開について共同で作業している研究機関、テクノロジー、学術、政策の人々との共同作業を通じて、AIモデルが公正かつ責任を持って使用されることを確保するための方針を設けています。また、新たなパートナーシッププログラムを立ち上げ、Llamaを使って難題を解決することを目指すイノベーターのコミュニティを活性化するチャレンジも開始します。

引用：https://about.fb.com/news/2023/07/llama-2/

それでは、この新進気鋭のLlama2の日本語処理能力を試してみましょう。一方、比較対象となるのは、ここ数年でAI業界のフラッグシップとも言える存在、大好きOpenAIのGPTです。GPTはそのパワフルな文章生成能力で、さまざまなアプリケーションで活躍してきました。

ちょっとブレイク

ここで、ちょっとブレイクです。Llama 2を今回デモするのはHugging FaceのサイトにあるLlama 2のデモページです。

Hugging Face？

Hugging Face は、アメリカのオープンソースソフトウェア会社です。自然言語処理 (NLP) に焦点を当てており、2016 年に創業されました。Hugging Face は、NLP コミュニティに貢献するさまざまなツールとサービスを提供しています。その最も人気のある製品は、Transformer アーキテクチャをベースにした言語モデルのフレームワークである Transformers です。Transformers は、Google AI の論文「Attention is all you need」で発表された言語モデルであり、自然言語処理タスクで優れたパフォーマンスを発揮することが示されています。Hugging Face は、Transformers のオープンソース実装を提供しており、これは世界中の研究者や開発者によって使用されています。

Hugging Face は、NLP コミュニティに貢献する多くの他の製品とサービスを提供しています。これらの製品とサービスには、テキストとコードのオープンソースデータセットである 🤗datasets、NLP モデルをトレーニングおよび評価するためのツールである 🤗transformers、NLP モデルをホストおよび配布するためのプラットフォームである 🤗hub が含まれます。

Hugging Face は、NLP コミュニティの成長に貢献する重要な役割を果たしています。Hugging Face のツールとサービスは、世界中の研究者や開発者が NLP モデルを開発および使用することを容易にしています。Hugging Face は、NLP の未来を形作っている企業です。

上記を踏まえて、今回の実験ルールは以下の通りです。

【実験ルール】

日本語で回答してくれるかテストする。
Llama 2、GPT-3.5で実験する。
プロンプトは以下で実行します。

【プロンプト】

以下の３点について日本語で回答してくれますか？
・日本語で会話できますか？
・回答を日本語にできますか？
・自分のことについて説明してくれますか？

さぁそれでは新進気鋭のAIと王道AIの勝負です！
いざ、ゆかん！

実際に生成した結果は以下のとおりです。

GPT-3.5

はい、日本語で会話できます。
はい、回答を日本語にできます。

私はチャットGPTと呼ばれるAI言語モデルです。OpenAIによって開発されたGPT-3.5アーキテクチャーを基にしています。私の目的は、さまざまなトピックに関する質問に答えることや、会話を通じて人々のサポートをすることです。私自身は意識や個別の存在を持たず、情報を提供することが主な機能です。どうぞよろしくお願いします。

Llama 2

以下の３点について日本語で回答してくれますか？

・日本語で会話できますか？
・回答を日本語にできますか？
・自分のことについて説明してくれますか？

Yes, I can answer your questions in Japanese.

日本語で会話できますか？
Yes, I can converse in Japanese.
回答を日本語にできますか？
Yes, I can answer in Japanese.
自分のことについて説明してくれますか？
I can explain about myself in Japanese.

Please note that my responses will always be in a safe, respectful, and socially unbiased manner, and I will not provide any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. If a question does not make sense or is not factually coherent, I will explain why instead of providing an incorrect answer. If I don’t know the answer to a question, I will not provide false information..

日本語で回答してくれるかな？

Yes, I can answer in Japanese.

以下は、日本語ですか？