はじめてのローカルLLM
メディア統括本部 サービスリライアビリティグループ（SRG）の青山です。
#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。
本記事は、CyberAgent Group SRE Advent Calendar 2024の8日目の記事になります。
ローカルLLMとは何？というところから疑問に思ったことをまとめています。ローカルLLMの導入を検討している方の参考になれば幸いです。
ローカルLLMとはローカルLLMの使用例モデルの種類LLMにおけるハルシネーションとはRAG（Retrieval-Augmented Generation）とはローカルLLMを実際に試してみる（「Microcosm」β版）終わりに
ローカルLLMとは
ローカルLLMとは自分のコンピュータやサーバーなどローカル環境で動作させることができる大規模言語モデル（LLM）のことです。通常ChatGPTのようなLLMはクラウド上で稼働していますが、ローカルLLMには以下のような特徴があります。
- ローカル環境で実行可能 モデルをダウンロードして、自分のPCやサーバ上で動かせます。インターネットに接続せずに使えることもあります。
- プライバシーの保護 クラウドにデータを送信しないため、機密情報や個人情報を扱う際に安心です。
- カスタマイズ可能 自分の用途に合わせてモデルを微調整（ファインチューニング）したり、特定のデータでトレーニングすることが可能です。
- コストの節約 商用クラウドサービスを利用しないため、使用量に応じた課金を避けらます。ただし、高性能なハードウェアが必要な場合はそのコストがかかります。
ローカルLLMの使用例
- 個人プロジェクトでのAIアプリ開発
- 企業内のデータを使った分析やツール構築
- オフライン環境でのAI利用
導入にはある程度の技術的な知識が必要ですが、ローカルLLMはプライバシーを尊重しながら高度なAI技術を活用したい場合に有力な選択肢です。
モデルの種類
ローカルでLLM（大規模言語モデル）を構築する際に利用できる代表的なモデルには、以下のようなものがあります。
- LLaMA（Large Language Model Meta AI）: Meta（旧Facebook）が開発したモデルで、2024年4月には最新のAIモデル「Llama3」が発表されました。研究目的での利用が推奨されています。
- BERT（Bidirectional Encoder Representations from Transformers）: Googleが開発した自然言語処理のための深層学習モデルです。BERTは、言語理解タスクを実行することができ、文の意味や文脈を理解することができます。
- BLOOM:
BigScienceという協力的AI研究ワークショップによって開発されたオープンソースの多言語大規模言語モデルです。
- phi-3: Microsoftが開発したオープンソースの高性能SLM(小規模言語モデル)です。 Phi-3は、同じパラメータサイズの言語モデルよりも大幅に優れたパフォーマンスをもつと言われています。
これらのモデルは、Hugging FaceのTransformersライブラリなどを通じて簡単に利用することができます。ローカルでのデプロイメントやカスタマイズも比較的容易です。
LLMにおけるハルシネーションとは
LLM（大型言語モデル）における問題に「ハルシネーション（幻覚）」があります。これは、モデルが実際には存在しない事実や情報を生成してしまう現象を指します。これは、モデルが与えられた入力に対して高い確信を持って誤った回答を提供することを意味します。
例えばmicrosoft/Phi-3-mini-4k-instruct-gguf にフランスのクリスマスの時期のお菓子「パンデピス」のレシピについて質問をすると以下のような回答が返ってきます。
☆実際のパンデピスのレシピ例
RAG（Retrieval-Augmented Generation）とは
この「ハルシネーション（幻覚）」を回避するための手法としてRAG（Retrieval-Augmented Generation）という手法があります。
これは、生成AI（特に大規模言語モデル、LLM）に情報検索機能を組み合わせたアプローチを指します。RAGは、モデルが外部の知識ソース（例えば、データベース、ドキュメント、ウェブページなど）から情報を取得し、それを基に応答や文章生成を行う仕組みです。
ローカルLLMを実際に試してみる（「Microcosm」β版）
2024年11月にリリースしたばかりのローカルAIアプリケーション「Microcosm」β版を試してみることにしました。
日本語のマニュアルが充実しているためまったく迷うことなくインストールからモデルの設定までが完了できます。
モデル microsoft/Phi-3-mini-4k-instruct-gguf を選択して「パンデピス」について質問をすると「ハルシネーション（幻覚）」が起こります。
これを解消するため、RAGの登録を行います。右サイドのメニューからデータを登録することができます。
ディレクトリの選択も可能なため、今回はWebからいくつかレシピをPDFにしたものとWikipediaの内容をPDFにしたファイルを登録します。
インポート後に出来上がったRAGデータです。
画面からインポートしたデータの削除や編集、新規追加が可能です。
ホーム画面のサイドメニューからRAGを適用します。
同じ「パンデピス」について質問をすると、だいぶ正しい回答が得られるようになりました。
終わりに
業務上LLMを利用したいけれどクラウドにデータを送信したくない場面で利用できるローカルLLMとRAGについて簡単に調べてみました。
本記事の作成にあたり、「Microcosm」β版の画像利用およびマニュアルへのリンクを快諾していただきました株式会社ナンバーワンソリューションズ様に、心より御礼申し上げます。
SRG では一緒に働く仲間を募集しています。
ご興味ありましたらぜひこちらからご連絡ください。
