チームでどれぐらい AI を利用しているか可視化する「tosage」
#SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。
本記事は、チームのAIツール利用状況を可視化するOSS「tosage」を紹介し、データに基づいた生産性向上やコスト管理を支援するものです。
はじめに
近年、Cursor や Vertex AI、Amazon Bedrock といった AI を活用した開発支援ツールが急速に普及し、多くの開発現場で利用されています。
これらのツールは開発者の生産性を飛躍的に向上させる可能性を秘めていますが、一方で、チームや部署単位で「どのAIツールが」「どれくらい」使われているのかを正確に把握することは難しいという新たな課題も生まれています。
そこで私たちは、この課題を解決するために、チームの AI 利用状況を簡単に可視化できるツール「tosage」を開発しました。
tosageとは
tosageは、主要な AI 開発ツールの利用状況（トークン量）を収集し、モニタリングシステムである Prometheus に送信するためのデーモン常駐型アプリケーションです。
バックグラウンドで継続的に動作し、各ツールの利用データを集計します。
対応サービス
現在、tosage は以下のサービスのトークン量収集に対応しています。
- Cursor
- Claude Code
- Google Cloud Vertex AI
- Amazon Bedrock
これらのツールから収集した利用状況データを一元的に管理できます。
シンプルなアーキテクチャ
tosage の大きな特徴は、そのシンプルなアーキテクチャにあります。
一般的に、短命なジョブのメトリクスをPrometheusに送信する際にはPushGatewayという中間コンポーネントが利用されますが、tosage はこれを必要としません。
ローカルで動作するデーモンが、Prometheus の Remote Write エンドポイントに対して直接メトリクスを送信する仕組みを採用しています。
これにより、監視システムの構成を複雑にすることなく、リアルタイムに近いデータ収集を実現しています。
Grafana による簡単な可可視化
tosage で収集したデータは、Grafana を使ってダッシュボードで可視化することを想定しています。
利用状況を直感的に把握できるよう、すぐに使えるGrafanaダッシュボードのテンプレートも提供しています。
このダッシュボードを利用することで、ユーザーごとやAIモデルごとの利用量、利用傾向などを一目で確認でき、データに基づいた分析が可能になります。
手軽な導入
下記のコマンドだけでインストールができます。
tosage はメトリクスを Prometheus に送信します。
Prometheus 環境がない方は Grafana Cloud を利用することをオススメします。
Grafana Cloud には、個人や小規模チームでの利用に十分な無料プランが用意されています。
tosage と Grafana Cloud の無料プランを組み合わせることで、追加のインフラコストをかけることなく、AI 利用状況の可視化環境を迅速に構築できます。（not PR）
プライバシー
送信されるメトリクスラベルには host(hostname) が付与されます。
しかしホスト名で個人が特定できてしまう場合、設定で好きな host ラベルを指定することができます。
とある日の弊チームの利用状況
この日はチームでのワーキンググループを実施した日ですが、ある人は Cursor を利用し、ある人は Claude Code、Bedrock など特色が見れて楽しいです。
この日は2億トークンも利用したようです。
会社で AI ツールを契約したけど、本当に使われているのか、契約の見直しにも利用できるかと思います。
まとめ
本記事では、チームのAI利用状況を可視化するツール「tosage」を紹介しました。
この tosage の全てのコード計 15,000行を vibe coding で作成しています。
tosage を導入することで、どの AI ツールがチームの生産性向上に貢献しているのかをデータに基づいて判断したり、将来的なコスト管理に役立てたりできます。
tosage はオープンソースとして公開していますので、AI ツールを積極的に活用している多くの開発チームで、ぜひお役立ていただければ幸いです。
バグや、機能追加など、AI を利用した PR も歓迎しています。
SRG では一緒に働く仲間を募集しています。
ご興味ありましたらぜひこちらからご連絡ください。