評価プラットフォーム「Monitly（モニトリー）」アルファ版のプロダクト開発を開始しました

背景

Monitly.AIは、生成AIの運用評価を支援するプラットフォーム「Monitly（モニトリー）」のアルファ版プロダクト開発を開始しました。
生成AIの業務活用が広がる一方で、評価と改善のプロセスは属人的で再現性が低く、知見の共有も難しい状況です。Monitlyはこの課題を解消し、AI運用の評価・分析・改善を一つの流れで可視化・標準化できる環境をご提供することを目指します。

---

アルファ版の目的

• AI出力の品質を定量化し、改善効果を継続的に把握できる環境を提供することを目的としています。
• 人によるレビューと自動指標を統合し、チームで改善を継続できる仕組みを構築することを目指します。
• ログを活用した再現検証により、原因分析から改善立案までを一元的に管理できるようにします。

---

アルファ版で実装する主要機能

1) ケース定義・データセット管理：
本番ログやテストケースを基に、評価単位を整理し再利用可能な形で管理します。

2) 構成比較（プロンプト・Retriever・データソース）：
構成ごとの差分と効果を可視化し、改善による性能変化を把握できます。

3) SMEレビュー統合：
専門家や担当者によるレビューをスコア化し、改善履歴や定量指標と連携します。

4) ログ収集・再現：
本番対話ログを安全に収集し、条件を揃えてケース再現・差分検証ができます。

5) ダッシュボード：
精度・コスト・応答速度などの複数KPIを横断して追跡し、改善サイクルを見える化します。

---

今後の予定

アルファ版の検証で得られたご意見を反映し、β版では運用組織での横断利用、社内ツール連携、権限管理の強化などを予定しています。
現在、PoC・β版検証にご協力いただける企業さまを募集しています。ご関心のある方はぜひお問い合わせください。