CAFE

汎用AI

AIオブザーバビリティ・評価

cafe-ai.deCAFEは、RAGパイプラインやエージェント、LLMチェーンなどの複合AIシステムを、反復実行とp値で評価する実験計画法プラットフォームです。

サイトを開く ↗

AlphaMoatによると、最新のデータ月のCAFE（cafe-ai.de）の月間訪問数は0で、トラフィックデータのある18,351件のAIサイト中0位、汎用AIでは2,493件中0位です。

月間訪問数

総合順位（18,351件中）

汎用AI内の順位（2,493件中）

最大市場

CAFEとは

製品概要

CAFEは、RAGパイプライン、エージェント、LLMチェーンを含む複合AIシステムを評価するための、オープンソースでApache-2.0の実験計画法プラットフォームです。ユーザーは変化させたい因子を宣言し、反復を伴う構成を実行し、p値を用いて、実際に品質を左右するコンポーネントへ品質を帰属させます。

主な機能

完全要因計画または一部実施要因計画を、解像度とエイリアス報告とともに自動的に展開します。すべての構成を複数回実行し、実際の効果を実行ごとのLLMノイズから分離します。チェックポイントを書き出すため、中断した研究は最初からやり直すのではなく再開します。累積リンク混合モデルのような、評価基準に合った統計手法を用います。LiteLLMを通じてあらゆるLLMプロバイダーで動作します。評価者間信頼性を伴う人手評価のワークフローに対応します。