過去のバトル · 2023-12-14 UTC
AI Data Analysts 対決 — 2023年12月14日
AI Data Analystsカテゴリーから。 5名の参戦者に16票が投じられました。 Model MLが王座に。
最終結果
ラインナップ
参戦ツール
このバトルに参戦したすべてのツールの紹介。最終スコア順。
"Model MLは、金融サービスチーム向けのAIを活用したプラットフォームで、分析者の研究、調査、M&Aワークフローの高速化を支援します。Model MLは、ユーザーがツールを切り替えることなく、元データから構造化された洞察に至る道筋を提供します。これは、文書、データ、およびAIモデルの統合されたワークスペースを提供するからです。 プラットフォームは、業界分析、文書のレビュー、比較検索、レポート作成のようなタスクをサポートし、財務利用例向けにカスタマイズされたAIアシスタントを備えている。投資銀行、プライベートエクイティ、資産管理、アドバイザリー会社への展開を目指しており、情報の大量処理が厳密な期限で必要とされる企業を対象としている。
評価基準の詳細
- 金融研究に特化したAIアシスタント
- ドキュメントのインジェクションと分析
- duediligenceとデールワークフローのサポート
- レポートとメモの作成用ツール
- デールチームの協力的なワークスペース
- 金融データソースとの統合
エクセルに特化したAIエージェント『Shortcut』は、自然言語指示からエクセルモデル、分析、レポートを構築、変更できるツールです。企業の財務専門家に向けて設計されました。特にヘッジファンド、資産管理などの企業における精度と監査可能性が速さより重要な場合に適しています。提供先の企業はヘッジファンドの一部の大規模マルチスロットルヘッジファンドに展開、日々のアクティブユーザーが数千人いることを自社がアピールしています。 ツールは2つの方法で使用できます: 独立のウェブアプリケーションとネイティブのエクセルプラグイン。ウェブアプリは、約95%の機能的相似性があると説明されています。一方、プラグインは、ユーザーの既存のエクセル環境で直接動作し、マクロ、キーボードショートカット、マクロ、および大型ファイルを含む機能で完全相似性を実現するように設計されています。ファイルは、フォーマット、式、および機能の喪失なくエクセル形式で開かれ、エクスポートできます。これにより、既存のワークフローに合成する手順を軽減できます。エンター先のCLI (ShortcutXL) は、デスクトップエクセル内で並列に複数のモデルを作成および編集できるパワー ユーザー向けに実装されています。 正確性を重視した設計がトップデザインとして提示されています。 ショートカットは、その出力をハードコードではなく式に依存したものとして主張し、入力が変化しても結果が更新され、入力変化時に破損しないようにしたいと考えています。 プロフェッショナルグレードのフォーマッティングを適用し、入力の変更により既存データを上書きしない場所に編集を挿入するように設計されており、これが一般AIスプレッドシートツールの限界です。 会社は、その正確性の主張を裏付くSpreadsheet Benchの結果と、その初年度のアナリストに対して90％の勝率で勝ったと報告されているヘッドをヘッドのチャレンジを提示しています。 トラストとオーディターの意識を第一に据え、Shortcutはすべて変更されたセルを表示し、どの値がハードコードされているかを示し、为什么。ユーザーはアクションシーケンスの任意のステップを戻す、restore、またはundoできます。Securityにまつわる事項としては、SOC 2 Type IIの合格、REST状態におけるAES-256暗号化、トランザクション中のTLS 1.3、ロールベースのアクセス制御、AIサービスの提供と零保持契約、-paid-planデータはモデルトレーニングに使用されることがない規定などがあります。 一般的なチャットボットやコピルート、クレドーなどと比べると、Shortcutはスプレッドシート作成に特化しており、ベンチマークタスクで意味ありげに高い精度を主張しています。Shortcutの差別化は、Excel-nativeオペレーション、関数駆動出力、機関財務ユーザーが必要とするアウディタビリティの機能にあります。特化のリスクは、Excel集中財務データワークにのみ焦点を絞り、広域オフィス製品性よりも厳密です。その結果、多くのパフォーマンス請求はベンダレポートベンチマークですが、検討するプロスペクティブ買主は自分のワークフローの検証に従います。
評価基準の詳細
- Native エクセル プラグインとスタンドアローンウェブアプリケーション
- ショルティXL、パワーユーザーがダークターミナル内でデスクトップのエクセルで並列にモデルを構築および編集するために設計された
- 式駆動により、動的に更新される出力
- セルレベルでの変更履歴管理のための戻し
- /復元/
- 取消機能
Together Open Data Scientistは、GitHubからリリースされたオープンソースのデータ分析エージェントである。Together AIによって開発され、言語モデル推論ステップとコンピューティングPython コードの実行を交互に使用するReAct (Reasoning + Acting) フレームワークを採用し、データセットの探査、記述統計量の計算、モデル構築、詳細な分析レポートの作成などの、エンドツーエンドデータサイエンスタスクを実行する。 エージェントはPythonを2つのモードで実行できます。"内部"モードでは、Dockerコンテナ内部でコードをローカルに実行するため、シングル ユーザローカル開発向けです。一方、"TCI"モードではTogether Code Interpreter (TCI)というクラウドサンドボックスに実行をオフロードします。TCIはThroughgether AI API経由でアクセスでき、ユーザーはデータディレクトリの自動インジェクション、論理演算の最大数の制限、およびエージェントを動かす下位互換モデルを選択できます。この指定されたモデルはDeepSeek-V3でデフォルトですが、Throughgetherプラットフォームを介して使用可能なLLaマおよびその他のモデルを選択できます。 Together Open Data Scientistはpip安装のパッケージとして提供され、コマンドラインインターフェイスとPython APIを公開しています。CLIは、マークダウン形式の分析レポートを生成するために`-write-report`オプション、全体のクエリーおよび実行トレースを記録するために`-save-trace`オプション、およびセッションIDを使用したセッション再利用をサポートしています。Python APIの中心は、自然言語タスクを受け取って結果を返すReActDataScienceAgentクラスです。 このプログラムは明示的に実験的で、全てのコードと分析は AI により生成されますため、出力に誤りまたは最適なアプローチと異なる可能性があります。 そのため、実用的な決定には使用しないようお勧めであり、探索や学習のための出発点としましょう。そして、ビジネス又は研究上の重要なアプリケーションでは、特に人の確認と検証が必要です。 コミュニティによるオープンソースのデータサイエンティストツール、Together Open Data Scientistは、商用のAIデータ分析アシスタントやChatGPTのAdvanced Data Analysisやノートブックコピログに比べて、Togetherのエコシステム内でモデル無関係、完全オープンソースであり、またローカルに自己ホスティングすることも可能で、また、複数ステップのコード実行を自律で組み合わせて最終的なリポートを作成することで区別されています。
評価基準の詳細
- ReAct推論と行動エージェントのループ
- 2つの実行モード: ローカルのDockerまたはTogether Code Interpreterクラウド
- 分析用データディレクトリの自動アップロード
- Markdownレポートの生成に--write-reportを使用する
- モデルと最大推論回数の構成可能
- コマンドラインインターフェースとプログラム上のPython API
Edexiaは、国際バカロレア(IB)英語教科書を中心にオーストラリアの高等教育枠組みであるVCE、HSC、QCE、WACE等に特化した、AIを用いられた評価およびフィードバックアシスタントです。エッセイスコーリングではなく、関連する評価基準、学位記述、研究設計要件を事前にロードし、現実の評価基準と継続的にトレーニングおよびバリデーションを実施し、教師経験者によってサポートされています。 Edexiaの核となる考え方は、個々の教師や学部が実際に評価する方法に基づいて、AI評価を調整することである。教師はブラインド評価を実施し、判定の調整を行う会議を実施し、システムがこのプロセスから学ぶことで、初期評価結果とフィードバックが学区の基準と一致するようになるというものである。会社によると、セントベルナーズカレッジでの579本の論文についての試験で、Edexiaの結果は教師の評価と完全に一致した結果は81.2%で、その評価の1つの範囲内に収まった結果は98.3%であったという。 教師の権限を維持することが主な設計原則であり、すべてのAIが生成したコメントは、学生に届く前に編集、書き直し、または削除されることができます。 教師はフィードバックに個人なボイスノートを付け、テストの結果はすべて人間がレビューし、リリースするまで保持されるteacher-reviewモードがあります。 これによってEdexiaはAIを書記およびアシスタントとして位置付けられ、詳細なフィードバックを提案し、しかし教師は調整するというロールを与えるのではなく、自律的な評価者として機能しないことを意味します。 教室ワークフロー機能を備えたプラットフォームでは、学生のライティングプロセスの再生（Paste、Tab-Off、AI-確率スコアの表示など）、各学生の強みと次のステップに関するクロスサブミッションレポート、検索可能な質問と誘導文庫、ブラインドグレードとモデレーション機能（可視化されたスコア分布など）、そしてスキャンレスポンス用の筆跡認識などの機能が組み込まれます。他にもIBの研究リスト上の人々の作品につき、テーマ、著者の意図、キーワードなどを含む各テキストごとの知識ベースが構築されます。 "は学生たちに、速い論文フィードバック－リライトサイクルを実現することで、夜の最初の１時間を利用して論文の原稿を執筆し即座にフィードバックを受け、修正しやすくすることで、そのような教育を提供しています。教師や教育機関側では、点検や調整を通じて評価の均一性を向上させ、時間的消耗を軽減することに重点を置いている。 この会社はプライバシやデータの管理を重視しています。トレーニングデータは個人または機関のアカウントに区切られており、アカウントのマネージャの知的財産となっており、そのデータはEdexiaのモデルのトレーニングに使用されません。データは匿名化され、豪州に所在するサーバーに保存されており、この会社はSOC 2 Type II認定、ISO 27001とST4S認定を保持しています。 ここまでのサイトのキャプチャの時点でのEdexiaの提供は教授や学生に無料で、ウェイトリストの場合、Nビジネスのような特殊な教科のためではなくIBと豪州英語のような強く作られたスコープで提供されます。
評価基準の詳細
- IBを基調とした評価基準と評価基準の教育者による検証
- 教育者モードでは、すべてのAI生成コメントが編集、書き直し、削除を含むため
- AIによる記述プロセスの再生とAIによる可能性の高い検出
- 盲点評価、モデレーション、カリバレーションの分析
- 検索できる質問・刺激ライブラリ
- 手書き入力のスキャナードアの記述
Anamapは、製品および成長チーム向けに構築されたAI分析ツールで、説明と決定が必要なより多くのダッシュボードよりも分析に集中できます。主な機能は、Cartosがチームのウェブおよび製品分析と接続し、ユーザージャーニーの各ステップ（獲得、活性化、転換、維持）で意味のある変化を特定し、決定に役立つ分析のパッケージを作成します。 通常は別のグラフまたは不確かな要約が提示されるのではなく、各Cartosの調査は、構造化された3つの発行品で実行されます：変更された側面（どのメトリック、セグメント、チャネル、ジャーニーステップがどれが変化し、そのビジネスアウトカム）、おそらくそれの原因（裏付けられた証拠で裏付けられた説明、その中にはコンペティング仮説と不確実なデータの場合の免責事項）、そして、発見と直接結びついた推奨される次の動作で構成されます。結果は、チームがスラック、Eメール、ウェブアプリに簡単に統一することができる共有可能な報告書として提示されます。 ツールはGA4またはAmplitudeをデータソースとして接続し、Slack、Eメール、ウェブアプリで結果を実現します。Anamapは、製品およびウェブサイトのパフォーマンスを説明する必要があるが、分析員の追加の頭数を容易に義務つけられない組織のために立場を定めています。創業者、成長チーム、製品チーム、削減されるデータチームでは、各質問が同じオーバーブックされたアナリストに着地するためです。 Anamapの主なプレゼンの一つの部分は、続きが続いていくコンテクストです。一般的なチャットボットのようにChatGPTやClaudeはデータをエクスポートして再度の説明を必要とするのに対して、Cartosは「企業メモリ」(KPIの定義、リリースに投入されたもの、実験が動いた、チームが前々から決定したことなど)を保持する設計で実行されています。目標は、以前のコンテクストを建前しながら調査を実行し、最後に関連する次の動作でなければなりません。 価格設定は、チームではなく座席単位になっているとおり、無制限のユーザーと座席単位の料金なし、プラスフィリヤーで1つのリアルな変化を調査するための無料トライアルが実行されています。
評価基準の詳細
- Cartos AI分析家が製品およびウェブ分析を調査します。
- GA4およびAmplitudeデータ接続
- 獲得、活性化、転換、維持の各ステップで意味のある変化を検出する
- 裏付けられた証拠で裏付けられた原因分析コンペティング仮説と免責事項
- おそらくそれの理由に結びついた推奨される次の動作の出力
- 永続的な企業記憶、KPI、リリース、決定