データ分析ツール業界には、長年解消できないジレンマが存在しています。「簡単さ」と「高度な分析」の両立です。
GUIベースのBIツールは、「誰でも簡単に使える」ことを重視します。ドラッグ&ドロップで表やグラフを作成でき、データ分析の敷居を大きく下げることに成功しました。しかし、高度な分析やカスタマイズには制限があり、ある程度以上の深い分析は困難です。
一方、Data Workspace (注1) に代表されるコードベースの分析環境では、SQLやPythonを駆使することで、「高度な分析を柔軟に行う」ことができます。しかし、専門的なスキルが必要となるため、誰もが気軽に使うことは難しいのが現状です。
しかし、最近のAIの進化が、この状況を大きく変える可能性を示しています。
最新のAIは、自然言語でコードを生成し、そのコードの意図を理解して説明することができます。さらに、ユーザーとの対話を通じて意図を理解し、適切な支援を提供できます。この特性を活かせば、「簡単に使える」と「高度な分析ができる」の両立が可能になるかもしれません。
ただし、そこにはまだ、重要な問いが残ります。AIをどのように組み込むべきでしょうか?完全な自動化を目指すべきか、それとも人間の理解と成長を支援する方向を目指すべきか。
この問いに対する一つの答えとして、「Data WorkspaceとAIの組み合わせ」というアプローチをさまざまなツールが提起しています。その現状についてこの記事では紹介してみようと思います。
Code x AIのアプローチの重要性: 人とシステムの共通言語
AIの活用方法を考えるとき、コードを介在させるアプローチには特別な強みがあります。
最新のAIは、世界中のコードベースを学習データとして活用しています。GitHubなどのプラットフォームには膨大な量の実用的なコードが蓄積されており、AIはそこから「実際に動く」パターンを学習しています。そのため、AIが最も得意とする領域の一つが、コードの理解と生成にあります。
しかし、コードベースのアプローチの価値は、それだけにとどまりません。
AIが生成したコードは、単なるテキスト以上の価値があります。それは「実行可能」な命令であり、データやシステムと直接やり取りすることができます。例えば、データの抽出や加工、可視化までを一気に行うコードを生成し、その場で実行して結果を確認できます。
さらに重要なのは、コードがAIと人間の「共通言語」として機能することです。生成されたコードは、ブラックボックスではありません。人間が読んで理解し、必要に応じて修正することができます。また、その修正をAIに説明することで、より適切な提案を得ることもできます。この透明性が、AIと人間の効果的な協働を可能にしています。
実際、GitHub Copilotの成功は、このアプローチの有効性を証明しています。Copilotは単にコードを提案するだけでなく、開発者の意図を理解し、それを実現するための具体的な実装を提示します。開発者はその提案を理解し、必要に応じて調整することで、より良い成果物を作り上げていきます。
また、このアプローチは学習効果も高めます。最初は生成されたコードをそのまま使用するユーザーでも、徐々にコードの内容を理解し、自分で修正できるようになっていきます。AIは説明役も果たすため、実践的な学習が自然に進むのです。
これらの特性を考えると、AIを活用するベストな方法の一つは、コードベースのプラットフォームに組み込むことだと考えられます。そこでは、AIは単なる自動化ツールではなく、人間の理解と成長を支援しながら、高度な分析を可能にする「パートナー」として機能するでしょう。
Data分析 x AI の二つの方向性
では、この考え方をデータ分析の文脈で見たとき、どのような可能性が開けるのでしょうか。
データ分析へのAIの導入には、大きく分けて二つのアプローチが存在します。
Self-service BI × AI
一つ目は、従来のSelf-service BIツールにAIを組み込むアプローチです。
「売上の推移を教えて」「先月の部門別利益を円グラフで表示して」といった自然言語での要求に対して、AIが適切なチャートを自動生成します。直感的で、誰でもすぐに使えることが特徴です。
しかし、このアプローチには重要な課題があります:
ブラックボックス化
データの処理過程が見えない
結果が正しいかどうかの判断が難しい
限定的なカスタマイズ性
複雑な分析要求への対応が困難
既定の機能以外の拡張が難しい
Data Workspace × AI
もう一つは、Data WorkspaceにAIを組み込むアプローチです。
ここでは、AIはコードと説明を組み合わせながら、ユーザーの分析作業を支援します。重要な特徴は以下の点です:
処理過程の透明性
生成されたコードを確認できる
データの処理手順が明確
異常値や特殊なケースへの対処が可能
柔軟なカスタマイズ
コードの修正が可能
独自の処理の追加が容易
高度な分析への拡張性
先に見たCode x AIアプローチの利点は、このData Workspaceの文脈で特に力を発揮します。AIが生成したものを単純に「消費」するだけでなく、コードがAIと人間の「共通言語」として機能することで、人が分析のプロセスに介入して「協働」することができます。
Data Workspace x AI によるデータDriven組織の構築
Data Workspace x AIによるAIと人の新しい関係性は、データDrivenな組織を考える上で、新たな示唆を与えてくれます。
簡単さと高度さの共存
Data Workspaceでは、複雑な集計や高度な分析も、すべてコードとして表現できます。この自由度の高さにより、難しい分析要件でも対応が可能です。そして、AIとの自然な対話を通じて、テクニカルでないユーザーでもこうした高度なコードを生成し、活用できるようになります。これまでの「簡単」か「高度」かというトレードオフではない、新しい可能性が開かれています。
学習
テクニカルなスキルを持ったユーザーでも、全てを知っている、若しくは覚えているわけではありません。これらのユーザーがAIを使って生成することで、新たなHowを学ぶ/思い出すことができます。また、テクニカルなスキルを持たないユーザーも、より深く学びたい時に、成果物のコードが見えることは、強い学習の手助けになります。
共創的なサイクル
透明性の高いData Workspace環境では、人間とAIの効果的な共創が生まれます。AIが生成したコードを人間が検証し、必要な改修をしつつ意図を反映し、改善点を指摘する。その知見をAIがコンテキストに反映し、より適切な提案をする。これらを繰り返し続けることで、分析の内容をどんどんブラッシュアップしていくことができます。
このように、Data WorkspaceとAIの組み合わせは、人間とAIが互いの強みを活かした新しいパートナーシップを実現しようとしています。
組織ごとに最適なデータ分析の形は異なります。組織のデータの種類、ドメイン、メンバーのリテラシー、様々な要因がデータ分析の形に影響を与えます。しかし、上記のような強い特徴から、このようなData WorkspaceにおけるAIとのパートナーシップが、データ分析が全体に根付いた、データDrivenな組織作りにおけるデファクトの一つの形になっていくだろう、と私たちは予想しています。
具体例:Data Workspace × AI の最新動向
実際に、多くのプロダクトが、AIとの統合を進めています。それぞれが特徴的なアプローチで、新しいデータ分析の形を模索しています。ここではその一部を紹介します。
Deepnote × AI
ノートブック全体のコンテキストを理解し、インテリジェントな補完と説明を提供
Hex × AI
自然言語からのSQL,Python生成に加え、データの解釈までAIがサポート
Querybook × AI
クエリの生成から最適化まで、SQLに特化したAIアシスタント機能を実装
PopSQL × AI
チーム全体でのクエリ作成をAIが支援し、ナレッジの共有を促進
Codatum × AI
また、(もちろん!)私たちのプロダクトCodatumにもデータ分析のパートナーとなる強力なAI Assistantが備わっています。
汎用的な対話が可能なAssistantでありながら、NotebookやCatalogと密接に連携しているため、分析者が思い描いたような流れで自然に分析を進めることができます。簡単で一般的な質問(例:日付のフォーマットの仕方)から、データの文脈(該当のテーブルがどのようなスキーマを持つか、等)を必要とする複雑な質問(例:Quarterlyでの比較や加重平均の計算など)まで、様々な利用ができます。
また、質問も解答にもblockを含めることができるため、多様なやり取りが可能です。質問文の中にSlash CommandでSQLやテーブルへの参照を埋め込んだり、AIからの解答自体がクエリを実行したり、チャートをレンダリングしたりすることができます。
これらの機能については、また別の機会に詳しくお伝えします!
最後に
本記事では、Dataworkspace x AIによる、コードを介した人とAIの新しい関係の形、若しくは新しいデータDriven組織の形、についてお話ししました。現状だとどのプロダクトも、まだまだこのような理想状態に到達しているとは言い難いと思いますが、プロダクトそのものの進化、またはAIの進化によって、近い将来このような未来に繋がってくると考えています。
Codatumは、本記事で述べてきたような、AIと人間の新しいパートナーシップにつながるデータ分析の形を目指しています。ぜひ一度、CodatumのWebサイトにアクセスして、その可能性を体験してみてください。
(注1) Data Workspaceというのは複数定義が存在するようです。その中でも、
1. データの準備、モデリング、分析などさまざまなデータへの処理を「統合的に」管理できるもの、という意味のData Workspace
2. 「テクニカルなユーザー」が高度で複雑なデータ作業を行うだけでなく、その結果の分析や共有までも可能にしていくもの、という意味のData Workspace
の2つの意味で用いられることが多いようです。Modern Data Infrastructure(Stack) の文脈では後者の意味合いで用いられることが多いため、本記事では後者の意味で「Data Workspace」という言葉を使っています。
参考:
a16z.com: Emerging Architectures for Modern Data Infrastructure