WebFuse

webfuse × AIエージェントでWeb体験が進化

webfuseは、既存のWebサービスのコードを変更することなく、Webの機能・体験を拡張できるプラットフォームです。プロキシ上で既存のWebサービスやアプリケーションを仮想化し、その「仮想Webセッション」上に「エクステンション」と呼ばれるさまざまな機能を追加できます。

この「エクステンション」により、ユーザーインターフェイスの変更、ビデオチャットやコブラウズ画面共有などといったWeb上で行える機能を既存のWebサービスを変更することなく実装可能となりますが、特にAIエージェントとの連携により、AIを“頭脳”として活用し、webfuse上でWeb操作の自動化やユーザー支援を行うことが可能になります。

webfuseは ElevenLabs / OpenAI / Google Gemini / Azure AI などの
生成AIやAPIと接続するハブとして機能

API連携や外部データ挿入にも対応

JavaScriptで柔軟に拡張開発可能

デプロイはWebfuseサーバーで管理

クライアントサイドに配布不要

ユーザー単位で制御可能

BYODでも操作記録が可能

AIは”頭脳”、webfuseは”目”と”手”になる

webfuse × AIエージェントにより、AIが“頭脳”、Webfuseが“目”と“手”の役割を担うことで、Web操作体験を新たなフェーズへ進化させることができます。
従来のチャットボットのようにテキストだけで対応するのではなく、実際の画面を理解したうえでの視覚的なサポートやガイド、さらに画面コンテキストに基づいた自動操作を行うことで、既存のWeb上で行われている業務プロセスを大きく効率化・高度化します。

このような革新的な機能が、仮想化されたWebセッション上で実装できるため、現在稼働しているWebサイト・アプリケーションのコードの書き換えは不要、OSやブラウザなどの制限も無く、Webブラウザ上で動作するあらゆるサービスに対して後付けで導入することが可能です。

AIに「画面コンテキスト（目）」を与える

webfuse eye

webfuseと連携することで、AIエージェントはWeb画面の情報（URL、DOM構造、入力状態など）を取得・参照できるようになります。
その情報を基に、画面コンテキストに紐づいた具体的な理解を行うことが可能です。例えば、ユーザーから

このフォームの書き方を教えて
この画面で次に何をすればよい？

といった質問に対して、リアルタイムで見ている画面内容を踏まえた適切な回答や案内を提示できます。

AIに「画面操作（手）」を与える

webfuse hand

webfuseと連携することで、AIエージェントは単なるAIチャットボットにとどまらず、Web画面内で具体的なアクションを行うことができます。例えば、

入力欄をハイライトしてユーザーの視線を誘導
ボタンやリンクを指し示し、操作ガイドを画面上に表示
ケースによってはクリックやフォーム入力などの操作を自動実行

このようにWeb上で視覚的に操作のサポートを行ったり、ユーザーの替わりに入力や操作を自動化することが可能になります。

音声AIエージェントの導入

webfuse × AIエージェント

インストール無しで展開

Webfuse を使って音声エージェントを即座に起動できます。
クライアント側のインストールは不要です。

クロスサイト・インラインフレームにも対応

iframeやWebサイトのページ遷移の境界を超えて、読み取り・書き込み・操作が可能

強化されたWebサイトの文脈化

Webサイトのテキスト情報＋視覚的な情報をスナップショットすることで、Webサイトの文脈をより理解してAIが理解しやすくします。

DOMダウンサンプリング

最先端のDOM（Document Object Model）スナップショットを通じて、LLM にWebサイトの構造や情報を提供します。

Web上で機能する音声AIエージェントのデモ動画

webfuseと連携した音声AIエージェントがチャットボックス形式のコンシェルジュとして、
自律的に対話し、ページ遷移やサイト遷移を行うデモ動画となります。

このデモ動画では、視覚的に分かりやすくお伝えするため、テキスト入力で指示を出していますが、基本的には音声入力を想定しており、
スマートフォンなどのモバイル端末でもスムーズなコミュケーションを実現します。

※クリックして再生

webfuse × AIエージェントのユースケース

WebサイトにAIコンシェルジュ

テキストまたは音声で指示ができる「AIコンシェルジュ」として、企業やイベントのWebサイトに常駐させることが可能です。
リアルタイムでユーザーが見ている画面と指示を理解することで、既存のチャットボットでは不可能だった画面コンテキストに沿ったサポートや、ユーザーが自分で入力する必要がないものについては、自動入力したり、画面遷移したりといった操作の自動化など、実際の人間が行うようなサポートに近づけることが可能になります。

Webで行う作業のAI自動化

専用のwebfuseのエクステンションやAIへのプロンプトを構築することで、企業内で使用するSaaSやWebアプリケーションで行う作業の自動化を構築することも可能です。
PDFなどのオンラインで閲覧できるドキュメントはwebfuseを経由してAIが内容を理解し、それに伴う入力作業も自動化できるため、これまで人が手動で行ってきた作業の大幅な効率化を実現できる可能性があります。