SYORIN/pdf_2_dify_workflow
0
1{2 "nbformat": 4,3 "nbformat_minor": 0,4 "metadata": {5 "colab": {6 "provenance": []7 },8 "kernelspec": {9 "name": "python3",10 "display_name": "Python 3"11 },12 "language_info": {13 "name": "python"14 }15 },16 "cells": [17 {18 "cell_type": "code",19 "execution_count": null,20 "metadata": {21 "id": "2RCxpRzpqPrB"22 },23 "outputs": [],24 "source": [25 "!pip install gradio unstructured[pdf] langchain-community\n",26 "!pip install youtube-transcript-api pytube"27 ]28 },29 {30 "cell_type": "code",31 "source": [32 "import getpass\n",33 "\n",34 "DIFY_BASE_URL = getpass.getpass(\"DIFY_BASE_URL:\")\n",35 "DIFY_API_KEY_MYWORKFLOW = getpass.getpass(\"DIFY_API_KEY_MYWORKFLOW: \")\n",36 "\n"37 ],38 "metadata": {39 "id": "iDbRDVzHqZh8"40 },41 "execution_count": null,42 "outputs": []43 },44 {45 "cell_type": "code",46 "source": [47 "import gradio as gr\n",48 "import requests\n",49 "from langchain_community.document_loaders import YoutubeLoader, UnstructuredPDFLoader, WebBaseLoader\n",50 "from langchain_community.document_loaders import OnlinePDFLoader\n",51 "import json\n",52 "\n",53 "def run_workflow(message,language='en'):\n",54 " try:\n",55 " if not message.get('text',''):\n",56 " file = message['files'][0]\n",57 " # PDFファイルをロードしてテキストを抽出\n",58 " loader = UnstructuredPDFLoader(file)\n",59 " data = loader.load()\n",60 " raw_text = data[0].page_content\n",61 " else:\n",62 " text_message = message.get('text','')\n",63 " if \"youtube.com\" in text_message or \"youtu.be\" in text_message:\n",64 " # YouTubeの場合\n",65 " loader = YoutubeLoader.from_youtube_url(\n",66 " youtube_url=text_message,\n",67 " add_video_info=True,\n",68 " language=[language],\n",69 " )\n",70 " docs = loader.load()\n",71 " raw_text = str(docs)\n",72 " elif text_message.endswith(\".pdf\"):\n",73 " # PDFの場合\n",74 " loader = OnlinePDFLoader(text_message)\n",75 " docs = loader.load()\n",76 " raw_text = docs[0].page_content\n",77 " else:\n",78 " # それ以外の場合\n",79 " loader = WebBaseLoader(text_message)\n",80 " docs = loader.load()\n",81 " raw_text = docs[0].page_content\n",82 "\n",83 "\n",84 " # APIリクエストのための入力データを準備\n",85 " inputs = {\n",86 " \"knowledge\": raw_text\n",87 " }\n",88 "\n",89 " yield raw_text, \"loading...\", {}\n",90 "\n",91 " # APIエンドポイントURL\n",92 " url = DIFY_BASE_URL + \"/workflows/run\"\n",93 "\n",94 " # APIリクエストのヘッダー\n",95 " headers = {\n",96 " \"Content-Type\": \"application/json\",\n",97 " \"Authorization\": f\"Bearer {DIFY_API_KEY_MYWORKFLOW}\"\n",98 " }\n",99 "\n",100 " # APIリクエストのデータ\n",101 " data = {\n",102 " \"inputs\": inputs,\n",103 " \"query\": \"\",\n",104 " \"response_mode\": \"streaming\",\n",105 " \"user\": \"abc_123\",\n",106 " }\n",107 "\n",108 " # APIにリクエストを送信\n",109 " response = requests.post(url, headers=headers, json=data, stream=True)\n",110 " response.raise_for_status()\n",111 "\n",112 " assistant_message = \"\"\n",113 " outputs = {}\n",114 "\n",115 " # APIレスポンスのチャンク処理\n",116 " for chunk in response.iter_lines(delimiter=b\"\\n\\n\"):\n",117 " if chunk:\n",118 " chunk_data = chunk.decode(\"utf-8\").strip()\n",119 " if chunk_data.startswith(\"data:\"):\n",120 " json_data = chunk_data[6:] # \"data: \"を取り除く\n",121 " if json_data:\n",122 " result = json.loads(json_data)\n",123 " if result.get(\"event\") == \"text_chunk\":\n",124 " answer = result.get(\"data\", \"\").get(\"text\", \"\")\n",125 " assistant_message += str(answer)\n",126 " yield raw_text, assistant_message, result.get(\"data\", \"\")\n",127 " elif result.get(\"event\") == \"workflow_finished\":\n",128 " outputs = result.get('data', \"\")\n",129 " yield raw_text, assistant_message, outputs\n",130 "\n",131 " except Exception as e:\n",132 " error_message = str(e)\n",133 " print(f\"Error: {error_message}\")\n",134 " return \"error\", error_message, {}\n",135 "\n",136 "# Gradioインターフェイスの設定\n",137 "iface = gr.Interface(\n",138 " fn=run_workflow,\n",139 " inputs=[gr.MultimodalTextbox(label=\"PDFファイルをアップロード\", file_types=[\".pdf\"], interactive=True),\n",140 " gr.Dropdown(label=\"Language\",value=\"ja\",choices=[\"en\",\"en-US\", \"ja\", \"fr\",\"de\",\"it\"],allow_custom_value=True)],\n",141 " outputs=[\n",142 " gr.Textbox(label=\"生テキスト\", show_copy_button=True, max_lines=5),\n",143 " gr.Markdown(),\n",144 " gr.JSON()\n",145 " ],\n",146 " title=\"Documnet to Dify Workflow\",\n",147 " description=\"このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。\",\n",148 " article=\"\"\"\n",149 "\n",150 " © 2024 @tregu0458. All rights reserved.\n",151 "\n",152 "# PDF、YouTube、Web URLを入力としたDifyワークフロー\n",153 "\n",154 "このGradioインターフェイスでは、PDFファイル、YouTube動画、Webページを入力として受け取り、Dify APIワークフローを使用して処理することができます。PDFファイルをアップロードするか、YouTube URLを提供するか、Web URLを入力するだけで、ワークフローがテキストコンテンツを抽出し、Dify APIを使用して処理します。\n",155 "\n",156 "## 特徴\n",157 "- PDFファイル、YouTube動画、Webページを入力として対応\n",158 "- `langchain_community.document_loaders`の`UnstructuredPDFLoader`と`OnlinePDFLoader`を使用してPDFファイルからテキストを抽出\n",159 "- `langchain_community.document_loaders`の`YoutubeLoader`を使用してYouTube動画からテキストを抽出\n",160 "- `langchain_community.document_loaders`の`WebBaseLoader`を使用してWebページからテキストを抽出\n",161 "- 抽出されたテキストをDify APIワークフローで処理\n",162 "- リアルタイム更新のためのストリーミングレスポンス処理\n",163 "- 生テキスト、処理されたテキスト、JSON出力の表示\n",164 "\n",165 "## 使用方法\n",166 "1. 入力フィールドにPDFファイルをアップロードするか、YouTube URLを提供するか、Web URLを入力します。\n",167 "2. ドロップダウンから希望の言語を選択します（デフォルトは \"ja\"）。\n",168 "3. \"Submit\"ボタンをクリックして処理を開始します。\n",169 "4. インターフェイスには、入力から抽出された生テキスト、Dify APIから処理されたテキスト、JSON出力が表示されます。\n",170 "\n",171 "## 使用コンポーネント\n",172 "- Dify API\n",173 "- Gradio\n",174 "- langchain_community.document_loaders\n",175 "\n",176 "## ワークフローの仕様\n",177 "### 入力\n",178 "- Knowledge\n",179 "### 出力\n",180 "- Result\n",181 "- Raw Content\n",182 "### LLM\n",183 "- gemini-1.5-flash-latest\n",184 "\n",185 "## 注意事項\n",186 "- 処理は非同期的に実行され、ワークフローの進行に合わせてリアルタイムで結果が表示されます。\n",187 "- `yield`文を使用して、処理の途中経過を表示しながら、最終的な結果を返します。\n",188 "- エラー処理は、処理中に発生する可能性のある例外をキャッチして表示するように実装されています。\n",189 "`run_workflow`関数は、入力メッセージを受け取り、指定された言語でDify APIワークフローを使用して処理を実行します。関数内では、入力タイプ（PDFファイル、YouTube URL、Web URL）に応じて適切なローダーを使用してテキストを抽出し、Dify APIにリクエストを送信して処理を行います。処理の進行状況に応じて、`yield`文を使用して中間結果を表示し、最終的な結果を返します。エラーが発生した場合は、例外をキャッチして適切なエラーメッセージを表示します。\n",190 " \"\"\"\n",191 ")\n",192 "\n",193 "if __name__ == \"__main__\":\n",194 " iface.queue().launch()"195 ],196 "metadata": {197 "id": "yx9f1RwJtFi9"198 },199 "execution_count": null,200 "outputs": []201 },202 {203 "cell_type": "markdown",204 "source": [205 "# 利用規約\n",206 "\n",207 "本利用規約（以下、「本規約」といいます。）は、@tregu0458(以下、「私」といいます。)が提供するWebアプリケーション「tregu0458/document_2_dify_workflow」（以下、「本スクリプト」といいます。）の利用に関する条件を定めるものです。ユーザーは、本スクリプトを利用することにより、本規約に同意したものとみなされます。\n",208 "\n",209 "## 1. ライセンス\n",210 "\n",211 "1.1 本スクリプトは、商用・非商用を問わず利用することができます。\n",212 "\n",213 "1.2 本スクリプトは、複製、継承、改変することができます。\n",214 "\n",215 "1.3 本スクリプト、および複製、継承、改変したものを有償で再配布もしくは販売を行う場合は、事前に私にご相談ください。[X @ tregu0458](https://twitter.com/tregu0458)\n",216 "\n",217 "1.4 本スクリプトの利用にあたり、クレジットの表示は必須ではありません。ただし、\"@tregu0458\"の表示は、私の励みになります。\n",218 "\n",219 "## 2. 免責事項\n",220 "\n",221 "2.1 私は、本スクリプトの内容、情報の正確性、完全性、有用性、最新性、信頼性、安全性等について、いかなる保証も行いません。\n",222 "\n",223 "2.2 私は、ユーザーが本スクリプトを利用したことに起因して生じた損害について、一切の責任を負いません。\n",224 "\n",225 "## 3. 利用規約の変更\n",226 "\n",227 "私は、必要に応じて、本規約を変更することがあります。変更後の本規約は、本スクリプト上に表示された時点から効力を生じるものとします。\n",228 "\n",229 "## 4. 準拠法と管轄裁判所\n",230 "\n",231 "本規約は、日本法に準拠するものとします。本スクリプトに関して紛争が生じた場合は、[管轄裁判所]を第一審の専属的合意管轄裁判所とします。\n",232 "\n",233 "以上\n",234 "\n",235 "---\n",236 "## OK例(相談不要)\n",237 "1. 個人の勉強用に利用\n",238 " - 学生が本スクリプトを参考に、youtube要約ワークフロー作成。\n",239 "\n",240 "2. 改変して無償公開\n",241 " - エンジニアが本スクリプトを改変し、新機能を追加。Huggingface Spaceにデプロイし、MITラインセンスにて公開。\n",242 "\n",243 "3. 社内ツールとして利用\n",244 " - 企業が業務効率化のため、本スクリプトを社内ツールに組み込んで使用。\n"245 ],246 "metadata": {247 "id": "8bbAxlNBMn4d"248 }249 }250 ]251}