AI Agent: Web Scraping + OCR + Dual RAG

เจ้าของผลงานเล่าไว้แบบนี้

https://teamproject-lemon.vercel.app # AI Agent: Web Scraping + OCR + Dual RAG (pgvector) + Agent (Tavily fallback) + Evaluation โปรเจกต์นี้เป็นระบบ **AI Agent** ที่ทำงานแบบ end-to-end: - **External (ระบบไปเก็บเอง):** ค้นเว็บ → scrape เนื้อหา/รูป/ไฟล์ PDF → caption รูป (BLIP) + แปลไทย (Argos) → OCR PDF (PyMuPDF + PaddleOCR fallback) → **Ingest เข้า RAG (Postgres + pgvector)** - **Internal (ผู้ใช้ upload):** upload PDF → OCR → ingest เข้า RAG (namespace=internal) - **Ask Agent:** ระบบตอบจาก RAG ก่อน (structured/semantic) ถ้าไม่พอค่อย **fallback ไป Tavily** (ใช้เฉพาะตอนถาม ไม่ใช้ในขั้น scraping) --- ## โครงสร้างโปรเจกต์ (สรุป) ``` full_project/ .env .gitignore README.md requirements.txt test.py ui/ index.html styles.css app.js workflow.html workflow.js swagger_custom.js backend/ settings.py main.py utils/ scraping/ vision/ ocr/ rag/ agent/ evaluation/ report_utils/ ``` --- ## 0) เตรียม .env สร้างไฟล์ `.env` ที่ root ของโปรเจกต์ (ข้าง README) โดยใช้ตัวอย่างนี้: ```env # ---- (optional) facebook login ---- FB_EMAIL= FB_PASS= # ---- API ---- API_HOST=0.0.0.0 API_PORT=8000 # ---- Paths ---- OUTPUT_BASE_DIR=./scraped_outputs UPLOAD_DIR=./tmp_uploads # ---- Vector DB (pgvector) ---- DATABASE_URL=postgresql+asyncpg://postgres:2026@127.0.0.1:5436/ragdb # ---- Ollama ---- OLLAMA_HOST=http://localhost:11434 EMBED_MODEL=nomic-embed-text:latest EMBED_DIMS=768 OLLAMA_LLM_MODEL=llama3.1:8b # ---- Image Caption ---- BLIP_MODEL=Salesforc

โดย 66070026-Jakkrapat · ดูโพสต์ต้นทาง