Quiz tổng hợp

Thời gian: 30 phút | Độ khó: Tổng hợp | Đạt yêu cầu: ≥ 12/18 câu đúng

Yêu cầu: Xây dựng workflow chatbot hỏi đáp dựa trên knowledge base tài liệu nội bộ công ty sử dụng RAG pipeline hoàn chỉnh.

Mô tả chi tiết:

1. Indexing Pipeline: Tạo workflow tải và index tài liệu vào vector store
   • Sử dụng PDF Loader hoặc Google Drive Loader để đọc ít nhất 5 tài liệu (tối thiểu 20 trang)
   • Text Splitter chia thành chunks (thử nghiệm chunk size 500 và 800 tokens)
   • Embeddings OpenAI node tạo vector
   • Lưu vào Pinecone, Qdrant hoặc Supabase Vector Store với metadata (source, title, category)
2. Query Pipeline: Tạo workflow chatbot trả lời câu hỏi
   • Chat Trigger nhận câu hỏi từ user
   • Vector Store Retriever tìm top-5 chunks liên quan
   • Context injection vào prompt với instruction rõ ràng
   • OpenAI Chat Model sinh câu trả lời có dẫn nguồn (citation)
3. Memory: Thêm Window Memory (10 messages) với session ID cho multi-user

Yêu cầu kỹ thuật:

• Metadata filtering theo category
• System prompt yêu cầu trả lời bằng tiếng Việt, trích dẫn nguồn
• Error handling khi vector store trả về kết quả không liên quan (similarity score thấp)
• So sánh kết quả giữa chunk size 500 và 800

Kết quả mong đợi:

• Chatbot trả lời chính xác dựa trên nội dung tài liệu
• Có dẫn nguồn (tên tài liệu, trang) trong câu trả lời
• Hỗ trợ hội thoại nhiều lượt (multi-turn conversation)
• Thời gian phản hồi dưới 5 giây

Yêu cầu: Xây dựng AI Agent có khả năng sử dụng nhiều tools, bao gồm RAG knowledge base, để giải quyết các tác vụ phức tạp.

Mô tả chi tiết:

1. AI Agent Setup: Cấu hình AI Agent node với ReAct loop
   • System prompt định nghĩa vai trò: Trợ lý kinh doanh thông minh
   • Kết nối OpenAI Chat Model (GPT-4 hoặc GPT-4o)
2. Tool 1 – Knowledge Base: Vector Store Tool truy xuất chính sách, quy trình nội bộ
3. Tool 2 – HTTP Tool: Gọi API tra cứu thông tin sản phẩm/giá từ hệ thống CRM
4. Tool 3 – Code Tool: Tính toán báo giá, chiết khấu dựa trên quy tắc kinh doanh
5. Tool 4 – Workflow Tool: Gọi sub-workflow gửi email báo giá tự động
6. Memory: Buffer Window Memory với persistent storage (Redis hoặc Postgres)

Yêu cầu kỹ thuật:

• Agent tự quyết định tool nào cần dùng cho từng câu hỏi
• Tool descriptions rõ ràng để Agent chọn đúng tool
• Session management với session ID unique per user
• Logging toàn bộ ReAct trace (Thought → Action → Observation) vào database
• Timeout 30 giây cho mỗi tool call, có fallback message

Kết quả mong đợi:

• Agent xử lý được ít nhất 5 kịch bản khác nhau (hỏi chính sách, tra giá, tạo báo giá, gửi email, tổng hợp thông tin)
• Chọn đúng tool cho từng tác vụ ≥ 90% trường hợp
• Hội thoại mạch lạc qua nhiều lượt
• Thời gian xử lý trung bình dưới 15 giây/lượt

Yêu cầu: Xây dựng workflow đánh giá và tối ưu hóa chất lượng hệ thống RAG chatbot.

Mô tả chi tiết:

1. Test Dataset: Tạo bộ test 20 câu hỏi với ground truth answers từ knowledge base
   • Lưu trong Google Sheets: columns = question, expected_answer, category, difficulty
2. Automated Testing Workflow:
   • Loop qua từng câu hỏi trong test set
   • Gọi RAG chatbot workflow (bài tập 1) cho mỗi câu hỏi
   • Lưu lại: câu hỏi, retrieved chunks, generated answer, expected answer
3. Evaluation Workflow:
   • Dùng LLM-as-Judge: OpenAI node chấm điểm answer quality (1-5) dựa trên tiêu chí: accuracy, completeness, faithfulness
   • So sánh retrieved chunks với expected source documents
   • Tính toán metrics: average score, accuracy rate, hallucination rate
4. Optimization:
   • So sánh kết quả giữa các cấu hình: chunk size (300/500/800), top-K (3/5/10), temperature (0/0.3/0.7)
   • Lưu kết quả comparison vào Google Sheets

Yêu cầu kỹ thuật:

• Split In Batches node xử lý test set
• Structured Output (JSON mode) cho evaluation scores
• Aggregate node tính toán metrics tổng kết
• Error handling cho test cases thất bại
• Chi phí evaluation dưới $2 cho toàn bộ test set 20 câu

Kết quả mong đợi:

• Báo cáo evaluation đầy đủ với metrics cho từng cấu hình
• Xác định được cấu hình tối ưu cho knowledge base cụ thể
• Danh sách câu hỏi mà hệ thống trả lời sai để cải thiện
• Biểu đồ so sánh trực quan (export từ Google Sheets)

Tip: Hãy bắt đầu với In-Memory Vector Store để prototype nhanh, sau đó chuyển sang Pinecone hoặc Supabase Vector Store khi đưa lên production. Luôn đánh giá chất lượng RAG bằng test set trước khi deploy!