Streaming search system : Function calling based ReAct Agents

09 Sep 2024 | Development

Git Repository

https://github.com/finddme/Function_calling_ReAct

  • Function calling을 적용하여 #ReACT #HITL #Multi-Agent post를 구현한 프로젝트.
  • Model openai, Claude, Groq, Together ai 선택 가능 (현 blog search box는 Together ai LLaMa 3.1 70B 적용)
  • Finance action 추가
  • token streaming version 추가

Pipeline

Illustrated by the author


Model

Text Generation model: LLaMA 3.1 70B instruct

Image Generation model: Flux schnell

Improvements

1. Function calling 도입

  • Function calling을 도입함으로써 query routing, qeury transform/rewrite 단계를 fuction calling 한 단계로 치환 -> 속도 개선
Illustrated by the author


2. Token streaming 도입

  • 전체 응답이 완성되기를 기다리지 않고 답변이 생성되는 대로 볼 수 있어 빠르게 답변을 얻은 듯한 느낌을 준다.
  • 응답 생성의 진행 상황을 시각적으로 확인할 수 있기 때문에 답답하지 않다.
  • 즉, 긴 대기 시간 없이 즉각적인 반응을 보여줌으로써 전반적인 사용자 경험이 향상된다.
  • 한국인은 빨리빨리👍

Demo

1. streaming version

Create by author


2. no streaming / img generation agent Demo

- Image generation

Create by author


- Finance

Create by author


- Legal

Create by author


- AI

Create by author


- Web search

Create by author