AI Engineering Now

Evalを主軸にLLMエージェントの設計について述べたAn Evaluation-Driven Approach to Designing LLM Agents: Process and Architectureという論文を題材に話しました。 出演者： seya(⁠⁠@sekikazu01⁠⁠) kagaya(⁠⁠@ry0_kaga⁠⁠) ## Shownotes An Evaluation-Driven Approach to Designing LLM Agents: Process and Architecture⁠

生成AIでユーザビリティ課題を発見することができるかを検証したUX-LLMについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠こちら⁠⁠ Shownotes: https://arxiv.org/abs/2411.00634v1 https://dl.acm.org/doi/pdf/10.1145/3678957.3685701 https://u-site.jp/alertbox/synthetic-users 出演者： seya(⁠@sekikazu01⁠) kagaya(⁠@ry0_kaga⁠)

継続的にLLMアプリケーションの評価基準や自動評価をアップデートする仕組みであるEvalGenについて書かれた論文「Who Validates the Validators? Aligning LLM-Assisted Evaluation of LLM Outputs with Human Preferences」について話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠⁠⁠⁠こちら⁠⁠⁠⁠⁠⁠⁠ Shownotes: https://arxiv.org/abs/2404.12272 https://www.sh-reya.com/blog/ai-engineering-flywheel/ https://www.chainforge.ai/ https://github.com/wandb/evalForge/tree/main https://blog.langchain.dev/aligning-llm-as-a-judge-with-human-preferences/ ⁠ 出演者： seya(⁠⁠⁠⁠⁠⁠⁠@sekikazu01⁠⁠⁠⁠⁠⁠⁠) kagaya(⁠⁠⁠⁠⁠⁠⁠@ry0_kaga⁠⁠⁠⁠⁠⁠⁠)

今回はMicrosoftが公開したRAGタスクを4つのレベルに分類したリサーチであるRAG and Beyondがテーマです ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠⁠https://listen.style/p/aiengineeringnow Shownotes: https://arxiv.org/abs/2409.14924 https://x.com/K_Ishi_AI/status/1838765135206453254 出演者： seya(https://x.com/sekikazu01) kagaya(https://x.com/ry0_kaga)

今回はJina AIが提唱したLate Chunkingがテーマです。 Jina AIはEmbedding model、Reranker、Semantic chunking等のAPIを公開しているRAGに取り組む上では注目の企業です。 そんなJina AIが提唱したチャンキング手法であるLate Chunkingについて話しました。 ポッドキャストの書き起こしサービス「LISTEN」は⁠⁠⁠⁠こちら⁠⁠⁠⁠ Shownotes: Jina.ai ⁠Late Chunking in Long-Context Embedding Models⁠ ⁠Late Chunking: Balancing Precision and Cost in Long Context Retrieval | Weaviate⁠ Training Text Embeddings with Jina AI What is ColBERT and Late Interaction and Why They Matter in Search? https://x.com/s_tat1204/status/1837932815931134138 出演者： seya(⁠⁠⁠@sekikazu01⁠⁠⁠) kagaya(⁠⁠⁠@ry0_kaga⁠⁠⁠)

Chatbot Arenaのデータを使ってドメイン独自の評価データセットを作るという論文、Judging LLM-as-a-Judge with MT-Bench and Chatbot Arenaを題材に話しました。 ポッドキャストの書き起こしサービス「LISTEN」はこちら Shownotes： Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference Chat with Open Large Language Models From Live Data to High-Quality Benchmarks: The Arena-Hard Pipeline | LMSYS Org Benchmarks 201: Why Leaderboards > Arenas >> LLM-as-Judge https://x.com/karpathy/status/1737544497016578453 https://github.com/lm-sys/arena-hard-auto/tree/main/BenchBuilder 出演者： seya(@sekikazu01) kagaya(@ry0_kaga)