DESCRIÇÃO:

Com o crescente número de opções de Modelos de Linguagem de Grande Escala (LLMs) de código aberto, é comum utilizarmos dados de benchmark para compará-los. Essas comparações são fundamentais para escolher o melhor modelo para cada caso de uso, analisando qual apresenta melhor desempenho e precisão, auxiliando no processo de tomada de decisões. Embora alguns grandes modelos se destaquem em muitos benchmarks, nenhum modelo, isoladamente, atinge a melhor precisão em todos os tipos de tarefas e aplicações. 

Nesta apresentação, vamos explorar um estudo [1] que aborda o desafio de selecionar o melhor LLM entre um conjunto de modelos para novas tarefas. O estudo utiliza conjuntos de dados de benchmarks para desenvolver um novo modelo de "roteador" que ajuda na seleção do LLM mais adequado. Além disso, apresentaremos a plataforma de coleta de dados para treinamento do CARROT [2], um roteador que pode selecionar modelos com base em qualquer compensação desejada com base em estimativas de custo e desempenho dos modelos. 

[1] Large Language Model Routing with Benchmark Datasets
https://arxiv.org/pdf/2309.15789 

[2]  CARROT: A Cost Aware Rate Optimal Router
https://arxiv.org/abs/2502.03261 

MINIBIOS: