Desafios e Prêmios
Semana
1
08/07 - 12/07 🔴
Prompt Engineering
Semana
2
15/07 - 28/07 🔴
RAG
Semana
3
29/07 - 11/08 🟢
Agents
Semana
4
04/08 - 11/08 🟡
Em breve...
🗓️ Objetivo
Crie um agente de suporte para o Langflow que ajude os usuários a criar e editar componentes, tirar dúvidas e fornecer informações gerais sobre a plataforma. Utilize informações disponíveis no GitHub, documentação e site do Langflow.
🏆 Premiação
Os prêmios serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:
Posição
Prêmio
Desafio Final
21º ao 30º Lugar
R$300,00 cada (Gift Card)
31º ao 50º Lugar
R$200,00 cada (Gift Card)
Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.
Gift Cards: mais informações em breve.
🚀 Submissão
1. Atualizar o componente de avaliação:
- Antes de começar, você precisa atualizar seu fluxo de agente com o novo componente "Langwatch Evaluator - Agent API".
- Substitua o componente antigo de avaliação por este novo, conforme mostrado na imagem.
- Conecte o "Chat Output" ao "Chat Input" do novo componente "Langwatch Evaluator - Agent API".
2. Inserir o dataset (CSV)
- No componente "File CSV to Data List", você verá um campo chamado "CSV File".
- Faça upload do arquivo CSV fornecido contendo as perguntas para o seu agente (chamado "agent_questions.csv").
- Este CSV contém as perguntas que serão enviadas ao seu agente para avaliação.
3. Configurar o Fluxo do Agente
- Vá para o componente "Batch Flow Executor - IA Devs".
- Clique no botão de atualização ao lado do dropdown "Flow Name".
- No dropdown, selecione o fluxo do seu agente que você deseja avaliar. Deve ser algo como "Agent - Semana 3" ou o nome que você deu ao seu fluxo de agente.
4. Inserir suas informações pessoais
- No mesmo componente "Batch Flow Executor - IA Devs", preencha os seguintes campos:
- Email Address: Digite seu endereço de e-mail
- CPF: Digite seu CPF
- User Name: Digite seu nome completo
5. Salvar os resultados
- O componente "Save data to CSV File" já está configurado para salvar os resultados.
- O nome padrão do arquivo é "result-agent-analysis.csv". Você pode alterá-lo se necessário.
6. Executar o fluxo
- Depois que todos os componentes estiverem configurados corretamente, você pode executar o fluxo inteiro.
- Isso executará o fluxo do seu agente uma vez para cada pergunta no CSV fornecido.
7. Revisar os resultados
- Após a conclusão do fluxo, você poderá ver os resultados para cada pergunta, incluindo a avaliação e o tempo total gasto.
- Os resultados serão salvos no arquivo CSV especificado no passo 5.
Lembre-se, este fluxo foi projetado para automatizar o processo de execução do seu agente contra um conjunto de perguntas fornecidas, avaliando seu desempenho e salvando os resultados para análise posterior. A equipe IA Devs forneceu o CSV com as perguntas, e este fluxo ajudará você a testar e avaliar as respostas do seu agente para essas perguntas.
5.1 Importando o Flow:
Baixe o arquivo a baixo
Abra o Langflow
Crie um novo projeto
Importe o flow "Agent - Basic Langflow - Live.json".
🏅 Premiação Adicional
Serão distribuídos prêmios extras de R$ 300 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.
Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.
Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.
A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.
Melhor Bug Relatado: R$1,000.00 (PIX)
Melhor Componente Customizado: R$1,000.00 (PIX)
🤖 Boa sorte!
⚙️ Instalação e configuração:
Se você já tem Python instalado, comece com o pip:
5.2 Criar conta nos seguintes sites para usar no flow:
python -m pip install langflowpip install -U langflowConsulte a documentação oficial.
Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!
📝 Flow do desafio 3
Antes de começar, você PRECISA estar na última versão do Langflow. Execute o comando abaixo para atualizar o Langflow:
🎥 Live do desafio 3
Entenda o que é um Agente e como construir o seu utilizando Langflow:
📝 Metodologia de Avaliação
Avaliaremos seu agente com base em:
Answer Correctness: Precisão e relevância das respostas.
Velocidade de Execução: Rapidez nas respostas.
Custo da Execução: Eficiência no uso de recursos computacionais.
Você receberá um dataset de perguntas e interações para testar seu agente. A validação final será com um dataset diferente para garantir que seu agente generalize bem.
Importante: Utilize o componente LangWatch Evaluator para a avaliação e submissão do seu projeto.
✅ Requisitos
Input: Perguntas, solicitações e interações do usuário sobre o Langflow.
Output: Respostas e informações geradas pelo agente.
Componentes Obrigatórios: Chat input, chat output, LangWatch Evaluator e implementação de agente.
Seu agente deve:
Responder perguntas e fornecer informações sobre o Langflow.
Auxiliar na criação e edição de componentes.
Recomendar componentes para construir flows específicos.
Manter uma conversa fluida e natural.
📅 Datas importantes
29/07/2024: Abertura do desafio no Crowdcast.
31/07/2024: Sessão ao vivo com o time do Langflow.
07/08/2024: Live de tira dúvidas
18/08/2024: Prazo final para submissão (23:59).
19/08/2024: Divulgação dos vencedores e anúncio do próximo desafio.
Semana
1
08/07 - 12/07 🔴
Prompt Engineering
Semana
2
15/07 - 28/07 🔴
RAG
Semana
3
29/07 - 11/08 🟢
Agents
Semana
4
04/08 - 11/08 🟡
Em breve...
🗓️ Objetivo
Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.
🏆 Premiação
Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:
Posição
Prêmio
Desafio Final
21º ao 30º Lugar
R$300,00 cada (Gift Card)
31º ao 50º Lugar
R$200,00 cada (Gift Card)
Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.
Gift Cards: mais informações em breve.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📝 Flow de Avaliação RAG (Semana 2) - Passo a Passo
Antes de começar, você PRECISA estar na última versão do Langflow. Execute o comando abaixo para atualizar o Langflow:
pip install -U langflowImportar o Flow:
Abra o Langflow.
Crie um novo projeto.
Importe o flow "Flow Avaliação RAG".
Carregar o CSV:
Baixe o CSV fornecido com o nome "avaliacao-iadevs-2.csv".
No primeiro componente ("File CSV to Data List"), clique para carregar o arquivo CSV.
Selecionar o Flow e Preencher Dados:
No segundo componente ("Batch Flow Executor - IA Devs"):
Selecione o seu flow de RAG sobre Cosmos.
Preencha seu email, CPF e nome.
Executar:
Clique para executar o flow.
Aguarde a execução (pode levar cerca de 10 minutos).
Salvar Resultados:
Os resultados serão automaticamente salvos em um arquivo CSV.
Nota Importante:
Apenas o Ground Truth das primeiras 3 perguntas está disponível para referência.
O Ground Truth completo será revelado na segunda-feira, junto com o anúncio do vencedor.
Enquanto o processo está rodando, não é possível ver nada no frontend. No entanto, no backend, você pode acompanhar os logs para ver o progresso de cada run.
Pronto! Agora você tem uma lista com os inputs, outputs e o trace URL.
🏅 Premiação Adicional
Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.
Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.
Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.
A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.
🤖 Boa sorte a todos os participantes!
⚙️ Instalação e configuração:
7.1 Se você já tem Python instalado, comece com o pip:
python -m pip install langflow7.2 Consulte a documentação oficial.
Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!
📂 Dataset
Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:
🎥 Tutorial
Entenda o que é RAG e como construir o seu utilizando Langflow:
📝 Metodologia de Avaliação
3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.
3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)
Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)
Ragas Context Recall (abrangência do contexto relevante utilizado)
Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.
A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.
Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.
O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.
✅ Requisitos
4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".
4.2 Output: Uma resposta gerada pelo seu sistema.
4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📅 Datas importantes
15/07/2024: Abertura do desafio 2 no Crowdcast
17/07/2024: Sessão ao vivo com o time do Langflow
28/07/2024: Prazo final para submissão (23:59)
29/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.
Semana
1
08/07 - 12/07 🔴
Prompt Engineering
Semana
2
15/07 - 28/07 🔴
RAG
Semana
3
29/07 - 11/08 🟢
Agents
Semana
4
04/08 - 11/08 🟡
Em breve...
🗓️ Objetivo
Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.
🏆 Premiação
Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:
Posição
Prêmio
Desafio Final
21º ao 30º Lugar
R$300,00 cada (Gift Card)
31º ao 50º Lugar
R$200,00 cada (Gift Card)
Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.
Gift Cards: mais informações em breve.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📝 Flow de Avaliação RAG (Semana 2) - Passo a Passo
Antes de começar, você PRECISA estar na última versão do Langflow. Execute o comando abaixo para atualizar o Langflow:
pip install -U langflowImportar o Flow:
Abra o Langflow.
Crie um novo projeto.
Importe o flow "Flow Avaliação RAG".
Carregar o CSV:
Baixe o CSV fornecido com o nome "avaliacao-iadevs-2.csv".
No primeiro componente ("File CSV to Data List"), clique para carregar o arquivo CSV.
Selecionar o Flow e Preencher Dados:
No segundo componente ("Batch Flow Executor - IA Devs"):
Selecione o seu flow de RAG sobre Cosmos.
Preencha seu email, CPF e nome.
Executar:
Clique para executar o flow.
Aguarde a execução (pode levar cerca de 10 minutos).
Salvar Resultados:
Os resultados serão automaticamente salvos em um arquivo CSV.
Nota Importante:
Apenas o Ground Truth das primeiras 3 perguntas está disponível para referência.
O Ground Truth completo será revelado na segunda-feira, junto com o anúncio do vencedor.
Enquanto o processo está rodando, não é possível ver nada no frontend. No entanto, no backend, você pode acompanhar os logs para ver o progresso de cada run.
Pronto! Agora você tem uma lista com os inputs, outputs e o trace URL.
🏅 Premiação Adicional
Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.
Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.
Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.
A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.
🤖 Boa sorte a todos os participantes!
⚙️ Instalação e configuração:
7.1 Se você já tem Python instalado, comece com o pip:
python -m pip install langflow7.2 Consulte a documentação oficial.
Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!
📂 Dataset
Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:
🎥 Tutorial
Entenda o que é RAG e como construir o seu utilizando Langflow:
📝 Metodologia de Avaliação
3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.
3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)
Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)
Ragas Context Recall (abrangência do contexto relevante utilizado)
Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.
A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.
Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.
O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.
✅ Requisitos
4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".
4.2 Output: Uma resposta gerada pelo seu sistema.
4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📅 Datas importantes
15/07/2024: Abertura do desafio 2 no Crowdcast
17/07/2024: Sessão ao vivo com o time do Langflow
28/07/2024: Prazo final para submissão (23:59)
29/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.
Semana
1
08/07 - 12/07 🔴
Prompt Engineering
Semana
2
15/07 - 28/07 🔴
RAG
Semana
3
29/07 - 11/08 🟢
Agents
Semana
4
04/08 - 11/08 🟡
Em breve...
🗓️ Objetivo
Criar um sistema de perguntas e respostas baseado no livro anexado, utilizando a metodologia RAG (Retrieval-Augmented Generation). O sistema deve ser capaz de responder perguntas sobre o conteúdo do livro de forma precisa e relevante.
🏆 Premiação
Os prêmios da semana 2 serão distribuídos para os primeiros 50 ranqueados, conforme a tabela abaixo:
Posição
Prêmio
Desafio Final
21º ao 30º Lugar
R$300,00 cada (Gift Card)
31º ao 50º Lugar
R$200,00 cada (Gift Card)
Ticket: Os vencedores receberão um ticket para participar do desafio final - semana 4.
Gift Cards: mais informações em breve.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📝 Flow de Avaliação RAG (Semana 2) - Passo a Passo
Antes de começar, você PRECISA estar na última versão do Langflow. Execute o comando abaixo para atualizar o Langflow:
pip install -U langflowImportar o Flow:
Abra o Langflow.
Crie um novo projeto.
Importe o flow "Flow Avaliação RAG".
Carregar o CSV:
Baixe o CSV fornecido com o nome "avaliacao-iadevs-2.csv".
No primeiro componente ("File CSV to Data List"), clique para carregar o arquivo CSV.
Selecionar o Flow e Preencher Dados:
No segundo componente ("Batch Flow Executor - IA Devs"):
Selecione o seu flow de RAG sobre Cosmos.
Preencha seu email, CPF e nome.
Executar:
Clique para executar o flow.
Aguarde a execução (pode levar cerca de 10 minutos).
Salvar Resultados:
Os resultados serão automaticamente salvos em um arquivo CSV.
Nota Importante:
Apenas o Ground Truth das primeiras 3 perguntas está disponível para referência.
O Ground Truth completo será revelado na segunda-feira, junto com o anúncio do vencedor.
Enquanto o processo está rodando, não é possível ver nada no frontend. No entanto, no backend, você pode acompanhar os logs para ver o progresso de cada run.
Pronto! Agora você tem uma lista com os inputs, outputs e o trace URL.
🏅 Premiação Adicional
Serão distribuídos prêmios extras de R$ 150 para os 5 melhores conteúdos produzidos e submetidos oficialmente durante a semana 1.
Vídeos, shorts ou tutoriais sobre o projeto, a competição ou o Langflow em geral.
Ao produzir seu video, utilize as hashtags #langflow #iadevs para localizarmos o seu conteúdo. No formulário você pode inserir o link do seu video.
A avaliação do conteúdo ocorrerá de forma subjetiva pelos organizadores, considerando fatores como a qualidade, a divulgação e o alcance do material produzido em diversas plataformas.
🤖 Boa sorte a todos os participantes!
⚙️ Instalação e configuração:
7.1 Se você já tem Python instalado, comece com o pip:
python -m pip install langflow7.2 Consulte a documentação oficial.
Se precisar de ajuda para a instalar o Langflow, entre no nosso servidor do Discord e te ajudamos a começar!
📂 Dataset
Nos arquivos a seguir você irá encontrar os arquivos necessários para desenvolver seu projeto:
🎥 Tutorial
Entenda o que é RAG e como construir o seu utilizando Langflow:
📝 Metodologia de Avaliação
3.1 A avaliação será realizada utilizando o Langwatch e métricas do RAGAS.
3.2 As respostas serão comparadas com um gabarito, onde poderemos utilizar as seguintes métricas de avaliação:
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Ragas Answer Correctness (se a resposta está correta em relação ao esperado pela avaliação)
Ragas Context Precision (precisão do contexto utilizado para gerar a resposta)
Ragas Context Recall (abrangência do contexto relevante utilizado)
Os participantes receberão acesso a um dataset com 10 perguntas e respostas para testar seu sistema.
A validação final ocorrerá em um dataset com perguntas DIFERENTES, forçando assim, os participantes a criarem um sistema que generalize bem para perguntas não vistas anteriormente.
Será fornecido um componente de avaliação (Langwatch Evaluator), que deverá ser obrigatoriamente plugado ao flow de todos os participantes, pois este também será usado pelo flow de submissão do desafio. Ao rodar o Langwatch Evaluator e completar o envio do teste, ele irá fornecer um link de acesso para visualização da sua submissão teste.
O flow de submissão da avaliação será disponibilizado no sábado e funcionará da seguinte maneira: o usuário colocará o JSON do seu flow no componente de avaliação, preencherá os dados requeridos (email cadastrado e CPF), que serão importantes para identificar os resultados de cada um. A submissão ocorrerá através desse flow fornecido, em vez de ser feita via formulário. Este flow também retornará com a URL da avaliação para conferência do resultado.
✅ Requisitos
4.1 Input: Uma pergunta sobre o conteúdo do livro "Cosmos".
4.2 Output: Uma resposta gerada pelo seu sistema.
4.3 Componentes: Livre escolha, desde que inclua um chat input, um único chat output e o componente Langwatch Evaluator para envio de avaliações.
🚀 Submissão
Todas as submissões devem ser feitas através do flow de avaliação fornecido.
Obrigatório: Arquivo JSON (flow) do projeto, exportado sem API Key, submetido através do componente de avaliação.
Opcional: Criação de Conteúdo.
A submissão do projeto pode acontecer várias vezes por participante. Mas apenas a última submissão será considerada.
📅 Datas importantes
15/07/2024: Abertura do desafio 2 no Crowdcast
17/07/2024: Sessão ao vivo com o time do Langflow
28/07/2024: Prazo final para submissão (23:59)
29/07/2024: Divulgação dos vencedores e anúncio do próximo desafio.
