Os grandes modelos de idiomas sonham com agentes de IA?

Durante o sono, o O cérebro humano classifica diferentes memórias, consolidando as importantes e descartando aqueles que não importam. E se a AI pudesse fazer o mesmo?

BILTuma empresa que oferece ofertas locais de compras e restaurantes para locatários, enviou recentemente vários milhões de agentes com a esperança de fazer exatamente isso.

Bilt usa a tecnologia de uma startup chamada Letta Isso permite que os agentes aprendam com conversas anteriores e compartilhem memórias entre si. Usando um processo chamado “SleepTime Compute”, os agentes decidem quais informações armazenarem em seu cofre de memória de longo prazo e o que pode ser necessário para um recall mais rápido.

“Podemos fazer uma única atualização para um bloco (de memória) e ter o comportamento de centenas de milhares de agentes mudarem”, diz Andrew Fitz, engenheiro de IA da BILT. “Isso é útil em qualquer cenário em que você deseja controle de refrigeração fina sobre o contexto dos agentes”, acrescenta ele, referindo-se ao immediate de texto alimentado ao modelo em tempo de inferência.

Modelos de idiomas grandes podem normalmente apenas “lembrar” coisas se a informação for incluída no Janela de contexto. EUSe você deseja que um chatbot se lembre da sua conversa mais recente, precisa colá -lo no bate -papo.

A maioria dos sistemas de IA pode lidar apenas com uma quantidade limitada de informações na janela de contexto antes que sua capacidade de usar os dados vacilarem e alucine ou fiquem confusos. O cérebro humano, por outro lado, é capaz de registrar informações úteis e recordá -las mais tarde.

“Seu cérebro está melhorando continuamente, adicionando mais informações como uma esponja”, diz Charles Packer, CEO da Letta. “Com os modelos de idiomas, é exatamente o oposto. Você executa esses modelos de idiomas em um loop por tempo suficiente e o contexto se envenenou; eles são descarrilados e você só quer redefinir”.

Packer e seu co -fundador Sarah Wooders desenvolveram anteriormente Memgptum projeto de código aberto que teve como objetivo ajudar os LLMs a decidir quais informações devem ser armazenadas na memória de curto e longo prazo. Com Letta, a dupla expandiu sua abordagem para permitir que os agentes aprendam em segundo plano.

A colaboração da Bilt com a Letta faz parte de um impulso mais amplo para dar à IA a capacidade de armazenar e recuperar informações úteis, o que poderia tornar os chatbots mais inteligentes e os agentes menos propensos a erros. A memória permanece subdesenvolvida na IA moderna, que prejudica a inteligência e a confiabilidade das ferramentas de IA, de acordo com especialistas com quem falei.

Harrison Chase, co -fundador e CEO da Langchain, outra empresa que desenvolveu um método para melhorar a memória nos agentes da IA, diz que vê a memória como uma parte very important da engenharia de contexto – em que um usuário ou engenheiro determine quais informações se alimentar na janela de contexto. A Langchain oferece às empresas vários tipos diferentes de armazenamento de memória para agentes, de fatos de longo prazo sobre os usuários a lembranças de experiências recentes. “A memória, eu diria, é uma forma de contexto”, diz Chase. “Uma grande parte do trabalho de um engenheiro de IA está basicamente obtendo o modelo o contexto certo (informação)”.

As ferramentas de IA do consumidor também estão gradualmente se tornando menos esquecidas. Em fevereiro, Openai anunciado Esse ChatGPT armazenará informações relevantes para fornecer uma experiência mais personalizada para os usuários – embora a empresa não tenha divulgado como isso funciona.

Letta e Langchain tornam o processo de recall mais transparente para os engenheiros que constroem sistemas de IA.

“Eu acho que é tremendous importante não apenas para que os modelos sejam abertos, mas também para que os sistemas de memória sejam abertos”, diz Clem Delangue, CEO da plataforma de hospedagem de IA abraçando o rosto e um investidor em Letta.

Curiosamente, o CEO da Letta Packer sugere que também pode ser importante para os modelos de IA aprender o que esquecer. “Se um usuário disser: ‘Esse projeto em que estávamos trabalhando, limpe -o da sua memória’, o agente deve voltar e reescrever retroativamente cada memória”.

A noção de memórias e sonhos artificiais me faz pensar em Os andróides sonham com ovelhas elétricas? Por Philip Ok. Dick, um romance alucinante que inspirou o filme elegantemente distópico Blade Runner. Grandes modelos de linguagem ainda não são tão impressionantes quanto o Replicantes rebeldes da história, mas suas memórias, ao que parece, pode ser tão frágil.

Esta é uma edição de Will Knight’s E-newsletter de laboratório da AI. Leia boletins anteriores aqui.