A plataforma de imagem de vídeo bimodal prevê quadros hiperespectrais do vídeo RGB

Imagem hiperespectral (HSI) ou espectroscopia de imagem, captura informações detalhadas no espectro eletromagnético, adquirindo um espectro para cada pixel em uma imagem. Isso permite a identificação precisa dos materiais através de suas assinaturas espectrais.

O HSI suporta aplicações de sensoriamento remoto da Terra, como classificação automatizada, mapeamento de abundância e estimativa de propriedades físicas e biológicas, como umidade do solo, densidade de sedimentos, qualidade da águabiomassa, área foliar e teor de pigmentos.

Embora o HSI ofereça informações detalhadas sobre uma cena de sensoriamento remoto, os dados do HSI podem não estar prontamente disponíveis para um aplicativo pretendido. Estudos recentes tentaram combinar o HSI com a aquisição de vídeo tradicional-verde-azul-verde-azul (RGB) para reduzir custos e melhorar o desempenho. No entanto, essa tecnologia de fusão ainda enfrenta desafios técnicos.

Em um estudo recente publicado no Journal of Utilized Distant Sensingpesquisadores do Chester F. Carlson Heart for Imaging Science no Rochester Institute of Know-how desenvolveram uma plataforma de vídeo bimodal que combina um sistema de imagem hiperespectral de 371 banda, operável em um modo de vídeo de baixa taxa, com uma câmera de vídeo RGB padrão. Liderado por Chris H. Lee, a equipe projetou esse sistema para preencher a lacuna entre imagens hiperespectrais de alto custo e tecnologia de vídeo RGB amplamente disponível.

A equipe demonstrou sua prova de conceito, capturando dados de vídeo da costa de Lake Ontario no Hamlin Seashore State Park, em Rochester, Nova York.

“Desenvolvemos um fluxo de trabalho que vincula dados de refletância de uma varredura de linha Imagem hiperespectral O espectrômetro com quadros de vídeo RGB para prever imagens hiperespectrais “, diz Lee.” Estabelecemos uma correlação entre os dois fluxos de dados durante um segmento de tempo específico e o usamos para prever os quadros hiperespectrais antes e depois desse segmento usando apenas vídeo RGB “.

Eles capturaram visível para o vídeo hiperespectral do infravermelho próximo usando um espectrômetro de imagem de eficiência micro-altura da parede principal, operando em seu modo de vídeo de baixa taxa. Os dados do RGB vieram de um hero-herói da GoPro 8 de baixo custo. O grupo de Lee levou os sistemas aos seus limites operacionais, adquirindo dados de vídeo a taxas da ordem dos milissegundos e correlacionando os dados RGB e HSI no tempo e no espaço.

Para avaliar a precisão de seu fluxo de trabalho, os pesquisadores compararam a refletância prevista com a refletância medida, depois de corrigir os efeitos do sensor e atmosférico. Os resultados variaram por faixa de comprimento de onda. No espectro visível, a plataforma previu 95% da cena da água dentro da refletância absoluta de 2% ou cerca de 30% do nível do sinal da água.

Por outro lado, a faixa do infravermelho próximo mostrou erros maiores: para 95% da cena, o erro residual normalizado atingiu até 90%. A equipe atribuiu esse aumento aos dados espectrais limitados no vídeo RGB no cenário de águas rasas.

“Nossa plataforma mostra que podemos prever os quadros hiperespectrais do vídeo RGB com precisão razoável na faixa visível”, observa Lee. “A queda no desempenho em comprimentos de onda mais longos destaca a necessidade de cobertura espectral mais ampla de menos dados de bandas para o algoritmo de previsão”.

Olhando para o futuro, Lee vê oportunidades para aprimorar o sistema: “Melhorias futuras se concentrarão no alinhamento e na calibração do espectrômetro e dos campos de visão da câmera com mais precisão e no desenvolvimento de modelos de previsão mais avançados”.

Ao combinar câmeras RGB acessíveis com tecnologia hiperespectral, esta nova plataforma abre a porta para um monitoramento de vídeo ambiental mais acessível. Com um refinamento adicional, poderia apoiar uma ampla gama de aplicações, da avaliação da qualidade da água à análise da vegetação e além.