Projeto muito interessante, uma vez pensei em realizar um projeto que precisava analisar o conteúdo das imagens, a solução mais fácil que encontrei, foi usar a api do gpt 4, aí também poderia configurar a resposta para descrever a imagem com elementos não visuais, tempetura e ofato. 

Offline já complica, pois essa análise sempre irá depender do servidor, se deixar para carregar no front end, sem o usuário ter um pc da nasa, provavelmente vai fritar o circuito ao tentar fazer algo do gênero.

Uma dúvida, é um projeto de escola ou de faculdade?

Opa tudo certo obrigado pela opinião, respondendo a pergunta projeto da minha faculdade atividade curricular, esse texto que fiz peguei uma parte da documentação que tinha feito.
Mas como você disse off-line vai ser o problema vou te que bolar alguma coisa mas pelo que eu estudei por agora é bem complicado.
Enquanto a biblioteca pra isso eu pensei primeiro no chatGPT4 que é pago mas por se um projeto pra uma associação não seria muito viável, o gemini poderia ser uma boa, mas por ser uma aplicação off-line nessa parte iremos manipular os algoritmos através do OpenCV.

Projeto muito interessante, uma vez pensei em realizar um projeto que precisava analisar o conteúdo das imagens, a solução mais fácil que encontrei, foi usar a api do gpt 4, aí também pod...