Cara, isso seria muito massa mesmo. Eu nunca trabalhei com essas tecnologias mas daria uma feature bem interessante.
Voce tem alguma referencia de projeto nesse sentido? O que eu mais penso que seja mais "burocrático" nesse sentido é a questão de proteção de dados.
Respondendo a "Uma feature sinistra seria tirar uma foto dum c..." dentro da publicação Pitch: Rate.io: compartilhe e divida facilmente os gastos do rolê
1
2
acho que tu pode contornar o problema dos dados se tu rodar tudo no navegador (não enviar o cupom fiscal pra um servidor pra processamento).
a forma mais comum de fazer isso é usando modelos de IA (procure por OCR ou table extraction).
o desafio aqui seria adaptar esses modelos pra rodar no navegador.
infelizmente só saberia te indicar projetos que fazem isso em python, mas daí tu precisaria de um servidor rodando.
algumas bibliotecas de referencia: PaddlePaddle/PaddleOCR e jsvine/pdfplumber (baseado em pdfs mas a ideia da extração de tabelas é a mesma)