De fato, assim como o useMemo dentro de um componente só deve ser usado para tarefas mais complexas.

No meu caso realmente é porque cada Canvas leva entre 5 a 30ms para renderizar dependendo do dispositivo, e na verdade são 7 layera sobrepostos, em que só posso exibir depois que tudo renderiza.