Eu vi isso na documentação, e fiquei confuso. Funcionar, meu codigo funciona sem o memo. Porém não da forma que eu queria, pois o componente é recriado e portanto todo o processamento do canvas é feito novamente.
Respondendo a "Se essa solução foi feita apenas para otimizaçã..." dentro da publicação React.memo: evitando re-renderizações
1