Ajuda com desempenho e responsividade

Olá de novo. Algum tempo atrás eu encontrei um projetinho antigo meu que utiliza o Color Thief, a ideia é você inserir uma imagem e a aplicação vai extrair as cores daquela imagem.
Eu iniciei o projeto sem a menor pretenção de nada, mas acabou sendo uma aplicação incrível que me ensinou muita coisa. Na época o meu conhecimento era bem raso, e por mais que eu tenha aprendido pouco de lá pra cá, eu ainda encontrei várias partes do código que podiam ser melhoradas. Dei um tapa no visual da aplicação, mas a ideia principal era ver ele funcionando, ja que eu havia parado no meio. Mas por mais que eu tenha alterado relativamente bastante coisa no código, e feito ele funcionar (o que para mim ja valeu demais) ele ainda parce meio travado, e não parece muito responsivo.
Não sei se o fato de ele ter sido feito na plataforma do CodePen tem algum papel nisso, mas eu ainda queria ver ele funcionanado de maneira bonita e fluida. Por isso pensei em consultar os maiores gurus da tecnologia pra me dar uma ajuda. Pode ser que tudo que esteja ali tenha sido feito de maneira errada desde a fundação, mas é pra isso que estamos aqui, pra aprender com os erros e melhorar com esse aprendizado.
Estarei disponibilizando o link do projeto pra quem se interessar, se quiserem fazer um fork do projeto para alterarem as coisas fiquem a vontade, quero ver as diferentes abordagens do pessoal :)