O docker-compose é ele mesmo outro projeto open-source.
Então para usar com colima, basta apenas ter o docker-compose instalado.
brew install docker-compose

Existe outra alternativa (mas que eu não uso, então não posso atestar a eficácia dele) que é usar o CLI docker com o argumento compose (usar docker compose em vez de usar docker-compose). Está documentado na página oficial.

O cliente docker (ou o docker-compose) fala com o servidor docker através de um unix socket. A configuração pode ser verificada com docker context list, que revela um unix:///Users/myuser/.colima/default/docker.sock.
O docker-compose deverá saber automaticamente como falar com o server usando o context certo.
O Colima configura automaticamente o docker context para que as coisas funcionem de forma simples e fácil, por isso a minha recomendação.