Antes de tudo tem que refinar os requisitos, exemplo feriados, datas comemorativas, cancelamentos, recolocação de horário, mudança de datas e horários.
A rocketseat fez um projeto integrando junto ao google calendar: https://github.com/rocketseat-education/06-ignite-call, você pode seguir esse exemplo e adaptar para sua realidade, acredito que será um bom caminho para você