Olha Rodrigo, não tenho muita experiência com robôs, mas você poderia ler o arquivo e enviar os dados para um sistema de filas como o RabbitMQ, e iniciar várias instâncias dos robôs para escutar essa fila. Creio que assim dê para otimizar bastante o tempo. Se você tiver conhecimento, dá para fazer isso facilmente com o Docker, e iniciar cada robô em um container.