O que são projetos Open Source?

São projetos que não são desenvolvidos por uma empresa ou pessoa específica, qualquer um pode ir lá e contribuir com o código.

A resposta para a segunda pergunta é que são projetos públicos.

Por que abrir o código de um projeto?

Do meu ponto de vista, isso faz com que outras pessoas vejam e ajudem a desenvolver, assim fazendo o projeto evoluir mais rapidamente e também ter projetos open source fazem com que você ganhe visibilidade na área.

Além disso, quando os recrutadores verem seus projetos, eles vão querer ver o código para avaliar se você escreve código bem e coisas do tipo.

Existem projetos assim para iniciantes em uma linguagem?

Eu não sei como encontrar projetos assim, mas existe uma label no GitHub chamada goodFirstIssue onde tem várias issues para iniciantes resolverem: link para pesquisar a issue, aí você escolhe a sua linguagem lá.

Como um iniciante pode disponiblizar um projeto Open Source?

É só deixar o repositório no GitHub público, assim qualquer um vai poder ver o código e abrir Pull Requests adicionando melhorias.

Recomendo que leia este post, ele vai responder muitas coisas: Como se tornar um voluntário em projetos Open Source.