Vou tentar te responder de uma forma breve para que voce possa pesquisar melhor cada uma delas.

Quais seriam as etapas?

Primeiro ter os dados limpos e organizados, faça a extração do conteudo relevante. Segundo você precisa procurar uma estrategia. Uma mais barata é simples é usar a memoria para LLM. Uma mais cara, complicada porém mais eficiente é tunar (finetuning) o modelo com o texto extraido do forum.

Memoria

É uma tecnica que estão usando por ai (inclusive citada aqui no tabnews) para extender o contexto e conhecimentos dos LLMs (large language models). Funciona de uma forma até simples você manda um input (uma pergunta ou instrução) e depois usa esse input fazer query no banco de dados que tem o conhecimento extra. Ai você manda para o modelo o input e o contexto extra e ai o modelo gera uma resposta mais proxima do que voce queria. Os bancos de dados usados para esse proposito são os vector databases eles armazenam o texto na forma de uma sequencia de numeros mais o texto puro. Procure melhor na internet como fazer isso.

Finetuning

É pegar um modelo pronto e treinar ele com dados novos. Nesse caso você teria que pegar um modelo aberto que se assemelha com o ChatGPT (tem varios disponiveis por ai, Dolly, Alpaca, Vicuna etc.) Porém isso vai ser complicado e caro, mas vai trazer informação para dentro do modelo, talvez combinado com a memoria fique melhor ainda.

Qual a melhor tecnologia e linguagem para fazer a AI?

Por enquanto python costuma ter as melhores ferramentas.

Como processar as páginas e dados?

Provavelmente como você já citou BeatifulSoup ou algo semelhante deve ser o suficiente.

Como colocar o modelo/chatbot em produção? (de preferência de graça)

De graça impossivel, rodar e treinar modelos de IA costuma ser caro, não estamos falando de paginas de blog ou apis de brincadeira. Você pode colocar em produção talvez com o huggingface ou outro servico semelhante.