[duvida] como filtrar conteudos no meu site

todos nos sabemos que existem alguns tupo de conteudos que nao podem ser postados no youtube, instagram ou ate no tabnews kkkkk. empresas gigantes com google tem todo um sistema automatico para filtrar esse tipo de conteudo, porem, em redes sociais de pequeno porte onde nos sabemos que talvez seja muito caro pra desenvolver farramentas desse tipo, como essas redes sociais filtram esse conteudo? é por humano ou é automatizado? e se for automatizado, qual ferramenta é ultilizada?

tigrinho

10 meses atrás

Para uma rede social pequena, poderia fazer o seguinte:

Um sistema de denúncia, manual.

Fora isso poderia incluir uma busca de palavras, contidas em uma lista "proibida". Se conter essas uma quantidade x dessas palavras, vai para um moderador analisar.

Se for imagens ou vídeos fica mais complicado. Se indexar vídeos upados no Youtube, já conta com o filtro do próprio Youtube.

CarlosPadaria

9 meses atrás

O facebook por exemplo utiliza um sistema de IA próprio pra filtrar textos e imagens nocivos.

Se tu quer filtrar textos, tu pode utilizar a API do ChatGPT ou similar, e utilizar um prompt que possa filtrar textos.

Alternativo a isso, tu pode procurar serviços de API específicos para filtragem e moderação de conteúdo. Pesquisando "Content Moderation Filter" eu já encontrei alguns, que filtram tanto textos quanto imagens.