Pode, só tem dois detalhes que a documentação oculta e talvez você tenha dificuldade:

1. Ao carregar, use assim:

<script src="https://unpkg.com/@supabase/supabase-js@2"></script>
<script>
const supabase = supabase.createClient('https://xyzcompany.supabase.co', 'public-anon-key')
</script>

O método demonstrado na documentação (usando ESM) não funciona no Chrome

2. Ative o RLS e adicione as políticas

• Use todos os templates exceto o Select
• Para o select: O Select do template permitem a todos lerem o que está escrito e as vezes isso não é o que você precisa, caso seja uma tabela privada:
  • Marque é é pro Select
  • Target role marque que é authenticated
  • Em using coloque true

Se não fizer isso ele vai acusar erro de CORS