Sei como tu te sente, e já estive nesse lugar. Volta e meia ainda volto a ter alguma insegurança, principalmente com conversação. Já fiz cursos diversos, professor particular e usei muitos apps e nada disso dava aquela destravada, sabe?
O que me ajudou demais, apesar de difícil, foi a leitura dinâmica. Basicamente vc lê pequenos textos, tweets e coisas do tipo e tenta entender o contexto, sem se prender a palavras específicas. Um aliado extremamente valioso pra mim é a extensão do Google Tradutor, que me permite selecionar uma palavra ou frase e me dá a tradução, bem como a possibilidade de ouvir a pronúncia.
Começa lendo coisas sobre assuntos que tu gosta, vai ser menos chato. Eu comecei com a news TL;DR que traz tópicos curtos na vibe da news do Deschamps. Se expor todos os dias a algum tipo de conteúdo em inglês vai te dando vocabulário e aumentando tua confiança.