私は「英会話は全くダメ」（読み書きだけは自信あった）という状態で渡米したのですが……。
アメリカの人との会話よりも、むしろアメリカで見たテレビやDVDで『会話』を覚えていった気がします。
今はどうだか知りませんが、当時は「日本と違ってアメリカでは、安いテレビでもキャプション（字幕）標準装備！」という感じだったので、それを見れば、
「耳だけじゃ聞き取れない英語も、目で見る文字で補佐してくれる！」
という状態で、耳に入って来やすくなりました。
あと、テレビなら映像もあるので言葉をイメージしやすい、というのもあったと思います。
おそらくこれ、英語を耳で覚えるやり方としては、私だけじゃないと思うんですよね。似たようなことやってる人は多かったのではないか、と想像します。向こうで知り合った日本人が「今の上司から『渡米前にディズニー映画を繰り返し見て英語を覚えてこい』と言われた」と言っていましたから（ディズニー映画を指定されたのは、子供向けの簡単な英語から耳に叩き込むべき、という意味だったそうです）。

ただし私の場合、そうやってドラマなどで覚えてしまったら、自然に「yes」がくだけた表現の「yeah」になってしまって……。
ある時、上司との会話で自分が「yeah」を連呼していることに気づき「これって、もしかしたら失礼なのでは？」と思ったこともあります（それくらい「英語を自然に吸収した」という意味では、ポジティブなエピソードなのかもしれませんが）。