結論

Gitのリモートリポジトリから特定のファイルを削除するには以下のコマンドを使います。
（ローカルリポジトリにはファイルが残ります）

ファイルを削除

$ git rm --cached <TARGET_FILE>

ディレクトリを削除

$ git rm --cached -r <TARGET_DIRECTORY>

なお、ローカルリポジトリのファイルも削除する場合は以下のコマンドを使います。

ファイルを削除

$ git rm <TARGET_FILE>

ディレクトリを削除

$ git rm -r <TARGET_DIRECTORY>