単体のファイル
% git rm --cached /path/to/file.txt
ディレクトリ丸ごと
% git rm --cached /path/to/dir
上記を行ってから、add, commit, push します。