OpenSSH клиент не подключается после удаления id_rsa

Поэтому я тупо переписал свои файлы id_rsa и id_rsa.pub ранее, и я просто решил rm -rf всю папку.ssh, потому что она была повреждена / сломана после работы с ней. С тех пор, когда я пытаюсь подключиться к ssh-серверам, мой клиент просто зависает. Вот вывод для -v

huoy@huoy:~$ ssh -v xxxx@xxxxx.xx -p xx
OpenSSH_6.7p1 Ubuntu-5ubuntu1, OpenSSL 1.0.1f 6 Jan 2014
debug1: Reading configuration data /etc/ssh/ssh_config
debug1: /etc/ssh/ssh_config line 19: Applying options for *
debug1: Connecting to xxxx@xxxxx.xx [xx.xx.xx.xx] port xx.

У кого-нибудь есть идеи, что могло бы вызвать это?

Спасибо

Изменить: я только что понял, что я могу подключиться к другим серверам через SSH. Я думаю, что это связано с сервером, хотя я не уверен, что. Разве это не должно просто отклонить меня, если у меня нет правильных ключей?