Вход в систему без полномочий root с ключом

У меня есть настройки ключей для пользователя root, чтобы я мог войти в систему как пользователь root следующим образом:

ssh -p xxxx root@xx.xx.xx.xx

но я хочу войти в систему как пользователь без полномочий root john что я создал и проверил, также установил свой домашний реж. Кроме того, я также изменил /etc/ssh/sshd_config включать:

AllowUsers john

.. но я все еще получаю:

~> ssh -p xxxx john@xx.xx.xx.xx
Permission denied (publickey).

Что мне не хватает?