Размонтировать SSHFS из Nautilus (с помощью umount)

Я могу смонтировать SSHFS следующим образом:

sshfs -o idmap=user SSH_HOSTNAME:/ ~/mountpoint

Теперь он хорошо отображается в Nautilus как съемное устройство с кнопкой извлечения. При нажатии на эту кнопку я получаю ошибку разрешения:

Невозможно размонтировать "foo"

umount: /home/bytecommander/ точка монтирования: в доступе отказано

То же самое, если я бегу напрямую umount ~/mountpoint,

Я знаю, что могу размонтировать его, используя fusermount -u ~/mountpoint или я мог бы использовать sudo umount ~/mountpoint, но я хочу, чтобы он работал в Nautilus (без повышенных привилегий), который, кажется, использует umount внутренне.

Как мне этого добиться?

PS: я где-то читал, что я должен добавить своего пользователя в fuse группа, но в моей системе 16.04 такой группы нет, и монтаж все равно работает, поэтому я не думаю, что это необходимо.