2 choses :
- vous avez raison de ne pas accepter (surtout que visiblement il prévoit des choses chez vous sans vous demander votre avis)
- cette personne me semble en gros manque affectif donc il va falloir prendre des gants de velours pour lui faire comprendre que ce n'est pas votre vision de l'amitié et/ou de la relation que vous voulez avec lui, sans pour autant que ça le déprime (voire plus).
En résumé, je vous conseille de ne plus l'inviter chez vous mais de lui proposer de vous voir de temps en temps à l'extérieur (pour un pic-nic, un - et un seul - verre, un resto,...) et d'insister sur l'heure maximum de départ (parce que vous devez absolument faire des courses, aller voir quelqu'un, aller à un rendez-vous, etc). Ne pas mentir, mais vous arranger pour ne pas avoir le choix de vous séparer ce jour là à l'heure prévue.
Vous pouvez essayer aussi de lui faire rencontrer d'autres personnes (attention cependant à ce qu'il ne reproduise pas ce comportement avec ces autres personnes, mais plus il aura "d'amis" moins il aura le temps de coller chacun d'eux individuellement).
Ce n'est pas une situation facile, ni pour vous et sans doute pas pour lui non plus. Bon courage à tous !