et je peux meme éjecter la clé, il continue de fonctionner...
Si il fonctionne avec la clé éjectée, je pense que ton système est bien (enfin mal

mais il est là) installé.
Le fait que tu as besoin de ta clé pour booter, il est possible que le grub, nécessaire au démarrage soit installé sur la clé et non le disque dur.
Comme le dit pingux, il faudrait savoir le nom de ton disque dur, du style SDA ou SDB,... pour réinstaller grub sur ton disque dur.
Comme Pingux, je me servirais de Gparted pour savoir le nom du DD (gparted sert toujours, un jour où l'autre)
pour installer gparted , tu peux aller dans synaptic, taper "gparted" dans l'onglet de recherche, et de cocher, cliquer-droit : "installer".
Quand tu connais le nom (sda ou sdb ou...), pour réinstaller grub, tu pourras ouvrir un terminal et taper :
sudo grub-install /dev/sdX (en remplaçant X par ce que tu as trouvé)
puis :
sudo update-grub
et normalement ça devrait rouler.