Culture du kumquat

j'ai un kumquat en pleine terre à l'abri qui ne fait que des fleurs et des feuilles au soleil malgré tout , je voudrais bien avoir des fruits il en a donné au début puis plus rien que dois je faire j'habite dans le sud de la France, il pousse qu'en feuilles M.