habérsele

Mi consulta es por una duda que se plantea por la aplicación de esa palabra. Por ej: "a pesar de habérsele enviado la carta no la respondió"Parecería un uso incorrecto ya que el uso de "haberse" es una forma impersonal y al agregarse la partícula "le", como forma del pronombre personal de la tercera persona del singular, estaríanmos precisando quien recibe la acción del verbo, o sea "él", y ya no sería entonce una forma impersonal.Agradezco la respuesta que puedan brindarme y los saludos muy cordialmente.