pronombre neutro "lo"

En el pueblo en que vivo ahora, oigo en muchas ocasiones frases como: Me pediste tantas veces que no fuese a la piscina, que ahora, al pararme a recapacitar, me siento mal por no "haberlo" hecho (he puesto un ejemplo de frase más compleja para que, si fuera posible, me dieran ustedes una explicación más extensa; los pobladores del lugar me tienen algo confuso, a eso se debe mi curiosidad o pregunta)."Haberlo, como enclítico en este caso, ¿es correcto en esa oración? El "lo" se refiere a una parte anterior de la oración que no precede de forma inmediata al pronombre neutro, porque hay incisos entre medio, ¿Daría igual que estuvieran por medio esos incisos, o sólo sería válido para frases de una oración que fueran precedente e inmediatas al pronombre neutro?, o sea, sin incisos: ejm: Me dijo que fuera a trabajar a la piscina, y no haberlo hecho me ha traído problemas.Agradecería que me sacaran de dudas, y si pudieran extenderse en la cuestión expuesta, mejor que mejor. Hace bastante tiempo que estudié gramática y a veces me quedan dudas. ¿Lo, puede ser pronombre, sustituir toda una frase anterior de la misma oración, como sucede con "ello"?Saludos. Y gracias de antemano.