¿Lo correcto es decir "literal" o "literalmente"?

Tengo entendido que decir literalmente está mal pero no estoy segura. Ejemplo: Ayer, literal, me estaba quedando dormida. Hay gente que podría decir literalmente en lugar de literal pero no estoy segura cuál de las formas es la correcta.