Ancelotti se inició profesionalmente en el Parma, en las categorías juveniles antes de que en 1976 debutara en el primer equipo de los parmesanos.. Tras su paso por el Parma, en 1979 se marchó a la Roma, donde Carletto jugó junto a grandes futbolistas como Paulo Roberto Falcão, Bruno Conti, Agostino di Bartolomei y fue dirigido por uno de sus grandes maestros: Nils Liedholm.

