Quando scrivo del codice php all'interno di una pagina utilizzando la funzione echo ricevo un errore. Perché?

Perché stai usando i doppi apici senza farli precedere dai «caratteri di escape» (gli slash – ). Essi sono adoperati proprio per evitare questo tipo di errori.

<?
echo "<font size="2" color="darkblue">Ciao Mondo!</font>";
?>

Scrivendo il tuo file in questo modo non avrai errori.