Hola Daniel.
El parametro que hay que tener en cuenta para la transmicion es el IDLE del SCK. En el datasheet esta especificado todo el protocolo a seguir para llevar a cabo la transmicion.
Creo que la primera parte esta bien Daniel, ya que en el proteus envia la trama correspondiente al reset y demas valores. Asi que me parece que no le estas asignando el IDLE adecuado y por eso el AD9833 no te reconoce la trama tal como tu la quieres. Mira en las opciones de configuracion del SPI monitor en el proteus que hay una opcion para configurar esa opcion.
El IDLE del SCK debe ser HI mientras el FSYNC pasa a LOW. Debes configurar esa parte en el setup del SPI, recuerda tambien que la comunicacion se inicia cuando FSYNC es LOW y la lectura de los datos se hace con el FALL EDGE.
Con respecto a la configuracion de la forma de onda, la puedes hacer cuando tu quieras, la parte importante es resetear siempre al inicio del programa del pic al AD9833 (por recomendacion del fabricante), de ahi no hay problema en la asignacion de frecuencia o fase o forma de onda (mira los diagramas de flujo del datasheet).
En mi caso, lo que hago despues de resetear el AD (despues del RESET le coloco a 0 el bit correspondiente) es enviar el registro de fase, y apago el AD mientras recibo por teclado la frecuencia, luego de recibido el valor de la frecuencia calculo el valor del registro de fase, le asigno la direccion y lo envio (yo tambien trabajo a 28 bits), y despues de confirmada la frecuencia enciendo el AD y listo.
Ok? viejo Daniel? espero te sirva.
Saludos