Muy probablemente al declarar int matriz[10000000][100000000] los índices "monstruosos" del tipo de "100000000" sean truncados, y el resultado de ese recorte quepa en memoria, imagina que el resultado sea [1][1] por ejemplo.
Mira el RAM MAP que te genera el CCS y comprueba qué área de memoria te reserva para esa matriz y verá qué es lo que ha hecho el CCS con tus "100000000"