Inizia nel Vojvodina e viene acquistato nel 1990 dalla Stella Rossa. Con la squadra di Belgrado vince a sorpresa a Bari la Coppa dei Campioni 1990-1991 e l'anno seguente la Coppa Intercontinentale. Mihajlovic è fra i protagonisti della cavalcata europea. In semifinale al Maracaña di Belgrado si abbatte sul Bayern Monaco. Prima sblocca il risultato con una punizione poi propizia un autogoal con un tiro-cross. In finale trasforma il suo rigore.
 

 Nel 1992 Mihajlović sbarca in Italia, alla Roma, che lo acquista per 8,5 miliardi di lire su suggerimento di uno dei suoi primi scopritori, Vujadin Boskov. Con i giallorossi raccoglie 54 presenze e 7 gol ma mette assieme due stagioni in chiaroscuro. Il 26 agosto 1992, va a segno dopo 4' in Coppa Italia contro il Taranto, ed entra nella storia giallorossa, diventando l'esordiente più veloce a far goal con la maglia della Roma.
 

Due anni dopo passa alla Sampdoria, prima in prestito e poi a titolo definitivo. È qui che si afferma come uno dei protagonisti del nostro calcio. Lo vuole Sven-Goran Eriksson che sarà con lui anche alla Lazio. Proprio lo svedese lo fa giocare da centrale difensivo moderno, abile a rompere e impostare il gioco. In precedenza agiva prevalentemente come terzino sinistro. Con la Samp ottiene tre ottavi e un sesto posto.
 

 Nel 1998 passa alla Lazio per 22 miliardi di lire. È l’era Cragnotti e quei biancocelesti resteranno nella storia e nella memoria dei tifosi biancocelesti.
 

Sinisa Mihajlovic riesce a segnare una tripletta su punizione il 13 dicembre del 1998, nella partita vinta dalla sua Lazio contro la Sampdoria per 5-2.
 

​Nel 1999 vince la Coppa delle Coppe. In finale la sua Lazio batte il Maiorca per 2-1 con gol di Christian Vieri e Pavel Nedvěd. Fu l'ultima edizione di questo trofeo.
 

Nel 2000 vince lo scudetto con la Lazio, un traguardo enorme per la squadra di Cragnotti ed Eriksson. Sinisa metterà nel suo palmares coi biancocelesti anche due Supercoppe Italiane (1998 e 2000), una Supercoppa UEFA (1999) e due Coppe Italia (2000 e 2004).

Dal 2004 è all’Inter. Due anni per chiudere la carriera e preparare quella da allenatore: il 12 febbraio 2005 nella vittoria con la Roma fa doppietta di Sinisa Mihajlovic e si gioca la punizione da calciare con Adriano Leite Ribeiro con una conta diventata iconica.

Ai nerazzurri diventa il marcatore più anziano in campionato a 37 anni e 47 giorni grazie a un gol in Ascoli-Inter dell'8 aprile 2006. Con questa rete da calcio di punizione arriva a 28 marcature da fermo, è il miglior specialista del massimo campionato italiano dal 1987, insieme a Pirlo.
 

Con la Nazionale jugoslava ha partecipato ai Mondiali del 1998, segnando anche una rete, e agli Europei del 2000. In totale ha collezionato 63 presenze e 9 reti. Gioca per tre nazionali: Jugoslavia, poi, dal 1994, la Repubblica Federale di Jugoslavia, infine la Rappresentativa di Serbia e Montenegro