Galatasaray'da 4 sezon üst üste Süper Lig şampiyonu olunup üstüne bir de UEFA kupası kazanılınca Terim kıymete bindi. Fatih Terim Fiorentina'dan gelen teklife sıcak bakıyordu. Nitekim 31 Mayıs 2000'de Fiorentina, Fatih Terim'le anlaştığını açıkladı.
Terim ilk kez bir Avrupa takımı çalıştırıyordu ve başlangıçta biraz bocalıyordu. Terim'in yönetimindeki Fiorentina ilk 6 maçta sadece 1 galibiyet almış ve UEFA Kupası'ndan elenmişti. Arka arkaya alınan kötü sonuçlar sonrası Fiorentina başkanı Gori, yeni teknik direktör arayışına girdi. Ancak Terim takımı toparladı ve üst üste başarılı sonuçlar elde ederek Fiorentina'yı ligde üçüncü sıraya, İtalya Kupası'nda ise finale taşıdı.
Terim'in oynattığı hırslı futbol, taraftarları etkiliyordu ve Terim'e duyulan sevgi artıyordu. Futbolcular tarafından da oldukça sevilince, Başkan Gori Terim'e yeni bir sözleşme önerdi ancak kendisi görevdeyken yerine başka bir antrenör aranmasını sindiremeyen Terim, teklifi reddetti ve sezon sonu takımdan ayrılacağını açıkladı. Oyuncular bu açıklamadan oldukça etkilendi ve üst üste kötü sonuçlar alındı. Brescia maçı sonrası Başkan Gori soyunma odasına girmek istedi ancak Terim buna izin vermedi ve aralarında sert bir tartışma yaşandı. Bu tartışmadan 2 gün sonra Terim istifa ettiğini açıkladı.
Oynattığı tutkulu futbolla İtalyanları kendine hayran bırakan Terim, sadece İtalya'nın değil dünyanın en büyük kulüplerinden Milan'ın teknik direktörlüğüne getirildi. Terim, Milan'da fırtına gibi başladı ve ligde 4 maçta 10 puan topladı. Ezeli rakibi Inter karşısında 4-2 kazanınca, Milan taraftarları dakikalarca "İmparator" tezahüratları yaptı.
Terim'in popülaritesi ve çok göz önünde olması bazılarını rahatsız ediyordu. Özellikle takımın eski oyuncuları Pirlo ve Maldini, Terim hakkında açıkça kötü konuşuyor ve eleştiriyordu. Bu durum yönetime kadar gitti ve Terim'in yerine Ancelotti adı anılmaya başlandı. Torino mağlubiyeti sonrası Terim'le yollar ayrıldı ve yerine Ancelotti getirildi. Terim, Milan ile çıktığı 13 maçta 8 galibiyet, 3 beraberlik ve 2 mağlubiyet aldı. Kötü bir performans göstermemesine rağmen yapılan karalama çalışmaları sonuç verdi ve Terim görevden alındı.