Jego ojciec był artystą budowniczym, matka stylistką włosów. Rodzice to z pochodzenia włoscy Amerykanie. Przyszedł na świat 22 listopada 1967 roku w miasteczku Kenosha nad jeziorem Michigan, w stanie Wisconsin. Ma brata Scotta i dwie siostry: Tanię i Nicole. Jednak rodzice rozwiedli się. Tubylec stanu Wisconsin, ze swoją rodziną przeniósł się do Virginia Beach, w stanie Wirginia, gdzie mieszkał w latach, gdy był nastolatkiem. Po ukończeniu tamtejszej First Colonial High School, przeprowadził się do San Diego i wkrótce wyemigrował na północ, by osiedlić się w Los Angeles. Uczęszczał do konserwatorium Stelli Adler i później założył Orpheus Theatre Company. Pracował jako rolnik w zakładzie Equity-Waiver. Następnie przez dziewięć lat był barmanem. Zadebiutował na deskach teatru The Cast w sztuce "Avenue A" i przez jakiś czas współpracował z tym teatrem, grając w szeregu nagradzanych sztuk Justina Tannera, w tym "Still Life With Vacuum Salesman" oraz "Tent Show". Aż otrzymał rolę w nowojorskiej produkcji off-Broadway pt. "This is Our Youth" autorstwa Kennetha Lonergana i zwrócając na siebie uwagę krytyków odebrał nagrodę Lucille Lortel dla Najlepszego Aktora. Mark Ruffalo jest także scenarzystą, reżyserem i producentem. Był jednym z autorów scenariusza do filmu "The Destiny of Marty Fine", dla niezależnej wytwórni, który w 1995 roku zajął drugie miejsce podczas Festiwalu Filmowego Slamdance w Park City w stanie Utah. Brał udział w ośmiuset przesłuchaniach. Aż doczekał się wreszcie przełomowej roli Terry'ego Prescotta w dramacie "Możesz na mnie liczyć" Kennetha Lonergana. Rola ta przyniosła mu nagrodę Nowego Pokolenia przyznawaną przez Związek Krytyków Filmowych Los Angeles i dla Najlepszego Aktora na festiwalu filmowym w Montrealu oraz nominację do nagrody na Chicago Film Critics Association, Independent Spirit Award i trzecie miejsce wytypowane przez Społeczność Krytyków Filmowych w Bostonie. Na małym ekranie można go było zobaczyć m.in. w serialu "Patrol" jako Zane'a Marinelliego. W czerwcu 2000 roku ożenił się z aktorką Sunrise Coigney, a spotykali po prostu na ulicy. Mają syna Keena (ur. 2001). Zagrał główną rolę w niezależnej produkcji "XX/XY", pierwszym filmie wytwórni Nylon Films, w reżyserii Austina Chicka, na podstawie jego własnego scenariusza. Miał potem pojawić się w thrillerze SF "Znaki", lecz jednak musiał opuścić plan filmowy ze względu na rozpoznany guz mózgu i tymczasowo jego twarz była częściowo sparaliżowana. Wtedy jego rolę przejął aktor Joaquin Phoenix. Interpretacja postaci Stana, jednego z techników Lacuna Inc. w komedio-dramacie romantycznym "Zakochany bez pamięci" wypadła w jego wykonaniu szczególnie dobrze. Jest laureatem takich nagród teatralnych jak Dramalogue i Theater World. Powrócił na scenę jako Stephen w przedstawieniu "The Moment When", sztuce zdobywcy nagrody Pulitzera i nagrody Tony, Jamesa Lapine. Jest także reżyserem kilku sztuk teatralnych (m.in. "Margaret" Timothy'ego McNeila w Hudson Backstage Theatre w Los Angeles) i jednoaktówek.