בשנת 1927 התגייס ל"הגנה" ופתח בקריירה צבאית. ב-1935 מונה לחבר מרכז ההגנה, ומאוחר יותר הפך לממונה על הרכש והחימוש.
ב-1939 נאסרו חברי ההגנה על ידי הבריטים בכלא עכו. במהלך מאסרם, התגנב גלילי לכלא בתחפושת של שרברב, כדי להניא את האסירים ממחשבות בריחה.[1]
בתקופת מלחמת העולם השנייה השתתף בהכנות לפלישה גרמנית לארץ. בתקופת פעולתה של תנועת המרי העברי, שהייתה ארגון גג של המחתרות היהודיות בארץ ישראל, כיהן גלילי יחד עם משה סנה כנציג "ההגנה" בהנהגת התנועה. בשנת 1947 התמנה לראש המפקדה הארצית של הארגון (רמ"א).
הוא התנגד לשיתוף הפעולה עם הבריטים ולהסגרת לוחמי אצ"ל ולח"י לבריטים, במה שכונה הסזון, ולכן דרש שלא תהיה זו חובה מטעם ההגנה, אלא פעולה מתוך התנדבות אישית.[2]
בראשית מלחמת העצמאות, לפני הכרזת המדינה, עסק בארגון והקמת שירות האוויר, שהפך לחיל האוויר, וכן בהקמתם של השירותים שהפכו לאחר מכן לחילות השריון, הים והתותחנים. ב-3 במאי1948 ביטל דוד בן-גוריון את תפקיד הרמ"א ונטל את הסמכויות לידיו. ראשי האגפים במטה הכללי של ההגנה הציגו לדוד בן-גוריון אולטימטום בדרישה להחזיר את גלילי לתפקידו. פרשה זו מכונה "מרד הגנרלים". בן-גוריון הסכים להחזירו לתפקידו עד אשר מנהלת העם (הגוף המבצע העליון של היישוב בתקופה שבין החלטת האו"ם לבין הכרזת המדינה) תקבע נהלים לניהול המלחמה ותקנים למפקדיה.
טרם ההכרזה על הקמת המדינה, נשאל על ידי דוד בן-גוריון אם הוא מוכן להיות שר הביטחון בממשלתו, אך גלילי לא קבל את ההצעה, וטען כי לרגל המלחמה הקשה הצפויה, צריך שראש-הממשלה יחזיק גם בתיק הביטחון.[3]
ערב הכרזת המדינה השתתף גלילי בישיבת מנהלת העם שדנה בשאלה האם להכריז על הקמת המדינה. ביוני 1948 ניהל גלילי את המשא ומתן עם האצ"ל והלח"י על פירוקם וצירופם לצה"ל. גלילי ניהל את המשא ומתן עם מנחם בגין על גורל אוניית הנשק אלטלנה. שנים לאחר-מכן, ציין שמעון פרס, בעניין זה, ש"היה מי שהטעה את בן-גוריון. הוא היה ישר כסרגל ופעל לפי ההנחיות של גלילי". בן-גוריון, בריאיון לאחר מכן, סירב להתייחס לאפשרות שקיבל מידע לא-נכון מגלילי.[4] גלילי גם עסק ברכש נשק מחו"ל. עם הקמתו הרשמית של צה"ל השתתף גלילי, יחד עם בן-גוריון, בהשבעת סגל הפיקוד העליון של צה"ל.
כשבן-גוריון החליט על פירוק הפלמ"ח התנגד לכך גלילי וטען כי הפירוק הוא מעשה מיותר ובזבוז של אנרגיה. לדעתו, שמירת הפלמ"ח במסגרתו לתקופת התהוות הצבא היא בעלת ערך רב בשמירת הרוח שבצבא. הוא סבר כי ההסתייגות הרעיונית-מפלגתית של דוד בן-גוריון לגבי הפלמ"ח, הכריעה את הכף ולא השיקולים הצבאיים של מבנה הצבא החדש.[5]
בשנת 1963 התאבד בנו, יונתן. בעקבות מותו יצא הספר "יונתן גלילי, אביב קצר" - אוסף ממכתביו. בשנת 1986 נפטר גלילי. הוא הותיר אחריו אישה ובן - שלמה, אביה של אשת התקשורת עינב גלילי. אחותו של גלילי, אסתר ברצ'נקו שאול היא סבתו של הבמאי דרור שאול שכתב וביים את הסרטים מבצע סבתא, על פי סיפור לווייתה, ואדמה משוגעת.
ישראל גלילי בבסיס צה"ל בסיני משתתף בתוכנית "קלידוסקופ" עם חיים יבין מהטלוויזיה הישראלית.במוקדי עשיה והכרעה / מנאומיו ומסותיו של ישראל גלילי / ערך שלמה דרך, תל אביב: הקיבוץ המאוחד, 1987
טעם המערכה, תל אביב: הקיבוץ המאוחד, 1987
אל ועל: איגרות ודמויות, אפעל: מרכז ישראל גלילי - יד טבנקין, 1990
^הבר, היום תפרוץ מלחמה זכרונותיו של תא"ל ישראל ליאור. עידנים/ידיעות 1987. עמ' 119–120: "ראש וראשון ליועצים ולאנשים הקרובים בלשכת רה"מ היה השר ישראל גלילי...עצם ישיבתו בלשכת רה"מ, בקרבת רה"מ, הייתה לתועלת רבה לאשכול".
^אסנת שירן, "חצי יובל להקמת המרכז לחקר כוח המגן מייסודו של ישראל גלילי", בתוך: ניר מן (עורך), עלי זית וחרב: קו התלם, יא, ירושלים: כרמל והמרכז לחקר כוח המגן מייסודו של ישראל גלילי, 2011, עמ' 272-265