בשנת 1937 עבר אלמוגי לחיפה ומונה על ידי אבא חושי לראש פלוגות הפועל. אלמוגי המשיך לעבוד כפועל בניין מקצועי לצד תפקידו כמפקד פלוגות הפועל בחיפה[1]. רק בסמוך לגיוסו לצבא הבריטי ב - 1940, עקר עם משפחתו לבית שבנה במו ידיו בכפר סבא[1]
ב - 30 ביולי1940 התנדב אלמוגי, שהיה חבר ארגון ההגנה, לצבא הבריטי והיה ממתנדבי היישוב בחיל החפרים ושירת במצרים, לוב ויוון. למרות רצונו להתנדב לצבא הבריטי, נדרש אלמוגי לאישורם של אבא חושי מזכיר מועצת הפועלים ויעקב דורי, מפקד ה"הגנה" בעיר חיפה שטענו כי תפקידו בפלוגות הפועל חשוב מידי מכדי שישתחרר ממנו כעת. ההכרעה הועברה למשה שרת שפסק לזכותו ואישר את גיוסו.[1]
בראשית שרותו הצבאי נשלח, עם פעילים אחרים בפלוגות הפועל, לקורס פיקודי במחנה סרפנד (צריפין) אותו סיים באוקטובר 1940 בדרגת קורפורל (רב-טוראי) כשמאוחר יותר, עם מינויו לתפקיד פיקודי זכה לדרגת הסרג'נט (סמל). ערב גיוסם נתמנו מטעם המפקדה הארצית של "ההגנה", אלמוגי, יצחק בן אהרון ויוסף בנקובר, ל"מפקדה עלומה" של קבוצת המתנדבים ולרכז את פעילותה. לאחר סיום הקורס הוצב אלמוגי בפלוגת החפרים 606 כסמל מחלקה.[1]
ב - 29 באפריל 1941 נפל בשבי גרמניה הנאצית עם עוד כ-1,500 חיילים ארצישראליים נוספים ונכלא במחנה השבויים סטלג 8B בשלזיה עד שנת 1945. כמעט מייד עם ההחלטה על הכניעה גילה אלמוגי מנהיגות וארגן את כל החיילים הארצישראליים שבסביבה לנפילה מסודרת ומכובדת בשבי הגרמנים[2] לאורך כל שנות השבי קיבל על עצמו יוסף אלמוגי יחד עם מש"קים יהודים אחרים את תפקיד הניהול והטיפול בכלל השבויים הארצישראליים מול מפקדת מחנה השבוים ומול נציג השבויים הבריטיים רב-סמל שריף. בין יתר המקרים הזכורים היה ההתעקשות של אלמוגי מול מפקד מחנה השבויים כי אחד השבויים, יצחק אלקינד, שנפטר בבית חולים ממחלת סרטן, ייקבר בטקס צבאי מלא. אלמוגי ארגן את הטקס לפי מנהגי ישראל כולל דגל ישראל שעטף את הארון ותפילות "אל מלא רחמים" ו"קדיש". משמר כבוד גרמני צעד בראש מסע ההלווייה[3].
אלמוגי היה מיוזמי איסוף הכסף לטובת נטיעת יער "פדויי השבי" בארץ ישראל[4]. יער שניטע על ידי הקק"ל רק בשנת 2014 לאחר פעילות של פורום משפחות פדויי השבי - לוחמי חיל החפרים, והשתחרר משביו בתום צעדת המוות ב - 12 באפריל 1945 והועבר כמו עמיתיו למחנה הבראה באנגליה[5] ומשם חזרה ארצה ושחרור מהשרות
ב-1948 עיברת את שמו ל"אלמוגי", בין השנים 1951–1958 כיהן כמזכיר מועצת פועלי חיפה, מטעם מפא"י. בתקופה זו עמד מאחורי השביתה הגדולה במפעל אתא. בשנת 1961 התמנה לתפקיד מזכ"ל מפא"י, ומשנת 1955 כיהן כחבר כנסת מטעם מפא"י וכן כיהן כשר בלי תיק עד שבסוף אוקטובר 1962 מונה לשר השיכון והפיתוח. הוא המשיך לכהן בתפקיד זה עד מאי 1965, עת התפטר מהממשלה והצטרף לרפ"י. בין 1963 ל-1965 שימש גם כיו"ר מועצת המנהלים של חברת עמידר ובין 1963 ל-1966 גם כיו"ר חברת החשמל.
בשנת 1974 נבחר לתפקיד ראש עיריית חיפה כשסיעתו היא הגדולה ביותר במועצת עיריית חיפה עם 16 מושבים (מנדטים). אלמוגי כיהן בתפקיד זה עד שנת 1975, בה נבחר לתפקיד יו"ר ההסתדרות הציונית והסוכנות היהודית.
ישראל
יוסף אלמוגי, באתר הכנסת 
