עוד קודם להקמת המדינה וצה"ל, כבר בימי ההגנה המחתרתית, הייתה "מחלקה לענייני דת", שהוקמה בהוראת מפקד ההגנה דאז ישראל גלילי.
מיד עם הקמת צה"ל, קיבלה המחלקה את השם "השירות הדתי", אך בצה"ל לא הסתפקו בזה והקימו במקביל את הרבנות הצבאית, שמוזגו ליחידה אחת. ובסוף 1948 פורסמו פקודות המטכ"ל הראשונות בעניין, על ידי הרמטכ"ל דאז יעקב דורי.
לתפקיד הרב הצבאי הראשי הראשון, מונה הרב שלמה גורן, לימים הרב הראשי לת"א ולישראל, שקיבל דרגת אלוף לרגל המינוי. הוא בנה את המסגרת של הרבנות הצבאית, יזם את הוצאת הסידור בנוסח אחיד ומשולב. והתפרסם כמי שעלה עם שופר להר הבית עם שחרורו במלחמת ששת הימים.
אחריו בתפקיד כיהן הרב מרדכי פירון, ששירת בין השנים 1971-1977. בתקופתו התרחשה מלחמת יום כיפור, והוא יחד עם סגנו הרב גד נבון, נאלצו להתעסק רבות בהיתר כ-1000 העגונות שנותרו מהמלחמה, לצורך כך הוקם בית דין מיוחד בראשות מרן הגר"ע יוסף, שהיה אז הרב הראשי לישראל, ובמשך כמה חודשים הם דנו בכל התיקים והתירו את כל עגונות המלחמה.
סגנו, הרב גד נבון היה לרב הצבאי הראשי השלישי ו"המיתולוגי", במשך 23 שנה מאז 1977 ועד לשנת 2000. בתקופתו התפקיד השתדרג מקצין דת לרב צבאי לכל יחידה.
הרביעי היה הרב ישראל וייס, שדרגתו בניגוד לקודמיו הייתה רק תת-אלוף, הוא שירת בתפקיד בין 2000-2006. ופיתח את תחום זיהוי החללים בעיקר באמצעים טכנולוגיים.
הרב אביחי רונצקי הוא הרב הצבאי הראשי החמישי, שכיהן בין השנים 2006-2010. הוא הרחיב את תחום התודעה היהודית, ואת תחום ההלכה המופקד על מציאת פתרונות הלכתיים לבעיות בשטח.
כיום מכהן בתפקיד תת-אלוף הרב רפי פרץ, המשרת בתפקיד מאז יוני 2010.
בין השרותים שמעניקה הרבנות הצבאית: תפילות, נישואין, כשרות, טיפול בחללים ועוד. כיום, קיימים רבנים צבאיים במפקדת החטיבה, האוגדה והפיקוד וגם בבסיסי הדרכה, הכשרה ואימונים. בנוסף, לכל גדוד מילואים רב צבאי, המהווה חלק בלתי נפרד מסגל המטה של הגדוד.