הגמרא במסכת ברכות (לד ע"ב) אומרת כי לכתחילה יש לכוון את ליבו בכל תפילת שמונה עשרה, אך בדיעבד ככל שהכוונה קשה עליו הרי שעל המתפלל לכוון את ליבו לכל הפחות בברכת אבות.
וביאר הרשב"א (ברכות יג ע"ב ד"ה שמע) כי בברכת אבות קיימת חובה יתרה לכוון שכן ברכה זו שונה משאר ברכות שמונה עשרה משום שעניינה הוא סידור שבחיו של הקבה ואין ראוי שבעת שאדם עוסק בשבחי הקב"ה ליבו יפנה לדברים אחרים.
הכוונה הנדרשת בתפילת שמונה עשרה
נוכח החובה לכוון בכל תפילת שמונה עשרה ובדיעבד לכל הפחות בברכת אבות יש לברר מהי הכוונה הנדרשת בברכת אבות ובתפילת שמונה עשרה.
הרמב"ם בהלכות תפילה (פרק ד הלכה טו) פוסק שתפילה שאיננה נאמרת בכוונה איננה נחשבת תפילה וממילא שהמתפלל ללא כוונה עליו לחזור ולהתפלל. מדברי הרמב"ם בהלכה זו עולה כי נדרשת כוונת הלב בכל התפילה ואין הבדל בין ברכת אבות לשאר הברכות שבתפילת שמונה עשרה.
לכאורה קיימת סתירה בדברי הרמב"ם שכן בהמשך הלכות תפילה פוסק הרמב"ם (בפרק י הלכה א) כי רק מי שלא כיוון בברכת אבות עליו לחזור ולהתפלל, אבל בשאר ברכות שמונה עשרה אף אם המתפלל לא כיוון ליבו הרי שאין חובה לחזור ולהתפלל וזאת בניגוד למשתמע מההלכה הקודמת בפרק ד הלכה טו.
בחידושי רבינו חיים הלוי על הרמב"ם (הלכות תפילה פרק ד הלכה טו) ביאר כי אין סתירה בדברי הרמב"ם שכן שתי ההלכות הנראות סותרות עוסקות בשתי כוונות נדרשות שונות. בפרק ד הלכה טו הרמב"ם מתייחס לכוונה המהותית של התפילה והיא שהמתפלל יכוון כי הוא עומד לפני ה' בתפילה, וממילא שללא כוונה זו לאמירת מילות התפילה אין משמעות, ולכן כוונה זו נדרשת לא רק בברכת אבות אלא בכל התפילה.
מלבד הכוונה של עומד לפני ה', קיימת כוונה נוספת שעניינה הוא הבנה ומחשבה על פירוש המילים, בהקשר לכוונה זו קיימת הבחנה בין ברכת אבות לבין שאר ברכות התפילה, והגם שלכתחילה יש לכוון את פירוש המילים של כל התפילה אך בדיעבד ככל והמתפלל כיוון את פירוש המילים רק בברכת אבות הרי שהוא יצא ידי חובת תפילה ואין הוא נדרש לחזור ולהתפלל, ולכן פסק הרמב"ם בפרק י כי בדיעבד אם כיוון ליבו רק בברכת אבות הרי שיצא ידי חובת התפילה.
לא כוון באבות האם חוזר ומתפלל תפילה נוספת
הגמרא במסכת ברכות (ל ע"ב) דנה בשאלה האם יחיד מתפלל תפילת מוסף. כראיה שההלכה היא כשיטת חכמים הסוברים שגם יחיד מתפלל מוסף מביאה הגמרא את עדות רבי יוחנן שראה את רבי ינאי מתפלל תפילת שחרית ולאחריה התפלל ביחידות תפילה נוספת, מכך הסיק רבי יוחנן כי גם שיטת רבי ינאי היא שהיחיד מתפלל תפילת המוסף. על ראיית רבי יוחנן הקשה רבי ירמיה שייתכן שהסיבה שרבי ינאי התפלל תפילה נוספת היא משום שרבי ינאי לא כיוון את ליבו בברכת אבות של שחרית וממילא הוא התחייב לחזור ולהתפלל תפילת שחרית נוספת ולכן אין ראיה שהיחיד רשאי להתפלל מוסף.
הגמרא דחתה הגמרא את קושיית רבי ירמיה מהטעם שרבי יוחנן הוא גברא רבה וממילא ברור שרבי יוחנן בדק ודקדק בעדותו כי אכן רבי ינאי התפלל ביחידות תפילת מוסף ולא חזר על תפילת שחרית פעם נוספת בשל אי כוונתו בברכת אבות.
לאור דברי רבי ירמיה פסק הרא"ש (ברכות פ"ד סי' כא) כי מי שלא כיוון את ליבו לכל הפחות בברכת אבות הרי שעליו לחזור ולהתפלל, אך הטור (או"ח סי' קא) כתב כי בזמנינו (בזמן הטור) אין לחזור ולהתפלל בשל חוסר כוונה בברכת אבות שכן קיים חשש כי גם בתפילת החזרה המתפלל לא יכוון בברכת אבות.
השולחן ערוך (או"ח סימן קא סעיף א) פסק להלכה את שיטת הרא"ש שאם לא כיוון באבות יש לחזור ולהתפלל והרמ"א העתיק את דברי הטור כי בזמנינו אין חוזרים להתפלל בשל חסרון כוונה בברכת אבות.
לאור האמור יש לדון מה דינו של העומד באמצע ברכת אבות ונזכר שלא כיוון בתחילת ברכת אבות, בעניין זה כתב המשנה ברורה (סי' קא סע"ק ד) בשם החיי אדם כי ככל ולא אמר את ברכת מגן אברהם הרי שיכול לחזור ולהתפלל מ-אלוקי אברהם שבברכת אבות.
בפסקי תשובות הערות סימן קא הערה 15 כתב כי יש מהאחרונים הסוברים שאם נזכר שלא כיוון כשהוא עדיין באמצע ברכת אבות הרי שיכול לחזור אף לאלוקינו ואלוקי אבותינו "ובאורח נאמן סק"ב כתב שיחזור ל'אלקי אבותינו' (ובהגהת בנו שם שהחיי"א נמנע מלכתוב כן כנראה משום דאין להוריד הוא"ו דואלקי מנוסח התפלה), וכ"כ בשו"ת יבי"א ח"ג סי' י' סק"ה (ועיי"ש שדוחה דברי הכה"ח סק"ד שהביא דברי פתח הדביר לפקפק על החיי"א, דפקפק רק על ראייתו ולא על עצם הדין), ובהליכות שלמה (שם) שאם החסיר מלכוין רק בחלק מהברכה די שחוזר לשם. ואם כיון בעיקר הברכה (דהיינו שהוא אלקינו ואלקי האבות וקונה הכל) א"צ לחזור אם הוא כבר בסוף הברכה - הליכות שלמה שם."
להשלמת הדברים ייאמר כי ככל ונזכר באמצע תפילת שמונה עשרה שלא כיוון ליבו בברכת אבות, כתב הביאור הלכה (אח"ח סי' קא ד"ה והאידנא אין חוזרין) בשם החיי אדם שיכול להמשיך בתפילתו ואינו צריך לחזור לראש התפילה.
בעניין זה הביא הפסקי תשובות את דברי הקהילות יעקב (ברכות סי' כז) ועוד אחרונים כי גם בלא כוונה בברכת אבות המשך אמירת התפילה היא מצווה ואין לראות בהמשך התפילה ברכה לבטלה או אמירה בעלמא. עוד כתבו האחרונים (הובאו דבריהם בפסקי תשובות סי' קא סע"ק א) כי מי שיודע ומכיר את עצמו שבדרך כלל הוא מכוון בברכת אבות ובתפילה הנוספת יעלה בידו לכוון את ליבו בברכת אבות הרי שיכול לחזור ולהתפלל תפילה נוספת כדי לזכות לתפילה כדינה ובכוונה נכונה.
הדברים נכתבו לעיון ולימוד ואין בהם הוראת הלכה למעשה.