วัยเยาว์ เจ้าชายฟิลิป แห่งกรีซและเดนมาร์กประสูติที่เกาะคอร์ฟูในประเทศกรีซเมื่อวันที่ 10 มิถุนายน ค.ศ. 1921 เป็นพระโอรสพระองค์เดียวและเป็นบุตรคนที่ห้าของเจ้าชายแอนดรูว์แห่งกรีซและเดนมาร์ก กับเจ้าหญิงอลิซแห่งบัทเทินแบร์ค ทรงเป็นสมาชิกในราชวงศ์ชเลสวิช-ฮ็อลชไตน์-เซอเนอร์ปอร์-กลึคส์บวร์ค
อันเป็นสาขาหนึ่งของราชวงศ์อ็อลเดินบวร์ค เนื่องด้วยพระบิดาทรงเป็นทายาทโดยตรงของพระเจ้าจอร์จที่ 1 แห่งกรีซ และพระเจ้าคริสเตียนที่ 9 แห่งเดนมาร์ก ทำให้ทรงมีศักดิ์เป็นเจ้าชายของทั้งกรีซและเดนมาร์ก อยู่ในลำดับการสืบราชสันตติวงศ์ของบัลลังก์ทั้งสอง อย่างไรก็ตาม พระราชบัญญัติว่าด้วยการสืบราชสันตติวงศ์เดนมาร์ก ค.ศ. 1953 ได้ตัดสิทธิ์สืบราชบัลลังก์เดนมาร์กของครอบครัวฟิลิป
ความพ่ายแพ้ในสงครามกรีก–ตุรกี บีบบังคับให้เสด็จลุงของฟิลิป พระเจ้าคอนสแตนตินที่ 1 แห่งกรีซ ต้องสละราชสมบัติใน ค.ศ. 1922 และลี้ภัยไปเกาะซิซิลี ส่วนเจ้าชายแอนดรูว์พร้อมครอบครัวถูกจับกุมโดยคำสั่งของรัฐบาลทหารที่ตั้งขึ้นใหม่ ผู้บัญชาการรบหลายคนถูกประหารชีวิต
ในขณะนั้น หลายคนมองว่าเจ้าชายแอนดรูว์คงไม่รอดชีวิต เดือนธันวาคมปีนั้นเอง ศาลปฏิวัติได้พิพากษาเนรเทศเจ้าชายแอนดรูว์ออกจากประเทศกรีซตลอดชีวิต อังกฤษส่งเรือหลวงคาลิปโซมารับครอบครัวของเจ้าชายแอนดรูว์ไปยังประเทศฝรั่งเศส พวกเขาเลือกที่จะอาศัยอยู่ในบ้านเช่าแถบชานเมืองกรุงปารีส ซึ่งเช่าจากพระญาติในราชสำนักฝรั่งเศส
วัยเยาว์ เจ้าชายฟิลิป ได้รับการศึกษาครั้งแรกที่ The Elms โรงเรียนอเมริกันในกรุงปารีส ทรงมีภาพจำเป็นเด็กฉลาดแต่ถ่อมตัว ต่อมาในปีค.ศ. 1928 ทรงถูกส่งตัวไปอังกฤษและเข้าเรียนที่โรงเรียนแชม ช่วงนี้ทรงอยู่อาศัยกับพระอัยกีที่พระราชวังเค็นซิงตัน ซึ่งก็คือวิกตอเรีย เมานต์แบ็ทแตน มาร์เชเนสแห่งมิลด์ฟอร์ดเฮเวน
และอาศัยกับท่านลุงที่ตำหนักลินเดิน ซึ่งก็คือจอร์จ เมานต์แบ็ทแตน มาร์ควิสที่ 2 แห่งมิลด์ฟอร์ดเฮเวน และในช่วงสามปีหลังจากนี้ พี่สาวสี่พระองค์ได้สมรสกับเจ้าชายเยอรมันและย้ายไปพำนักในประเทศเยอรมนี ทางด้านพระมารดาถูกวิจนิจฉัยว่าเป็นโรคจิตเภทและต้องอยู่ในสถานบำบัดของซีคมุนท์ ฟร็อยท์
พระบิดาก็ย้ายไปอยู่ในคฤหาสน์ที่มงเต-การ์โล เมืองทางใต้ของฝรั่งเศสใกล้ชายแดนดิตาลี ฟิลิปแทบไม่ได้ติดต่อกับพระมารดาอีกเลยตลอดช่วงวัยเด็ก
ใน ค.ศ. 1933 เจ้าชายฟิลิปในวัย 12 ชันษาถูกส่งตัวไปยังโรงเรียนของวังซาเลิมในประเทศเยอรมนี เนื่องด้วยครอบครัวพี่เขยของพระองค์เป็นเจ้าของโรงเรียนแห่งนี้ เมื่อระบอบนาซีเรืองอำนาจในเยอรมนี นายควร์ท ฮาน ชาวยิวซึ่งเป็นผู้ก่อตั้งโรงเรียน รู้สึกไม่ปลอดภัยในชีวิตจึงได้อพยพไปยังประเทศสกอตแลนด์และก่อตั้งโรงเรียนกอร์ดอนสตันที่นั่น
เจ้าชายฟิลิปย้ายตามไปที่นั่นในสองภาคเรียนให้หลัง ต่อมาใน ค.ศ. 1937 เจ้าชายฟิลิปได้ทราบข่าวร้ายว่า เจ้าหญิงเซซีลี พี่สาวของพระองค์ พร้อมด้วยสามีและบุตรน้อยสามคน ทั้งหมดเสียชีวิตในอุบัติเหตุเครื่องบินตกในเที่ยวบินโคโลญ–ลอนดอน เจ้าชายฟิลิปในวัย 16 ชันษาเสด็จร่วมรัฐพิธีศพที่เมืองดาร์มชตัท ประเทศเยอรมนี และในปีต่อมา จอร์จ เมานต์แบ็ทแตน ผู้เป็นลุงและผู้ปกครองของเจ้าชายก็เสียชีวิตจากโรคมะเร็ง
เนื่องด้วยเจ้าชายฟิลิปเสด็จออกจากประเทศกรีซขณะเป็นทารก ทำให้พระองค์ไม่สามารถตรัสภาษากรีก พระองค์เคยกล่าวใน ค.ศ. 1992 ว่าทรงเข้าใจภาษากรีกอยู่บ้าง และระบุว่าทรงคิดว่าตัวเองเป็นคนเดนมาร์ก แต่ครอบครัวพระองค์พูดภาษาอังกฤษ, ฝรั่งเศส และเยอรมัน
