Il 22 maggio 2010 Hammer ha sposato Elizabeth Chambers. La coppia ha due figli: Harper Grace Hammer, nata nel 2014, e Ford Douglas Armand Hammer, nato nel 2017. Il 10 luglio 2020 Armie Hammer e Elizabeth Chambers hanno annunciato la loro separazione attraverso un post Instagram dopo dieci anni di matrimonio e tredici anni insieme.