Он собрал небольшую, но хорошую коллекцию живописи. Его основными увлечениями были чтение, пешие прогулки и охота.
«На охоте, — говорил он своему сыну, — обо всём забываешь, даже об атомных бомбах».
В еде Андрей Громыко был неприхотлив, в одежде скромен. Питал слабость к галстукам синего цвета.