Hong Kong, 1962. M. et Mme Chow emménagent dans leur nouvel appartement le même jour que leurs voisins, M. et Mme Chan. Sans comprendre comment cela a commencé, Chow Mo-wan et Chan Li-zhen apprennent que leurs époux respectifs ont une liaison. Cette découverte les choque mais les rapproche. Ils se voient de plus en plus souvent mais le voisinage commence à s'en apercevoir. Il semble n'y avoir aucune possibilité pour eux de vivre une relation amoureuse. Mais la retenue, les réserves émotionnelles de Mme Chan hantent M. Chow, qui sent ses sentiments changer.