律师分析：
婚姻登记是个程序性问题，实质的内容还是你们的婚姻关系。虽然你们办理了两次婚姻登记，但实质内容都是一样的，主体双方也是相同的，所以，并不存在两个婚姻关系，解除了一个婚姻，你们直接也就不再存在婚姻关系了。
所以，没有必要在中国再离一次婚。其次，虽然你们是在日本离婚的，但是只要对离婚证明进行公证认证，在中国同样是有效的。所以，你们现在需要做的只是中国驻日本大使馆办理认证手续
【法律依据】：
《中华人民共和国民法典》
第一千零四十六条 结婚应当男女双方完全自愿，禁止任何一方对另一方加以强迫，禁止任何组织或者个人加以干涉。
第一千零五十条 登记结婚后，按照男女双方约定，女方可以成为男方家庭的成员，男方可以成为女方家庭的成员。
第一千零七十六条 夫妻双方自愿离婚的，应当签订书面离婚协议，并亲自到婚姻登记机关申请离婚登记。离婚协议应当载明双方自愿离婚的意思表示和对子女抚养、财产以及债务处理等事项协商一致的意见。
第一千零七十八条 婚姻登记机关查明双方确实是自愿离婚，并已经对子女抚养、财产以及债务处理等事项协商一致的，予以登记，发给离婚证。