25세에 과거하여 벼슬 길에 나아가 39세에는 수신사로 일본 국내의 정세 파악과 병자 수호조규의 뒷처리 문제로 활약하였다. 그러자니 자연 당초 대신 중 가장 식견이 뛰어난 인물로 손꼽히게 되었다. 그리하여 개화를 반대하는 척사운동이 전개되어 대관들의 태도가 달라져도 그의 태도는 의연한 바 있었다. 미,영,독 여러 나라와의 수교에도 힘이 컸으며 개국 이래로 청,일의 세력 다툼 가운데 정국은 걷잡을 수 없이 변하였건만 그때마다 그들은 김홍집의 능력을 필요로 했기 때문에 계속 요직에 앉게 되고 위에 말한 것과 같은 별명도 그래서 생기게 되었다. 이렇게 혁신파에게도 수구파에게도 쓰였던 때문에 대가 약한 인물 같아도 보이나 중도의 인물인 때문에 또 식견과 외교 수완이 뛰어났기 때문에 중용되었던 것이다.
일본이 희미해져가는 세력을 만회하려고 낭인들을 시켜 경복궁에 들어가 명성왕후를 시해하는 을미의 변을 일으키고 친일 내각을 세웠을 때 그 수반으로 뽑히었다가 아관파천으로 친로파가 정권을 잡자 거리에서 폭력배화한 보부상에 의해 살해되었다. 그의 역량을 충분히 발휘해 보지 못한 것은 못내 애석한 일이다.