Unmittelbar nach dem Ende des Ersten Weltkriegs wird im Bahnhof von New Orleans eine große Uhr enthüllt, an der ein Uhrmacher jahrelang gearbeitet hat. Der Uhrmacher, dessen Sohn im Krieg fiel, ordnete die Zahnräder so an, dass die Zeiger rückwärts laufen. Auf diese Weise, so hofft er, könne er Dinge ungeschehen machen und die Soldaten wieder nach Hause holen.

Am selben Abend stirbt Caroline Button (Joeanna Sayler) in New Orleans bei der Geburt ihres Kindes. Der Vater Thomas Button (Jason Flemyng), ein reicher Knopffabrikant, reißt den Säugling in seiner Verzweiflung an sich und stürmt aus dem Haus, um ihn zu ertränken. Als er am Kai steht, wird ein Polizist auf ihn aufmerksam. Thomas Button läuft davon und legt das Baby auf die Treppe eines Seniorenheims.

Dort wird es von Queenie (Taraji P. Henson), der afroamerikanischen Leiterin des Heims, und ihrem Freund Tizzy (Mahershalalhashbaz Ali) gefunden. Queenie nimmt das Baby an sich, gibt es als uneheliches Kind ihrer nicht hier wohnenden Schwester aus und lässt es von Dr. Rose (Patrick Thomas O’Brien), dem Arzt des Heims, untersuchen. Der wundert sich darüber, dass der Säugling zwar die Größe eines Neugeborenen hat, aber den Körper eines Achtzigjährigen mit Arthritis. Trotzdem nimmt Queenie ihn an als sei er ihr eigenes Kind. Sie nennt in Benjamin.

Als er größer wird, muss sie ihn im Rollstuhl schieben. Sie bringt ihn zu einem Wunderheiler (Lance Nichols), und der bringt Benjamin tatsächlich dazu, sich aus dem Rollstuhl zu erheben. Während Benjamin seine ersten Schritte macht, bricht der Heiler tot zusammen.

Einige Zeit später bekommt Queenie selbst eine Tochter, aber sie liebt Benjamin deshalb nicht weniger.

Wenn die siebenjährige Daisy Fuller (Elle Fanning) ihre Großmutter (Phyllis Somerville) im Heim besucht, spielt Benjamin mit ihr.

Benjamin sieht von Jahr zu Jahr jünger aus. 1936 heuert er als Matrose bei dem Schlepperkapitän Mike Clarks (Jared Harris) an. Als dieser erfährt, dass Benjamin noch nie mit einer Frau zusammen war, geht er mit ihm in ein Bordell. Benjamin ist begeistert: Nun weiß er, dass es sich lohnt, Geld zu verdienen. Er verlässt das Seniorenheim und fährt weiter zur See.

In einem Hotel in Murmansk lernt er Elizabeth Abbott (Tilda Swinton) kennen, die Ehefrau des Chefs der britischen Handelsmission, Walter Abbott (David Ross Paterson), von dem es heißt, dass er für den MI6 tätig ist. Nachts treffen sie sich heimlich in der Hotelhalle und lassen sich miteinander auf eine Affäre ein. Bei Elizabeth handelt es sich um eine erfahrene, weltgewandte Frau. Benjamin sieht zwar zwanzig Jahre älter aus als sie, hat aber noch kaum etwas erlebt. Einmal isst sie mit ihm zusammen Kaviar. Aber eines Tages findet er statt Elizabeth nur einen Zettel von ihr vor: „Schön, dir begegnet zu sein.“ Die Abbotts sind abgereist.

Nach dem japanischen Angriff auf Pearl Harbor am 7. Dezember 1941 beteiligt sich der patriotische Kapitän Mike Clarks mit seinem Schiff am Krieg. Er fällt bei einem U-Boot-Angriff.

Im Mai 1946 kommt Benjamin wieder nach New Orleans. Seine Pflegemutter Queenie wohnt und arbeitet nach wie vor im Seniorenheim. Tizzy starb, während Benjamin zur See fuhr.

Als Daisy (Cate Blanchett) beim Seniorenheim vorbeischaut, erkennt sie Benjamin (Brad Pitt) zuerst gar nicht, weil er so viel jünger aussieht, als sie ihn in Erinnerung hat. Aus ihr ist inzwischen eine erfolgreiche Balletttänzerin geworden. Sie lebt in New York. Benjamin führt sie zum Essen aus. Sie redet zwar über nichts anderes als das Tanzen, aber Benjamin genügt es, sie anzusehen. Danach versucht sie, ihn mit einem lasziven Tanz am Pool zu verführen. Benjamin, der sie ernsthaft liebt, lässt sich jedoch nicht auf einen One-Night-Stand mit ihr ein, und sie reist verärgert ab.

Thomas Button nimmt Benjamin mit in seine Fabrik und eröffnet ihm dort, dass er sein Sohn ist. Er erzählt von seinen Schuldgefühlen, weil er ihn aussetzte und zeigt ihm Fotos von seiner Mutter Caroline Murphy, die aus Dublin stammte, 1903 nach New Orleans gekommen war und als Dienstmädchen für seinen Vater gearbeitet hatte. Am 25. April 1918 heiratete Thomas Button sie. Im Jahr darauf starb sie bei Benjamins Geburt.

Kurz darauf folgt Thomas Button ihr ins Grab. Sein Vermögen hinterlässt er seinem Sohn.

Benjamin Button, der dadurch finanziell unabhängig ist, reist nach New York, um Daisy Fuller zu erobern. Nach ihrem Auftritt besucht er sie in der Garderobe. In einem exklusiven Restaurant hat er einen Tisch reservieren lassen, aber Daisy ist mit dem Ensemble verabredet und schlägt ihm vor, sie zu begleiten. Ihrem Freund David (Adrian Armas) stellt sie Benjamin als Freund ihrer Großmutter vor. Enttäuscht kehrt Benjamin nach New Orleans zurück.

Aus dem Telegramm einer Freundin von Daisy erfährt Benjamin einige Zeit später, dass die Tänzerin in einem Krankenhaus in Paris liegt. Durch die Verkettung unglücklicher Zufälle wurde sie nach einem Gastspiel beim Überqueren einer Straße von einem Taxi angefahren. Ihr rechtes Bein ist zertrümmert. Sie wird zwar wieder gehen, aber nie mehr tanzen können. Benjamin besucht Daisy. Weil es ihr unangenehm ist, dass er sie so sieht, fordert sie ihn deshalb barsch auf, sich aus ihrem Leben herauszuhalten.

Im Frühjahr 1962 taucht Daisy überraschend im Seniorenheim in New Orleans auf, um Benjamin zu besuchen. Sie unternehmen zusammen einen Segeltörn auf der Yacht, die Benjamin von seinem Vater erbte. Als sie zurückkommen, erfahren sie, dass Queenie gestorben ist. Benjamin Button verkauft die Villa seines Vaters und zieht mit Daisy in eine Doppelhaushälfte. Daisy eröffnet eine Ballettschule. Für sie beide ist es eine glückliche Zeit. Auch vom altersmäßigen Aussehen her passen sie jetzt zusammen. (In Wirklichkeit ist Benjamin ohnehin nur sechs Jahre älter als Daisy.)

1968 wird die Dreiundvierzigjährige schwanger. Benjamin befürchtet, das Kind könne ebenso wie er alt auf die Welt kommen, aber Daisy ist zuversichtlich, dass es gesund sein wird, und sie behält recht. Die Tochter erhält den Namen Caroline.

Auch Daisy weiß, dass Benjamin zum Kind werden wird. Sie glaubt, der Herausforderung gewachsen zu sein. Aber Benjamin hält es für erforderlich, dass seine Tochter einen erwachsenen Pflegevater bekommt. Deshalb verkauft er nach Carolines erstem Geburtstag die Firma und die Yacht seines Vaters und legt den Erlös auf einem Sparkonto für seine Tochter an. Bevor sie alt genug ist, um sich später an ihn erinnern zu können, verschwindet er aus ihrem Leben. Er treibt sich in der Welt herum und verbringt einige Zeit in Indien.

Als Caroline zwölf Jahre alt ist (Katta Hules), überrascht Benjamin – der nun selbst wie ein Jugendlicher aussieht – Daisy mit einem Besuch in ihrer Ballettschule. Daisy, die inzwischen mit dem Witwer Robert Williams (Rus Blackwell) verheiratet ist, macht Benjamin kurz mit ihrem Mann und ihrer Tochter bekannt, dann steigt sie zu ihnen ins Auto. Am Abend kommt sie zu Benjamin ins Hotel und schläft ein letztes Mal mit ihm.

Damit endet Benjamin Buttons Tagebuch, aus dem seine inzwischen siebenundzwanzigjährige Tochter Caroline (Julia Ormond) ihrer sterbenden Mutter Daisy (Cate Blanchett) vorgelesen hat, während der Hurrikan „Katrina“ New Orleans bedroht (August 1985). Auf diese Weise erfährt Caroline nicht nur, dass ihre Mutter einmal als Balletttänzerin gefeiert wurde, sondern vor allem auch, wer ihr Vater war.

Was ist aus ihm geworden?

Daisy erfuhr eines Tages durch einen Mitarbeiter des Jugendamts, dass ein verwahrloster Junge in einem Abbruchhaus aufgegriffen wurde. Man bringt ihr ein Tagebuch mit ihrem Namen, das man bei ihm fand. Sofort schaut Daisy nach dem Kind, das man in das von Queenies Tochter (Deneen Tyler) geführte Seniorenheim gebracht hat. Benjamin sitzt am Klavier und klimpert herum. Er erkennt Daisy nicht, denn er leidet inzwischen an einer Altersdemenz und hat seine Erinnerungen verloren. Jeden Tag besucht Daisy ihn im Seniorenheim. Allmählich verlernt er das Sprechen und das Laufen.

2002 wird im Bahnhof von New Orleans eine neue Uhr installiert, die vorwärts geht.

Im Frühjahr 2003 stirbt Benjamin Button, der zuletzt wie ein neugeborenes Kind aussieht, in Daisys Armen.

Nachdem Daisy dies ihrer Tochter mit letzter Kraft berichtet hat, wird wegen des heranziehenden Hurrikans Alarm im Krankenhaus ausgelöst. Caroline verlässt kurz das Zimmer. In diesen Minuten glaubt Daisy am Fenster einen Kolibri zu sehen und stirbt. Der Wirbelsturm tobt; die Überschwemmung beginnt.