Nordkalifornien 1958. Die Kunstmalerin Margaret Ulbrich (Amy Adams) verlässt ihren Ehemann Frank und zieht mit ihrer Tochter Jane (Delaney Raye, Madeleine Arthur) nach San Francisco, wo ihre Freundin DeeAnn (Krysten Ritter) lebt. Margaret malt traurige Kinder, die mit ihren übergroßen Augen wie Puppen aussehen.

In San Francisco begegnet sie Walter Keane (Christoph Waltz), der von einem Aufenthalt in Paris schwärmt und angeblich dort von ihm gemalte Straßenszenen verkauft. Nachdem ihn jemand auf der Straße in Margarets Beisein auf Immobilien angesprochen hat, gibt er zu, als Makler tätig zu sein.

Als Frank Ulbrich seiner Ex-Frau das Sorgerecht für Jane streitig macht, schlägt Walter Keane ihr die Eheschließung vor, damit sie dem Gericht erklären kann, dass Jane in einer intakten Familie lebt.

Vergeblich bietet Walter Keane dem erfolgreichen Galeristen Ruben (Jason Schwartzman) Gemälde an, darf aber weder die Pariser Straßenszenen noch Margarets Kinderbilder ausstellen. Aber davon lässt Walter Keane sich nicht entmutigen: Statt in einer Galerie hängt er die Bilder im Beatnik Club „The Hungry i“ auf.

Einmal eskaliert ein Streit Walters mit dem Besitzer Enrico Banducci (Jon Polito). Die beiden prügeln sich und verletzen dabei versehentlich eine Dame. Walter Keane wird festgenommen. Um ihn aus der Haft zu befreien, zahlt Margaret die angesetzte Kaution. Der Reporter Dick Nolan (Danny Huston) trägt durch seinen Bericht über die Prügelei maßgeblich dazu bei, Walter Keane eine geschäftsfördernde Aufmerksamkeit zu verschaffen. Allerdings interessiert er sich beim Interview mit ihm nicht für die Pariser Straßenszenen, sondern für die Kinder mit den Kulleraugen, von denen er annimmt, dass sie ebenfalls von Walter Keane gemalt wurden.

Eines Abends bringt Margaret ihrem Mann ein soeben fertiggestelltes Gemälde in den Club. Jemand fragt sie, ob sie auch male, und sie begreift, dass Walter sich als Urheber ihrer Bilder ausgibt. Sie stellt ihn zur Rede. Walter erklärt ihr, dass sich das alles durch ein Missverständnis so ergeben habe. Aber nun sei es zu spät für eine Richtigstellung. Damit würde man potenzielle Interessenten nur verwirren. Ob Margaret auf das viele Geld verzichten wolle? Außerdem werde von Frauen geschaffene Kunst ohnehin nicht ernst genommen. In diesem Augenblick betritt der italienische Unternehmer Dino Olivetti (Guido Furlani) mit zwei Begleiterinnen (Elisabetta Fantone, Emily Maddison) den Club – und bleibt vor einem der Kinderbilder stehen. Walter Keane blickt seine Frau an, und als sie nichts sagt, nutzt er die Chance und verkauft das Gemälde für einen besonders hohen Preis.

Genau gegenüber der Galerie Ruben richtet Walter Keane eine eigene Galerie ein. Als er merkt, dass viele Besucher, die sich die Gemälde nicht leisten können, ausgelegte Handzettel mitnehmen, kommt er auf die Idee, zusätzlich zu den Originalen massenhaft Poster und Postkarten mit Kopien zu verkaufen.

Die sprudelnden Einnahmen ermöglichen es ihm, 1963 mit der Familie in eine Luxusvilla in Woodside zu ziehen.

Dort arbeitet die Künstlerin in einer stets verschlossenen Dachkammer, denn selbst gegenüber Jane tun Walter und Margaret so, als sei er inzwischen der Maler der Kinder mit den großen Augen.

Zwischendurch malt Margaret heimlich ein Selbstporträt in einem neuen, von Amedeo Modigliani inspirierten Stil.

Margaret entdeckt, dass Walter bei den Gemälden von Pariser Gassen die Signatur übermalt hat. Zur Rede gestellt, leugnet er die Fälschung und behauptet, „S. Cenic“ sei früher sein Künstlername gewesen. Margaret glaubt ihm nicht mehr und besteht fortan auf getrennten Schlafzimmern.

1964 gibt Walter seiner Frau einen Monat Zeit für ein besonders aufwendiges Werk. Margaret malt hundert Kinder mit großen Augen. Mit seinem Verkaufstalent erreicht Walter Keane, dass sein angebliches Meisterwerk bei der Weltausstellung in New York City ausgestellt wird. Aber der Kunstkritiker John Canaday (Terence Stamp) schreibt in „The New York Times“: „Diese geschmacklose Schmiererei stellt 100 Kinder dar und ist deshalb hundertmal schlechter als ein durchschnittlicher Keane.“ Daraufhin wird das Bild abgehängt.

In seinem Zorn greift Walter den Kunstkritiker bei einer Veranstaltung mit einer Gabel an.

Zu Hause bedroht er Margaret und Jane, die daraufhin in einen der Räume fliehen und sich einsperren. Walter schiebt brennende Streichhölzer durch das Schlüsselloch, und die kleinen Flammen drohen das in dem Raum gelagerte Petroleum zu entzünden.

Margaret flüchtet mit ihrer Tochter nach Hawaii.

Als Walter die Scheidungspapiere erhält, ruft er sie an und teilt ihr mit, dass er nur unterschreibe, wenn sie ihm die Rechte an allen ihren bisher gemalten Bildern überlasse. Margaret erklärt sich dazu bereit. Damit hat Walter nicht gerechnet, aber schnell fängt er sich wieder und schiebt gleich noch eine Forderung nach: Er verlangt, dass Margaret weitere hundert Bilder für ihn malt.

Nach dem Besuch von Zeugen Jehovas (Linda Sato, Traci Toguchi) schließt Margaret sich dieser Sekte an. Und weil ihr neuer Glaube Ehrlichkeit beinhaltet, erklärt sie in einem Radio-Interview, dass die ihrem Ex-Mann zugeschriebenen Kinderbilder von ihr stammten. Walter Keane sei überhaupt kein Künstler.

Walter drängt daraufhin den Reporter Dick Nolan, dagegenzuhalten und Margaret als Psychopathin darzustellen. „Ich hatte eine Factory, bevor Warhol wusste, wie eine Suppendose aussieht“, prahlt Walter.

Margaret verklagt ihn und eine Zeitung, die ihm noch immer die Urheberschaft an ihren Gemälden zuschreibt. Auf dem Weg zum Gericht in Honolulu sagt der siegesgewisse Walter Keane zu den Reportern, er hoffe sehr, dass Margaret eine dringend erforderliche psychiatrische Behandlung bekomme.

Der Richter (James Saito) weist zunächst die Verleumdungsklage gegen die Zeitung ab. Die beiden von dem Blatt engagierten Anwälte (Barclay Hope, Greg Kean) verlassen daraufhin den Gerichtssaal, und Walter Keane bleibt ohne Rechtsbeistand zurück. Unverdrossen verzichtet er auf einen Pflichtverteidiger. In einem theatralischen Auftritt schildert er, wie er nach dem Zweiten Weltkrieg beim Anblick hungernder Straßenkinder in Berlin auf die Idee gekommen sei, traurige Kinder mit großen Augen zu malen. Schließlich erträgt der Richter die Show nicht länger. Er lässt zwei Staffeleien hereinbringen und fordert sowohl die Klägerin als auch den Beklagten auf, ein Kind zu malen. Während sich Margaret sofort an die Arbeit macht und innerhalb der angesetzten Stunde fertig wird, sitzt Walter vor der leeren Leinwand, bis er sich stöhnend an die rechte Schulter greift und behauptet, aufgrund einer äußerst schmerzhaften Schulterverletzung keinen Pinsel halten zu können.

Für das Gericht gibt es nun keinen Zweifel mehr daran, dass die fraglichen Kinderbilder von Margaret Keane gemalt wurden.