Elementary è una rilettura in chiave moderna del personaggio di Sherlock Holmes di sir Arthur Conan Doyle, riambientando a New York le indagini del celebre investigatore. Dopo essere stato per anni consulente per Scotland Yard in Gran Bretagna e dopo essere uscito da una clinica per disintossicarsi dall'alcool e dalle droghe, Sherlock Holmes si stabilisce negli Stati Uniti a New York, dove accetta di collaborare con la polizia e risolvere diversi casi con l'aiuto della logica e del suo intuito. Il detective è affiancato, inizialmente suo malgrado, dall'ex chirurgo Joan Watson, la sua terapista di riabilitazione, che diventa in seguito sua assistente investigativa.
A coadiuvare le indagini per conto del New York City Police Department sono il capitano Thomas Gregson (ispirato all'ispettore Tobias Gregson che compare in alcuni libri di Arthur Conan Doyle) e il detective Marcus Bell.