Впервые в России идея создания следственного ведомства, организационно и функционально независимого от иных органов государственной власти, была предложена Петром I в ходе судебной реформы, одним из направлений которой стало разделение уголовного процесса на стадии предварительного расследования и судебного разбирательства.
В 1713 году были учреждены первые специализированные следственные органы России — «майорские» следственные канцелярии, которые были подчинены непосредственно Петру I. Аппарат рассматривался как правоохранительное ведомство, специализирующееся исключительно на расследовании наиболее опасных преступлений, посягающих на интересы государства, и наделенное в связи с этим широкими процессуальными полномочиями, самостоятельностью и организационной независимостью от других органов государственной власти. К сожалению, после смерти Петра I независимые следственные органы упразднили, а концепция вневедомственной модели организации следственных органов была надолго забыта. После этого функция предварительного следствия стала рассматриваться как рядовая процессуальная форма досудебного производства по всем категориям уголовных дел вне зависимости от степени и характера общественной опасности преступления.
Указом Александра I в 1808 году в Санкт-Петербурге была учреждена должность следственных приставов. Эти приставы состояли в штате городской полиции, входившей в систему Министерства внутренних дел (в 1810–1819 гг. – Министерства полиции). В это время возникла необходимость разделить формы предварительного расследования в зависимости от характера и тяжести преступления, выделив в одну группу сокращенные по времени и упрощенные по процедуре, а в другую — более длительные и сложные. Эта дифференциация была введена в 1832 году. С течением времени стало очевидно, что при такой модели организации следственный аппарат способен эффективно противостоять только общеуголовным преступлениям и не вполне приспособлен для борьбы с опасными посягательствами на основы государственности.
Уже в 1918 году был образован единый следственный отдел ВЧК, а в 1921 году — следственная часть при Президиуме ВЧК. Начиная с августа 1918 года формировались следственные подотделы либо при каждом отделе губернской или уездной ЧК, либо при соответствующем органе в целом. В период зарождения советского государства юстиция в целом являлась одним из инструментов классовой борьбы и средством утверждения воли господствующего класса. В свете названной идеологии следственные подразделения стали создаваться практически при всех правоохранительных органах, в том числе судебных.
Под воздействием административной реформы 1923–1927 гг. судебная модель постепенно начала заменяться административной. Такая система виделась более управляемой. Таким образом, в конце 1930-х годов институт судебного следствия, функционировавший в России в различных видах с 1864 года, бесповоротно прекратил свое существование. В стране окончательно утвердилась административная модель организации предварительного расследования.
В 1927 году в Московской губернии в порядке эксперимента судебные следователи были переведены в органы прокуратуры. Признав эксперимент успешным, коллегия Наркомата юстиции 12 апреля 1928 года постановила передать «следственный аппарат в полное распоряжение прокуратуры по РСФСР». 3 сентября 1928 года данное постановление Наркомата получило закрепление в постановлении ВЦИК и СНК РСФСР «Об изменении Положения о судоустройстве РСФСР». Согласно ст. 4 постановления ЦИК и СНК СССР от 30 января 1929 г. военные следователи аналогичным образом перешли в подчинение органов военной прокуратуры.
В 1936 году органы прокуратуры и следствия отделились от наркоматов юстиции союзных и автономных республик и перешли в исключительное подчинение прокурора СССР. Дальнейшее развитие следственного аппарата связано исключительно с периодическими перераспределениями функции предварительного следствия между прокуратурой и органами внутренних дел.
Под вилянием Генеральной прокуратуры в ходе судебной реформы 1956–1964 гг. было упразднено Министерство внутренних дел. Во вновь созданном ведомстве, названном Министерством охраны общественного порядка, следственного подразделения не было. С этого времени объем дел, расследуемых следственными подразделениями органов прокуратуры, стал неуклонно возрастать. Так, если в 1960 году в РСФСР следователями прокуратуры было окончено производством 184 405 уголовных дел, то в 1961 году — 244 280, а в 1962 году — уже 256 123.
6 апреля 1963 года был издан Указ Президиума Верховного Совета СССР, в Министерстве охраны общественного порядка создано следственное подразделение. При этом часть штатной численности следователей прокуратуры была передана в Министерство охраны общественного порядка. После назначения на должность министра охраны общественного порядка (позже ставшего министром внутренних дел) Н.А. Щелокова наметилась тенденция к расширению круга дел, отнесенных к подследственности следователей прокуратуры. К 1990 году в производстве следователей органов внутренних дел находилось свыше 90% уголовных дел, а следователей прокуратуры – всего 9,1%.
В апреле 1990 года на I съезде народных депутатов СССР Комитету Верховного Совета СССР было поручено подготовить и внести предложения о создании «союзного Следственного комитета». После всех доработок и согласований в 1993 году проект закона «О Следственном комитете Российской Федерации» был внесен на рассмотрение Верховного Совета России и одобрен в первом чтении. На протяжении последующего десятилетия неоднократно предпринимавшимся попыткам внести законопроекты о реформировании следственных органов неизменно мешала нестабильная политическая ситуация в стране. И только в 2007 году следственные подразделения были выведены из состава органов прокуратуры и стали процессуально независимы. В каждом регионе страны созданы следственные подразделения, в том числе в Приморском крае.