В октябре 1881 года, когда Кони находился за границей на лечении, он неожиданно получил телеграмму от министра юстиции Д. Н. Набокова с предложением занять пост председателя департамента столичной судебной палаты. Обоснованно полагая, что речь может вестись только об уголовном департаменте, и не чувствуя никакого подвоха, он согласился. Однако когда он прибыл в Санкт-Петербург, то с удивлением узнал, что 21 октября состоялось его назначение в гражданский департамент. Кони был настолько обескуражен этим, что даже подумывал об отставке. Министру юстиции стоило больших трудов отговорить его от такого шага. Гражданскими делами Кони никогда раньше не занимался, поэтому, будучи исключительно добросовестным юристом, он почти сутками находился на работе, вникая во все тонкости договоров, обязательств, права наследования и собственности и т. п., и вскоре почувствовал себя вполне теоретически подготовленным к гражданскому судопроизводству.
И все же гражданские дела — это не уголовные. Однообразие практики стало его утомлять, а «старики», сидевшие в департаменте, «застывшие в рутине и болезненно самолюбивые», действовали на него удручающим образом. В 1883 году за отличие по службе он был произведен в действительные статские советники. Но даже это радовало мало. Деятельной натуре сорокалетнего юриста нужен был простор. Масло в огонь подливали друзья, которые уговаривали Кони оставить службу и уйти в адвокатуру, намекая, что министерство, отняв у него «живое слово», обрекло его способности на «преждевременное увядание».
Министр юстиции Д. Н. Набоков не забыл своего обещания при случае перевести Кони вновь на уголовные дела. В конце 1884 года он внес императору предложение о назначении Кони обер-прокурором Уголовного кассационного департамента Правительствующего сената. Когда об этом стало известно обер-прокурору Святейшего Синода К. П. Победоносцеву, он немедленно обратился с письмом к Александру III. «
Тридцатого января 1885 года Анатолий Фёдорович все же назначается обер-прокурором уголовного кассационного департамента Правительствующего сената. Он пробыл в этой должности до 1897 года (в 1891–1892 годах временно был сенатором). За это время Кони дано почти 700 заключений по различным делам, а в качестве прокурора он выступил во многих процессах (по делам князей Щербатова и Мещерского, земского начальника Протопопова и др.).
По словам Кони, он стремился придать обер-прокурорской деятельности «
В 1888 году по высочайшему повелению Кони был командирован в Харьков для расследования причин крушения царского поезда, произошедшего 17 октября недалеко от станции Борки. В результате катастрофы погибли 19 человек, ранены 14. Члены царской семьи по счастливой случайности не пострадали. В изорванной одежде, перепачканные, они благополучно выбрались из искореженных вагонов. Александр III, проявляя самообладание и выдержку, сразу же отдал необходимые распоряжения об оказании помощи пострадавшим.
Следствие продолжалось три месяца, его материалы составили четыре больших тома, не считая многочисленных приложений. Все трудности и тяготы по «громадному и сложному следствию» Анатолий Фёдорович разделил с судебным следователем по особо важным делам Харьковского окружного суда Николаем Ивановичем Марки и прокурором того же суда Николаем Андреевичем Дублянским. Обо всех следственных действиях Кони регулярно докладывал сменившему Набокова новому министру юстиции Н. А. Манасеину в шифрованных телеграммах. Все же свои предложения, сомнения, наблюдения он излагал в частных письмах к нему. Докладывая императору о деле, министр однажды сослался на одно из таких писем, а впоследствии по просьбе Александра III давал их ему на прочтение, не решившись сообщить об этом Кони.
Спустя месяц после начала следствия Манасеин вызвал Кони в Петербург для «представления государю личных объяснений по делу». Анатолий Фёдорович начал свой доклад с сообщения о том, что в результате предварительного расследования не установлено следов какого-либо террористического акта. Затем он изложил свои выводы о виновности должностных лиц, причастных к трагедии. По его словам, все они проявили «преступную небрежность к поезду чрезвычайной важности». Закончил свой доклад Кони сообщением о «хищнических действиях» правления при эксплуатации железной дороги, стремлении любым путем к наживе, безответственности служебного персонала и попустительстве всему этому со стороны Министерства путей сообщения. «
Император поблагодарил Анатолия Фёдоровича за проведенную работу и интересный доклад и пожелал успехов в завершении дела.
Н. А. Манасеин был очень доволен тем, как прошел доклад. Он сказал Кони: «
Вернувшись в Харьков, Кони с участием следователя Марки и прокурора Дублянского предъявил обвинение некоторым должностным лицам дороги, а затем в начале 1889 года выехал в Петербург.
Вопрос о привлечении к ответственности высших должностных лиц империи, в том числе министра путей сообщений, должен был решаться в Государственном совете. Особому совещанию, на котором дело докладывал А. Ф. Кони, предстояло решить вопрос, есть ли основания для передачи дела в департамент гражданских и духовных дел. За привлечение к ответственности высказались семеро человек, против — четверо. Результат рассмотрения дела в департаменте, по выражению Кони, был «поистине возмутителен». Все виновные отделались выговором даже без «внесения его в формуляр».
Кони писал, что он был «возмущен до боли», а Манасеин — «подавлен и сконфужен». Когда министр юстиции доложил императору о результатах обсуждения дела в департаменте Государственного совета, тот проговорил: «
Манасеин пояснил, что они будут преданы суду Харьковской судебной палаты. «
В 1894 году Кони выезжал в Одессу, где руководил следствием по делу о гибели парохода «Владимир», столкнувшегося в ночь на 27 июня недалеко от мыса Тарханкут с итальянским пароходом «Колумбия». В результате катастрофы погибли 76 человек. Суду были преданы капитаны судов: российского К. К. Криун и итальянского — Л. Пеше. Оба признаны виновными в столкновении и осуждены к тюремному заключению на четыре месяца.
В 1895 году кресло министра юстиции занял набиравший силу честолюбивый прокурор Н. В. Муравьёв. Свою деятельность он начал с грандиозного пересмотра Судебных уставов 1864 года. Анатолий Фёдорович как один из самых опытных юристов своего времени также был привлечен к работе комиссии. Здесь он отчаянно бился со всеми попытками Муравьёва покуситься на основные принципы судоустройства и судопроизводства, отстаивал суд присяжных, несменяемость судей и т. п. На этой почве между ним и министром сложились неприязненные отношения. В конце декабря 1896 года Кони вынужден был подать рапорт об увольнении с должности обер-прокурора уголовного кассационного департамента сената. Просьбу немедленно удовлетворили, а самому Кони велено было присутствовать в том же департаменте сенатором.
В 1900 году Анатолий Фёдорович окончательно распрощался с судебной деятельностью. Указом императора его перевели в общее собрание первого департамента сената. Тогда же он снова занялся педагогической деятельностью, заняв кафедру уголовного судопроизводства в Императорском Александровском лицее (до него кафедрой руководил профессор И. Я. Фойницкий).
Летом 1906 года П. А. Столыпин, ставший председателем Совета министров, задумал создать так называемый «кабинет общественных деятелей». Он предложил Анатолию Фёдоровичу войти в состав его правительства в качестве министра юстиции и генерал-прокурора. Вначале такое предложение поступило к Кони через П. А. Гейдена, а затем и лично от самого Столыпина. Вездесущие журналисты даже поспешили опубликовать в «Биржевых ведомостях» крупными буквами заголовок: «
Впоследствии он так писал об этом: «
В январе 1907 года Кони становится членом Государственного совета. В этой должности он пребывал до мая 1917 года. В 1910 году ему был присвоен чин действительного тайного советника. Он был удостоен еще нескольких высоких российских орденов, включая орден Святого Александра Невского (1915 год).