На основе газетной заметки Михалков и Володарский написали лихую приключенческую повесть «Полмиллиона вплавь, пешком и волоком», опубликовали её и подали заявку на экранизацию. Тема Гражданской войны в Госкино одобрялась и съёмки разрешили.

Все истерны, которые снимались до этого, относились к историко-патриотическому кино, Михалков же задумал фильм не о героях и подвигах Гражданской войны, а о мужской дружбе, романтике погонь и поисках не только сокровищ, но и приключений. Когда режиссёр запросил для работы цветную плёнку, то было решено не баловать дебютанта и выдали ему весьма ограниченное количество. В результате часть фильма стала чёрно-белой, но это даже добавило ему стиля. Когда уже утвердили сценарий и начали подготовку к съёмкам — Никите Михалкову пришла повестка из военкомата. Работу пришлось прервать, так как режиссёр отправился служить в подводном флоте на Камчатке.

Съёмки начались летом 1973 года на «Мосфильме» — там построили все интерьерные декорации. Потом группа переехала в Подмосковье и сняла сцену проводов красноармейцев. Затем все поехали в Грозный, где и была снята основная часть фильма «Свой среди чужих, чужой среди своих». По легенде, работать в Чечне режиссёра убедил танцор Махмуд Эсамбаев. Завершительный этап съёмок проходил около Баку — там переснимали сцену ограбления поезда. Снятый до этого вариант оказался бракованным, а в Чечне пошёл снег и натурные съёмки проводить уже было нельзя…

В свой фильм Никита Михалков позвал ещё мало кому известных молодых актёров — Юрия Богатырёва, Константина Райкина, Александра Кайдановского, Александра Пороховщикова, Сергея Шакурова и Александра Калягина, а самым знаменитым среди них был Анатолий Солоницын. Для Юрия Богатырёва роль Шилова стала всего второй работой в кино. Михалков познакомился с ним ещё в Щукинском училище и сначала позвал в свою дипломную работу, а потом снял в шести фильмах. Михалков считал актёра своим талисманом, и все самые яркие роли Юрий Богатырёв сыграл именно у этого режиссёра.

Выбор мягкого, интеллигентного Богатырёва на роль отчаянного чекиста многих удивил, но Михалков знал, что Богатырёв, пусть через сопротивление, но сможет сыграть кого угодно. Актёр был очень сильным, крупным, но совершенно неспортивным человеком. Перед съёмками ему пришлось худеть, ходить в спортзал и на верховую езду, но главная проблема была в другом — он никогда в жизни не дрался. По сценарию ему надо было бить по лицу Александра Кайдановского, а у Богатырёва рука не поднималась! «Я просто не могу ударить Сашу!» — говорил он Михалкову, и на очередном дубле тот взорвался: «При чем тут ты?! При чем тут Саша?! Встречаются чекист и белогвардеец. Это единственное, что должно тебя интересовать!»…

Роль атамана Брылова Михалков сразу писал для себя, а киногероя создавал по западному образцу. Он придумал ему пижонские жесты и щегольский внешний вид в стиле бандитов из любимых итальянских вестернов. Режиссёр знал, что цензура может придраться к Брылову, поэтому на всякий случай сразу придумал оправдание — это же отрицательный персонаж, вот поэтому у него такие яркие буржуазные черты. Однако атаман очень понравился и цензуре, и зрителям — он был тем обаятельным негодяем, какие ещё не раз встретятся в фильмографии Михалкова…

На съёмочной площадке работали каскадёры, но актёрам было интересно выполнять трюки самим. Иногда даже опасные, как трюк с прыжком в реку героев Юрия Богатырёва и Константина Райкина. Снимали на реке Аргун, где было очень сильное течение и температура воды в три градуса. От каскадёров актёры отказались, но как только оказались в воде — их сразу со страшной силой понесло течением. Выплыть удалось только благодаря физической силе Богатырёва — ему удалось выгрести к берегу, буксируя на себе Райкина. В эпизоде, когда Богатырёв, Райкин и Кайдановский пытались на плоту догнать сбежавшего атамана, снимались уже дублёры.

В Чечне съёмочная группа сначала столкнулась с проблемами. Отношения с местным населением не складывались, и кинематографистам пришлось принять участие в массовой драке «стенка на стенку». В бою крепким москвичам, видимо, удалось завоевать авторитет, поэтому потом отбоя не было от желающих сниматься. Вся банда атамана Брылова состояла из местных жителей, которые перед началом съёмок поинтересовались у Михалкова: «Оружие вы будете давать, или нам свое принести?». Однажды массовке предстояло поделиться на пассажиров ограбленного поезда и разбойников — все местные ушли в разбойники, гордо сказав: «Меня — грабить? Вы что!?».

Режиссёр вспоминал, что работалось очень легко, вся команда была не только коллегами, но и друзьями, и это помогало не зацикливаться на проблемах и разногласиях. Во время съёмок Никита Михалков женился на манекенщице Татьяне Шигаевой. Она приехала к нему в Чечню, и режиссёр придумал для неё эпизод с «девушкой мечты атамана Брылова». Вместе с ней снялись оператор картины Павел Лебешев и художник Александр Адабашьян, которые через несколько дней стали свидетелями на свадьбе… Сам Александр Адабашьян позже женился на исполнительнице другой эпизодической роли — молодой художнице Екатерине Шадриной. В начале и конце фильма она появлялась в роли девушки, которая вместе с героями радовалась окончанию войны .

Знаменитую музыку к фильму «Свой среди чужих, чужой среди своих» написал Эдуард Артемьев — композитор почти всех фильмов Никиты Михалкова. Перед съёмками они встретились в Доме кино, и режиссёр долго описывал свой «красный вестерн» и музыку, которая должна была звучать как «мелодия воспоминаний». Придя домой, Артемьев подошёл к роялю и сходу наиграл тему… Композитор сам был потрясён красотой получившейся музыки и бросился записывать ноты, чтобы ничего не забыть. Эта мелодия стала одной из самых узнаваемых в советском кино, а 2014 году звучала на церемонии закрытия в Олимпиады в Сочи.