苏联国家安全委员会主席安德罗波夫的办公室，设在捷尔任斯基广场2号楼的第3层。这是一个宽大而豪华的房间，有色彩鲜艳的东方地毯、绣花沙发、线木护墙板以及可以俯瞰捷尔任斯基广场的大窗。紧挨着是一间有淋浴设备的幽静的卧室。在巨大的写字台上，排列着一组电话机。其中有直通克里姆林宫的专线、直通国防部的军事谍报总局专线、联系政治局和高级中央委员的专线以及几部通过高频线路与苏联东欧各地的克格勃主要机关联系的专线。此外，还有一部是主席与几位副主席联络的电话。
克格勃在名义上隶属于苏联部长会议，但实际上只对政治局负责，主席直接向党的最高首脑汇报工作。克格勃的重大行动都是经过政治局批准的，而且经常是由它提出来的。政治局通过中央委员会的行政机关部监督克格勃的日常工作。克格勃的人事工作和所有的国内外任务都由该部核准。
每年春季，克格勃的领导机关必须将下一年度的行动计划详细地制订出来，然后提交政治局批准。一旦获准，便具有约束力，克格勃官员必须遵照执行，可是这样做的结果造成了许多弊端，甚至是惨重的损失。
僵化的政治干预、严重的官僚主义、宗派主义以及低效率的工作，给克格勃造成了很大的困难，但是克格勃所以能克服这些困难，是因为党中央将它视为一支举足轻重的、不可替代的力量，在人力和物力上给它以最大限度的支持，使它能够干下去。克格勃的经费之多、责任之重、规模之大，从它的内部组织情况可以反映出来。大致说来，克格勃委员会下设四个总局、七个独立局、六个独立处，它们大都又辖有许多分支机构，分别叫做局、处、所、方面。第一总局负责国外行动；边防军总局无编号，负责巡逻边界，有很长一段时间内以对付中国为主；第五总局专门负责对付本国居民。七个独立局是：武装总队局、技术行动局、行政局、人事局、监视局、通信密码局和警卫局。六个独立处是：特别调查处、保安处、财务处、登记和楼案处。其中第一、二、三、五总局，和武装部队局，是克格勃最重要的组成部分。
第一总局负责指挥前苏联在国外的除军事间谍和重大政治阴谋之外的所有秘密活动。它下设三个分局：非法活动局、科学技术局、计划分析局；两个特别所：情报所和反间谍所；两个特别处：假情报处、行动处，以及16个常规处。常规处中的头10个处在一定的地理或语言区执行任务，其余各处担负特定行动职责或行政职责。
非法活动局（S局）负责挑选、训练和派遣以伪装身份非法潜入他国的克格勃特工。这些特工都经过本局有经验的官员和教官的严格训练，而且通常是单独训练，然后秘密潜入他国。
科技局（T局）是第十处，于1963年改组成的，主要任务是窃取有关导弹、核武器、宇航、先进工艺等技术情报。它还可以决定哪些苏联科学家可以出席国际会议，并把一些特工安排在每个出国考察的科学团体之中。20世纪70年代，此局本部就有数百名工作人员，每个重要的苏联驻外使馆里都有它的专家。此局下面又设四个处：
（1） 情报所（特别一所）负责汇总和分发第一总局各分支机构所搜集的日常情报（科技局的情报除外）。它还为党中央出版一份情况周报，给出国的官员介绍情况，并按中央指示，研究一些临时指定的专题。
（2） 反间谍所（特别二所），实质上是个进攻性的行动部门，其主要任务是设法打进外国的安全和情报机构，同时防范他们对克格勃进行干扰。它还控制着所有前苏联驻外文职人员的生活：上至大使，下至一般人员，没有不受监视的。在使馆外面当记者、商务代表、民航职务或其他任何职业的苏联侨民，都得受此所人员的约束。
（3） 假情报处（A处）策划一些旨在影响外国政府决策的秘密行动和运动，搞一些旨在挫伤外国社会锐气、中伤对苏联有敌意的个人或团体的阴谋。它负责在世界各地设法掩饰克格勃的失败所造成的尴尬局面，还协助斯骗访问苏联的外国客人。从20世纪50年代末以来，此处已成为克格勃最重要的部门之一。
（4） 行动处（V处）是克格勃最保密的部门之一，负责执行苏联的政治暗杀、绑架和破坏活动。V处以前叫第十三处或F线，1969年扩充并改名。它着重发展在和平时期破坏外国公共事业、交通运输设施及其他神经中枢的能力。这个处在重要的驻外使馆里都安插了自己的官员，以便在那里建立和指挥间谍网。它还向国外派遣自己的非法活动者，并指使特工单独进行暗杀或绑架、破坏活动，有时也雇用职业杀手。
不过，第一总局最大的力量却集中在它的十个地区部（处）。在苏联境外碰得见的克格勃人员，大都属于这些部门，它们承担着克格勃国外任务的大部分，其分别被指定以某些国家或地区为行动对象，将地球上有人居住的六大洲全部包括在内。比如：第一处以美国、加拿大为对象，在此两国的苏联大使馆和领事馆的克格勃“合法”驻在机构都要受它监督和支持，并大量接受它所提供的人员。除行动处和假情报处所派遣的执行特种任务的特工外，这个处支技所有潜伏在北美的克格勃非法活动者。它还负责收买在任何地方所能接触到的美国的政府雇员、商人、学生、教授、科学家、记者和游客，并通过国际共产党的外围组织策划反美行动，损害美国在全世界范围内的利益。其他各处的活动与此类似。
第十一处，以前叫顾问处，处理克格勃同古巴和东欧卫星国特工机构的日常关系。双方互通情报，此外还秘密地在卫星国情报机构里吸收特工，有时也收罗一般平民。
第十二处又叫掩护处，负责把克格勃人员安置在其他苏联政府代表机构里的掩护性的岗位上，如冒充外交官、记者、贸易代表、教士、游客或出席国际会议等。
第十三处安排与国外的情报站、官员和代理人的通信联络，把对外应发的文字译成密码，把从国外收到的密码电报译成文字。它设计的密码信号有时颇具浪漫色彩。克格勃在英国国防部收买的一名雇员在特定的晚上收听莫斯科电台，给他的指示是用《伏尔加船夫曲》、《天鹅湖》、《莫斯科之夜》等5支乐曲为基础编写密码传递情报。另一个为克格勃工作了10多年的美国人被告知，万一情况紧急需要他逃离美国，会有一个匿名人给他打电话说：“当深紫色的东西从寂静的花园围墙上垂下来的时候。”
第十四处负责供应伪造护照、假文件、密写材料、麻醉剂，以及本局对外活动所需的其他技术设备。这个处的专家在苏联驻外使馆工作，偷听当地的通信联络，并给克格勃的国外情报站提供技术援助。
第十五处保管第一总局的行动卷宗和档案。
第十六处主管日常人事工作，并吸收有前途的正式官员。
第二总局一般负责控制苏联人民和苏联境内的外国人。它拥有12个有编号的处、一个政治安全机构、一个工业安全局和一个技术支援组。在12个处中，有6个负责干扰外国外交官和防止他们同苏联公民进行任何未经准许的接触。它们分别按国家和地区分派任务。譬如第一处负责美国和拉丁美洲约有50名正式官员、若干特工吸收员、特工管理员、一批能干的后备人员，以及数百名职业密探。
第七处专门对付旅游者。它在莫斯科有100多名正式官员，在各省的人数与此相当，另有近2000名特工和兼职秘密情报员。其中许多人在艺术界和科学界久负盛名；有些是在莫斯科设有办事处的外国航空公司和外国商行的非苏联籍雇员。这个处还有专门机构监督外国人下榻的旅馆和就餐的餐厅，控制国际旅行社，安排旅游者与本国人民的接触，甚至沿旅游线路在汽车旅馆、加油站等处监视游客。乘飞机或火车从苏联过境的外国人也不能幸免被监视。
第八处管理本总局的电子计算机。第九处负责监视和吸收外国学生。第十处监视和试图影响或吸收外国记者。第十一处负责批准和管理出境的苏联人民。第十二处调查重大的贪污、腐化和浪费案件。
政治安全机构是克格勃最重要的部门之一，它掌管大部分秘密情报网。此机构过去由12个“方面”组成。1969年，其第五至第九方面是专门干扰中国外交官和向中国驻苏大使馆渗透的。
技术支援组实际上是个专业性的盗窃单位。它拥有许多善于穿堂入室的行家，这些人还被训练成撬保险柜的能手、锁匠、摄影师或“拆封能手”（开启和重封文件的专家）。
工业安全局通过自己的秘密情报网监督各重要生产和科研中心。
第五总局成立于1969年，任务是消灭政治上的异己，加强对居民的控制。它的大多数行动部门是从第二总局划过来的，包括第九处负责苏联学生工作的单位，第十处负责苏联知识分子的单位，以及特别犹太处。从政治安全机构划过来的5个方面分别负责：监视有海外亲属关系的公民及来苏探亲的外国人、消除国外白俄团体偷运入境的反苏印刷品和特务所造成的任何影响，严格禁绝各种异端思想的传播并打击传播者。
边防军总局统领一支属克格勃指挥、人数达三四十万的精锐海陆军部队。它装备最新式的武器，其舰艇的活动范围有时远远超出了苏联海域。边防军借助警犬、岗楼、电子探测仪及荒凉的无人区来警卫和巡逻边境，以防国民外逃。
武装部队局，下设12个部门来监视国防部与总参谋部、军事谍报总局、常规地面部队、海军、空军、边防军、内务部所辖的民兵和内务部队、导弹部队、核武器部队、民航以及莫斯科军区。在苏联武装部队内连以上的各级组织，每一个海军大队、每一条军事前线，都安置有克格勃武装部队的官员。克格勃的官员虽穿军服，但是被允许通过自己的指挥系统向克格勃总部汇报工作，可以不服从军队的命令。这些克格勃官员还在本单位指挥一个情报网，并在驻地附近吸收文职情报员。可以说，整个苏军充满了克格勃特工。
时至今日，克格勃虽然消失了，但经改组被俄罗斯接管的“克格勃”依然存在。它接替了原克格勃的工作，并接收了其80％的工作人员。俄罗斯间谍情报活动并未随着前苏联的解体和政权更迭而沉寂。它变换了名称，以新的面目、新的形式继续在行动。
前任美国联邦调查局局长弗里多茨说，冷战后的今天，俄情报机构的活动十分活跃，经美反间谍部门调查的200余起间谍事件中有相当一部分与他们有关。例如，一名在联合国暗中从事谍报工作的俄罗斯情报官员被美国联邦调查局特工发现刺探美国情报。这是美国联邦调查局6个月的时间内第二次查出俄罗斯对外情报局人员在美国从事间谍活动。
英国反间谍部门认为，俄间谍在英活动越来越厉害，他们甚至试图通过收买手头拮据的英国特工的手段打入MI5或MI6等机构。法国情报部门也抱怨说，俄在法境内的人力情报活动几乎已恢复到冷战时期的水平。德联邦宪法保卫局称，俄情报人员为获取情报，不仅通过多种多样的公开途径，还广泛使用秘密手段，如招募间谍、建立情报网，并以现代通信工具和方式取代传统联络手段，德方声称有165名俄特工在德活动。1997年11月底，德国曾大张旗鼓地公布了一起俄间谍案。1998年3月，挪威外交部指控5名俄“外交官”从事有损两国关系的活动，并责令其中两人立即离境。1998年7月俄罗斯与韩国之间爆发了互逐外交官事件，一时间，两国间谍风波闹得沸沸扬扬。
尽管俄情报安全系统的情报搜集和反间谍能力在逐步回升，并取得了佳绩，但其面临的挑战依然严峻。
第一，外国间谍在俄活动愈演愈烈。近年来，由于俄经济困难、社会问题严重，且国家机构管理乏力，使一些国家在俄的情报活动更加猖獗。俄前总统叶利钦发表讲话指出：外国间谍在俄罗斯的活动未见有丝毫收敛。时任俄联邦安全局局长科瓦寥夫认为，在俄的外国间谍异常活跃，“莫斯科还不曾有过如此多的外国间谍”；该局反间谍负责人佩琼金称，西方情报机构一直在“有目的、有计划”地招募俄公民充当间谍，同时还“肆无忌惮”地搜集俄武装力量及其武器装备、军事研究和发展计划等方面的秘密。
对外情报局局长特鲁布尼科夫则强调指出，东欧一些国家的情报部门亦在利用过去与克格勃的密切关系，在俄�