linux存储架构详解？

一、linux存储架构详解？

大部分的Linux文件系统（如ext2、ext3）规定，一个文件由目录项、inode和数据块组成：

目录项：包括文件名和inode节点号。

Inode：又称文件索引节点，包含文件的基础信息以及数据块的指针。

数据块：包含文件的具体内容。

一、目录块

Linux系统中，目录（directory）也是一种文件。打开目录，实际上就是打开目录文件。

目录文件的结构非常简单，就是一系列目录项（dirent）的列表。每个目录项，由两部分组成：所包含文件的文件名，以及该文件名对应的inode号码。

ls命令只列出目录文件中的所有文件名： ls /etc

ls -i命令列出整个目录文件，即文件名和inode号码： ls -i /etc

如果要查看文件的详细信息，就必须根据inode号码，访问inode节点，读取信息。ls -l命令列出文件的详细信息。 ls -l /etc

二、Inode

1、inode是什么

理解inode，要从文件储存说起。

文件存储在硬盘上，硬盘的最小存储单位叫做“扇区”（Sector）。每个扇区储存512字节（相当于0.5KB）。

操作系统读取硬盘的时候，不会一个个扇区的读取，这样效率太低，而是一次性连续读取多个扇区，即一次性读取一个“块”（block）。这种由多个扇区组成的“块”，是文件存取的最小单位。“块”的大小，最常见的是4KB，即连续八个sector组成一个block。

文件数据都储存在“块”中，那么很显然，我们还必须找到一个地方储存文件的“元信息”，比如文件的创建者、文件的创建日期、文件的大小等等。这种储存文件元信息的区域就叫做inode，中文译名为"索引节点"。

inode包含文件的元信息内容（除了文件名之外所有的文件信息）

文件的字节数。

文件类型。

文件拥有者的User ID。

文件的Group ID。

文件的读、写、执行权限。

文件的时间戳，共有三个：ctime指inode上一次变动的时间，mtime指文件内容上一次变动的时间，atime指文件上一次打开的时间。

链接数，即有多少文件名指向这个inode。

文件数据block的位置（数据块指针）。

2、inode的大小

inode也会消耗硬盘空间，所以硬盘格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据；另一个是inode区（inode table），存放inode所包含的信息。每个inode节点的大小，一般是128字节或256字节。inode节点的总数，在格式化时就给定，一般是每1KB或每2KB就设置一个inode。假定在一块1GB的硬盘中，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode table的大小就会达到128MB，占整块硬盘的12.8%。

由于每个文件都必须有一个inode，因此有可能发生inode已经用光，但是硬盘还未存满的情况。这时，就无法在硬盘上创建新文件。

3、inode号码

每个inode都有一个号码，操作系统用inode号码来识别不同的文件。这里值得重复一遍，Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称或者绰号。表面上，用户通过文件名，打开文件。实际上，系统内部这个过程分成三步：首先，系统找到这个文件名对应的inode号码；其次，通过inode号码，获取inode信息；最后，根据inode信息，找到文件数据所在的block，读出数据。

三、数据块

数据块就是在磁盘上存储数据的地方，使用文件的时候由操所系统索引inode来调用相应的文件

补充：创建一个新文件的操作

存储属性内核先找到一个空闲的 i 节点（这里是131074 ）内核把文件信息记录到其中

存储数据该文件需要存储在三个磁盘块，内核找到了三个空闲块：300、500、800将内核缓冲区的第一块数据复制到300，下一块复制到500，以此类推

记录分配情况文件内容按顺序 300、500、800存放，内核在 inode 上的磁盘分布区记录了上述块列表。

二、鸿蒙系统架构详解？

鸿蒙系统是华为自主研发的全场景分布式操作系统，其架构包括三层：底层核心内核、中间的分布式能力框架和顶层的应用框架。

底层核心内核提供高性能、低延迟的操作系统基础服务；分布式能力框架实现设备间的协同工作和资源共享；应用框架提供开发者友好的开发环境和丰富的应用生态。鸿蒙系统采用分布式架构，能够实现设备之间的无缝连接和协同工作，为用户提供更流畅、智能的体验。

三、推荐系统架构详解？

推荐系统架构是一个复杂的系统，通常包括数据收集、特征工程、模型训练和推荐结果生成等环节。

数据收集阶段负责收集用户行为数据和物品信息，特征工程阶段将原始数据转化为可供模型使用的特征表示，模型训练阶段使用机器学习算法训练推荐模型，最后在推荐结果生成阶段根据用户的需求和上下文信息生成个性化推荐结果。架构设计需要考虑数据规模、实时性、可扩展性和用户体验等因素。

四、通信系统架构详解？

通信系统架构指的是将不同层次的功能模块相互连接，以实现通信业务的场景。通信系统的常见架构有三层架构、五层架构、七层架构等。

三层架构由应用层、传输层和网络层组成，分别负责应用程序的开发与分发、数据的传输以及网络的物理连接和数据传输控制等功能。

五层架构则基于三层架构进行拓展，补充会话层和表示层，分别负责会话建立、释放，以及数据的表示与解释。

七层架构则比五层架构出现得更晚，又称OSI参考模型，它将五层架构的会话层和表示层划分为多个子层，从而更加精细化地分解和明确通信系统的各个组成部分，如应用层、会话层、表示层等。

五、麒麟linux系统基于什么架构？

麒麟操作系统已经支持了多种TPCM硬件驱动(包括插卡和CPU内置TPCM信任根)，并且将可信软件基预置操作系统中与操作系统内核进行深度设配整合，为设备建立了一条完整无缝的信任链，保障设备安全、运行安全，符合了等级保护2.0标准中可信验证的要求。

六、linux系统scp命令详解？

scp是有Security的文件copy，基于ssh登录。操作起来比较方便，比如要把当前一个文件copy到远程另外一台主机上

从 本地 复制到 远程（都是Linux系统时）

命令格式：

scp -r local_file remote_username@remote_ip:remote_folder

或者

scp -r local_file remote_username@hostname:remote_folder （这里使用hostname，是因为提前配置了hosts映射）

或者

scp -r local_file remote_username@remote_ip:remote_file

或者

scp -r local_file remote_ip:remote_folder

或者

scp -r local_file remote_ip:remote_file

注：-r 是递归的意思，相当于把文件目录包括里面的内容都递归复制到目标机器

如果没有配置ssh无密登录会在输入复制命令回车后要去输入远程机器的用户登录密码

从远程机器复制到本地当前操作的机器（跟上面操作反过来）remote_ip同样可以换成hostname，条件也是提前配置了hosts映射

如：scp -r remote_username@remote_ip:remote_file ./

注：./的意思是当前所在目录，即正在操作的当前机器目录位置，也可以写成具体路径：

scp -r remote_username@remote_ip:remote_file local_username@hostname:local_folder

这里的local_username和local_folder是指正在操作的机器，可能是实体物理机，也可能是虚拟机，也可能是远程机器（正在输入要执行命令的机器）

从本机操作远程机器，将远程机器文件复制到另一台远程机器（三台机器）

scp -r remote_username1@remote_ip1:remote_file1 username2@remote_ip2:remote_file2

注：

remote_file1需要复制的文件既可以是文本也可以是目录，而remote_file2是用来存放remote_file1的目录（位置）

remote_ip可以换做hostname,前提是远程机器上做了hosts映射，把它自己的ip映射为自己的hostname

如：scp -r atguigu@hadoop103:/opt/software/demo.txt atguigu@hadoop104:/opt/software(如果没有配置ssh无秘登录，会依次要求输入主机hadoop103和主机hadoop104的用户密码的)

从 远程 复制到 本地，只要将 从 本地 复制到 远程 的命令 的 后2个参数 调换顺序 即可；

七、linux架构类型？

Linux系统一般有4个主要部分：分别是内核、shell、文件系统和应用程序。

内核、shell和文件系统一起形成了基本的操作系统结构，它们使得用户可以运行程序、管理文件并使用系统。

1. linux内核

内核是操作系统的核心，具有很多最基本功能，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性。

Linux 内核由如下几部分组成：内存管理、进程管理、设备驱动程序、文件系统和网络管理等。

2 . linux shell

shell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行，是一个命令解释器。另外，shell编程语言具有普通编程语言的很多特点，用这种编程语言编写的shell程序与其他应用程序具有同样的效果。　

3 . linux 文件系统

文件系统是文件存放在磁盘等存储设备上的组织方法。Linux系统能支持多种目前流行的文件系统，如EXT2、 EXT3、 FAT、 FAT32、 VFAT和ISO9660。

4. linux 应用

标准的Linux系统一般都有一套都有称为应用程序的程序集，它包括文本编辑器、编程语言、X Window、办公套件、Internet工具和数据库等。

八、linux系统文件格式后缀详解？

bz2 ------bzip2的压缩文件

.gz ------gzip的压缩文件

.tar ------tar打包文件（是包文件不是压缩文件）

.tbz------tar打包并用bzip压缩文件

.tgz-----tar打包并用gzip压缩的文件

.au -----audio文件

.gif -----gif图象文件

.html/.htm-----HTML文件

.jpg-----JPEG图象文件

.pdf------电子文档（PDF格式的）

.png-----PNG图象文件

.ps------postscinpt文件（打印格式文件）

.txt------纯文本文件

.wav-----audio文件

.xpm-----图象文件

.conf-------配置文件

.lock-------LOCK文件（用来判断一个文件或设备是否被使用）

.rpm------REDHATPackage.Manager文件（套件包或软件包）

.c -------C源程序代码文件

.cpp------C++源程序代码文件

.h -------C或C++程序的头文件

.o------程序目标文件

.pl------perl脚本文件

.so-----类库文件

.sh-----shell脚本与windows下的bat文件相似

.bin-----binary 二进制可执行文件

九、presto架构详解？

Presto是一个开源的分布式SQL查询引擎，可以在多种数据源上进行高速查询和分析，包括HDFS、Hive、MySQL、PostgreSQL等。其架构可以分为以下几个组件：

1. Coordinator节点：Presto集群中的一个节点，负责接收和处理查询请求，以及协调和管理集群中的其他节点。Coordinator节点还负责查询优化、查询计划生成和分发任务等功能。

2. Worker节点：Presto集群中的多个节点，负责执行查询任务。每个Worker节点都包含多个任务执行器，可以进行并行处理，以提高查询速度。

3. Discovery服务：Presto集群中的一个服务，负责管理和维护集群中的节点信息，包括Coordinator节点和Worker节点。

4. Query Planner：Presto中的一个组件，负责将查询语句转换成查询计划，并进行优化和调整，以提高查询效率和性能。

5. Connector：Presto中的一个组件，用于连接和管理各种数据源，包括HDFS、Hive、MySQL、PostgreSQL等。每个Connector都实现了Presto的接口，以提供标准的查询和数据交互能力。

6. Execution Engine：Presto中的一个组件，用于执行查询任务，包括数据读取、数据过滤、数据聚合和数据排序等。Execution Engine使用基于内存的模型，以提高查询速度和性能。

7. Query Monitor：Presto中的一个组件，用于监控和管理查询任务，包括查询状态、查询进度和资源使用情况等。Query Monitor还提供了查询日志和查询统计信息等功能，以帮助用户进行查询优化和调整。

综上所述，Presto的架构是一个分布式的、多节点的查询引擎，支持多种数据源和查询语句，具有高效、灵活和可扩展的特点。

十、bvi架构详解？

bvi架构是英属维尔京群岛的构架，bvi是英属维尔京群岛的英文简称，bvi公司就是依照当地法律在英属维尔京群岛注册的公司。常见于为在境外或香港上市而搭建的VIE交易架构中。该地是国际著名的避税中心，很多国际知名的大公司为了其避税的运作，均在该岛设立避税公司，并展开复杂的国际避税业务活动。