lighttpd(请问如何成为出色的云计算运维工程师)

lighttpd，请问如何成为出色的云计算运维工程师？

如何成为一名合格的运维工程师，瑭锦tanjurd认为要具备两个方面的能力，分别是：技术方面：

1、开发能力，这个很重要，因为运维工具都需要自已开发，开发语言：c/c++（必备其中之一）、perl、python、php等、shell（awk,sed,expect….等），需要有过实际开发经验，否则工作会非常痛苦。

2、应用方面需要了解：操作系统（主要是linux、bsd）、webserver相关 (nginx,apahe,php,lighttpd)、数据库(mysql,oralce)，还有类似系统优化，集群方面的东西。

3、网络、安全，存储等需要相当了解个人素质方面：1：工作中胆大心细、不走寻常路2：逻辑思维能力要强，为人谦和3：沟通能力、团队协作4：主动性、执行力、精力旺盛、抗压能力强 5：有探索创新精神

Linux和Windows相比？

学习比较简单，这也是很有学习前途的。

Linux在现在市场上是非常火的，有百分之八十五的公司都在使用Linux系统，前景非常不错，而且Linux算是IT行业之中的入门技术，对于零基础小白或者转型者都是非常友好的，学习起来相对于比较简单，薪资待遇非常不错，发展方向也是非常广阔的。

Linux因其高效率、易于裁剪、应用广等优势，成为了当今中高端服务器的主要操作系统，并且处于一个不可替代的地位。Linux可安装在各种计算机硬件设备中，比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。随着Linux在中国市场迅猛发展，国内Linux人才缺口逐渐凸显。Linux人才招聘也成了当前最热门的招聘之一。

首先linux是一个非常非常大的概念。想全部吃透是不可能的。理想的说，搞懂linux，就可以做所有工作。个人更倾向于说想做什么样工作，需要学linux的哪部分。

按个人经验介绍下常见的linux有哪些领域，并对应到什么工作。

1）linux应用。这部分严格来说不能算是linux，只是跑在linux上的应用，比如web，网络，IT等，职业包括系统研发，后台开发，服务器性能优化，运维等；

2）linux定制。这部分涉及linux版本的用户包较多，内核会有一些涉及，主要各种商业linux的订制，服务等。比如redhat之类，不少是外国公司，国内大多招现场支持等。

3）linux内核开发。这部分主要是linux内核驱动的开发。几乎全部是编程工作。主要是芯片公司，以及使用芯片的产品开发公司。前者如intel，marvell，后者如中兴华为。

4）android衍生品。因为android包括慢慢火爆的tizen都用的linux内核，所以理由同3。所以手机芯片公司和手机开发公司也是linux开发者的雇主之一。比如高通，TI等；

一、Linux运维的主要工作内容

Linux运维作为众多工作中需求人数最多，薪资待遇最高的岗位，本文重点介绍Linux运维的职业，本文内容由专门研究Linux运维学习和职业发展的机构马哥教育和爱好者们联合撰写。

互联网Linux运维工作，以服务为中心，以稳定、安全、高效为三个基本点，确保公司的互联网业务能够7×24小时为用户提供高质量的服务。运维的职责覆盖了产品从设计到发布、运行维护、变更升级及至下线的生命周期。

产品的整个生命周期里运维的职责重要而广泛，但运维工程师们的职责不仅限于这部分工作，还需要总结工作中遇到的问题，抽取出相关的技术方向、研发相关的工具和平台以支持/优化业务的发展并提高运维的效率，相关技术工作主要包括：

服务监控技术：包括监控平台的研发、应用，服务监控准确性、实时性、全面性的保障

服务故障管理：包括服务的故障预案设计，预案的自动化执行，故障的总结并反馈到产品/系统的设计层面进行优化以提高产品的稳定性

服务容量管理：测量服务的容量，规划服务的机房建设，扩容、迁移等工作

服务性能优化：从各个方向，包括网络优化、操作系统优化、应用优化、客户端优化等，提高服务的性能和响应速度，改善用户体验

服务全局流量调度：接入服务的流量，根据容量和服务状态在各个机房间分配流量

服务任务调度：服务的各种定时/非定时任务的调度触发及状态监控

服务安全保障：包括服务的访问安全、防攻击、权限控制等

数据传输技术：包括p2p等各类传输技术的研发应用，也远距离大数据传输等问题的解决

服务自动发布部署：部署平台/工具的研发，及平台/工具的使用，做到安全、高效的发布服务

服务集群管理：包括服务的服务器管理、大规模集群管理等

服务成本优化：尽可能降低服务运行使用的资源，降低服务运行成本

数据库管理（DBA）：通过设计、开发和管理高性能数据库集群，使数据库服务更稳定、更高效、更易于管理。

平台化的开发：类docker等平台的开发管理，及服务接入技术

分布式存储平台的开发优化与接入

等等，凡是关系到服务质量、效率、成本、安全等方面的工作，及涉及到的技术、组件、工具、平台都在运维的技术范畴里。做好每一个技术方向、完成相应的组件、工具、平台研发都能对履行运维职责起到积极的作用，对业务的发展发挥关键影响。

二、Linux运维工作分类

运维的工作方向比较多，随着业务规模的不断发展，越成熟的互联网公司，运维岗位会划分得越细。当前很多大型的互联网公司，在初创时期只有系统运维，随着 模、服务质量的 要求，也逐渐进行了工作细分。一般情况下运维团队的工作分类。

2.1-应用运维（SRE）：应用运维负责线上服务的变更、服务状态监控、服务容灾和数据备份等工作，对服务进行例行排查、故障应急处理等工作，工作职责如下：设计评审、服务管理、资源管理、例行检查、预案管理、数据备份。

2.2-系统运维(SYS)：负责IDC、网络、CDN和基础服务的建设（LVS、NTP、DNS）；负责资产管理，服务器选型、交付和维修，工作职责如下：IDC数据中心建设、网络建设、LVS负载均衡和SNAT建设、CDN规划和建设、服务器选型、交付和维护、内核选型和OS相关维护工作、资产管理、基础服务建设。

2.3-数据库运维（DBA）:数据库运维负责数据存储方案设计、数据库表设计、索引设计和SQL优化，对数据库进行变更、监控、备份、高可用设计等工作，详细的工作内容如下：设计评审、容量规划、数据备份与灾备、数据库监控、数据库安全、数据库高可用和性能优化、自动化系统建设、运维研发、运维平台、监控系统、自动化部署系统。

2.4-运维安全（SEC）：运维安全负责网络、系统和业务等方面的安全加固工作，进行常规的安全扫描、渗透测试，进行安全工具和系统研发以及安全事件应急处理，工作内容如下：安全制度建立、安全培训、风险评估、安全建设、安全合规、应急响应。

三、Linux运维日常使用软件和技能

运维工程师使用的运维平台和工具包括：

Web服务器：apache、tomcat、nginx、lighttpd

监控：nagios、ganglia、cacti、zabbix

自动部署：ansible、sshpt、salt

配置管理：puppet、cfengine

负载均衡：lvs、haproxy、nginx

传输工具：scribe、flume

备份工具：rsync、wget

数据库：mysql、oracle、sqlserver

分布式平台：hdfs、mapreduce、spark、storm、hive

分布式数据库：hbase、cassandra、redis、MongoDB

容器：lxc、docker

虚拟化：openstack、xen、kvm

安全：kerberos、selinux、acl、iptables

问题追查：netstat、top、tcpdump、last

运维以技术为基础，通过技术保障产品提供更高质量的服务。运维工作的职责及在业务中的位置决定了运维工程师需要具备更加广博的知识和深入的技术能力：

扎实的计算机基础知识，包括计算机系统架构，操作系统，网络技术等；

通用应用方面需要了解操作系统、网络、安全，存储，CDN，DB等，知道其相关原理；

编程能力，小到运维工具的开发大到大型运维系统/平台的开发都需要有良好的编程能力；

数据分析能力：能够整理、分析系统运行的各项数据，从中发现问题及找到解决方向；

丰富的系统知识，包括系统工具、典型系统架构、常见的平台选型等；

综合利用工具和平台的能力；

早期的运维团队在人员较少的情况下，主要是进行数据中心建设、基础网络建设、服务器采购和服务器安装交付工作。几乎很少涉及线上服务的变更、监控、管理等工作。这个时候的运维团队更多的属于基础建设的角色，提供一个简单、可用的网络环境和系统环境即可。

随着业务产品的逐渐成熟，对于服务质量方面就有了更高的要求。这个时候的运维团队还会承担一些服务器监控的工作，同时会负责LVS、Nginx等与业务逻辑无关的4/7层运维工作。这个时候服务变更更多的是逐台的手工操作，或者有一些简单批量脚本的出现。监控的焦点更多的在服务器状态和资源使用情况上，对服务应用状态的监控几乎很少，监控更多的使用各种开源系统如Nagios、Cacti等。

由于业务规模和复杂度的持续增加，运维团队会逐渐划分为应用运维和系统运维两大块。应用运维开始接手线上业务，逐步开展服务监控梳理、数据备份以及服务变更的工作。随着对服务的深入，应用运维工程师有能力开始对服务进行一些简单的优化。同时，为了应对每天大量的服务变更，我们也开始编写各类运维工具，针对某些特定的服务能够很方便的批量变更。随着业务规模的增大，基础设施由于容量规划不足或抵御风险能力较弱导致的故障也越来越多，迫使运维人员开始将更多的精力投入到多数据中心容灾、预案管理的方向上。

业务规模达到一定程度后，开源的监控系统在性能和功能方面，已经无法满足业务需求；大量的服务变更、复杂的服务关系，以前靠人工记录、工具变更的方式不管在效率还是准确性方面也都无法满足业务需求；在安全方面也出现了各种大大小小的事件，迫使我们投入更多的精力在安全防御上。逐渐的，运维团队形成之前提到的5个大的工作分类，每个分类都需要有专精的人才。这个时候系统运维更专注于基础设施的建设和运维，提供稳定、高效的网络环境，交付服务器等资源给应用运维工程师。应用运维更专注于服务运行状态和效率。数据库运维属于应用运维工作的细化，更专注于数据库领域的自动化、性能优化和安全防御。运维研发和运维安全提供各类平台、工具，进一步提升运维工程师的工作效率，使业务服务运行得更加稳定、高效和安全。

我们将运维发展过程划分为4个阶段。

手工管理阶段：业务流量不大，服务器数量相对较少，系统复杂度不高。对于日常的业务管理操作，大家更多的是逐台登录服务器进行手工操作，属于各自为战，每个人都有自己的操作方式，缺少必要的操作标准、流程机制，比如业务目录环境都是各式各样的。

工具批量操作阶段：随着服务器规模、系统复杂度的增加，全人工的操作方式已经不能满足业务的快速发展需要。因此，运维人员逐渐开始使用批量化的操作工具，针对不同操作类型出现了不同的脚本程序。但各团队都有自己的工具，每次操作需求发生变化时都需要调整工具。这主要是因为对于环境、操作的规范不够，导致可程序化处理能力较弱。此时，虽然效率提升了一部分，但很快又遇到了瓶颈。操作的质量并没有太多的提升，甚至可能因为批量执行而导致更大规模的问题出现。我们开始建立大量的流程规范，比如复查机制，先上线一台服务器观察10分钟后再继续后面的操作，一次升级完成后至少要观察20分钟等。这些主要还是靠人来监督和执行，但在实际过程中执行往往不到位，反而降低了工作效率。

平台管理阶段：在这个阶段，对于运维效率和误操作率有了更高的要求，我们决定开始建设运维平台，通过平台承载标准、流程，进而解放人力和提高质量。这个时候对服务的变更动作进行了抽象，形成了操作方法、服务目录环境、服务运行方式等统一的标准，如程序的启停接口必须包括启动、停止、重载等。通过平台来约束操作流程，如上面提到的上线一台服务器观察10分钟。在平台中强制设定暂停检查点，在第一台服务器操作完成后，需要运维人员填写相应的检查项，然后才可以继续执行后续的部署动作。

系统自调度阶段：更大规模的服务数量、更复杂的服务关联关系、各个运维平台的林立，原有的将批量操作转化成平台操作的方式已经不再适合，需要对服务变更进行更高一层的抽象。将每一台服务器抽象成一个容器，由调度系统根据资源使用情况，将服务调度、部署到合适的服务器上，自动化完成与周边各个运维系统的联动，比如监控系统、日志系统、备份系统等。通过自调度系统，根据服务运行情况动态伸缩容量，能够自动化处理常见的服务故障。运维人员的工作也会前置到产品设计阶段，协助研发人员改造服务使其可以接入到自调度系统中。

在整个运维的发展过程中，希望所有的工作都自动化起来，减少人的重复工作，降低知识传递的成本，使我们的运维交付更高效、更安全，使产品运行更稳定。对于故障的处理，也希望由事后处理变成提前发现，由人工处理变成系统自动容灾。

五、2019年Linux运维必须抓住的前沿技能

这是技术世界正在发生的深刻变革的冰山一角，那么问题来了? 作为传统的运维该如何转型呢?

这里给出一点小的建议: 大致需要学习下这四个部分:

自动化运维（Ansible，Puppet，Saltstack等）

Devops（Docker，K8s，Jenkins，Jira等），

云服务技术（虚拟化、OpenStack、AWS及阿里云各种产品服务架构等）

python

python一般用来做什么？

能用来干嘛？这个要看你需求了，Python能做的事情太多了，作为一门解释型的脚本语言，Python的用途非常广泛，Web开发、数据处理、机器学习、网络爬虫、自动化测试等都有深入涉及，下面我简单介绍一下，感兴趣的朋友可以尝试一下：

Web开发

日常生活或开发，我们经常需要搭建一个Web网站以向外界展示服务信息，Python针对Web开发，提供了非常多的框架和模块，flask、tornado、django等，内置大量模板和实用工具，只需少量代码即可快速构建一个网站，如果你对Web开发比较感兴趣，想搭建一个属于自己的Web系统，可以学习一下这些框架，非常简单，也容易入门：

数据处理

日常办公或生活中，我们经常会遇到形形色色的文件，excel、txt、csv、json等，如果数据量比较大，处理起来会非常麻烦，而且容易出错，Python针对日常文件处理，提供了非常多的模块，比较著名的就是pandas，内置大量函数和类型，只需简单几行代码就可快速读取和处理数据，如果你日常需要处理大量数据，重复劳动，可以使用一下这个模块，非常不错，简单而又高效：

机器学习

作为当前一个炽手可热的研究领域，机器学习的应用范围非常广，无人驾驶、人脸识别、股票预测、个性化推荐等，Python针对机器学习，提供了非常多的框架和第三方模块，重量级的tensorflow，轻量级的scikit-learn等，内置大量算法和实用工具，只需少量代码即可快速搭建验证你的模型，如果你对机器学习比较感兴趣，或者实验、科研中需要用到某些机器学习算法，可以学习一下这些模块，非常有帮助：

网络爬虫

日常生活中，我们可能需要从某些网站采集大量数据（其实就是爬虫），还要保持实时更新，如果只是人工反复复制黏贴，效率会非常低下，而且不利于数据规整，Python针对网站等数据的批量采集，提供了非常多的爬虫框架，比较著名的就是scrapy，免费、开源、跨平台，可定制化程度高，支持分布式，只需简单几行代码就可快速构建一个爬虫程序，后期易于扩展，也易于维护：

自动化测试

这也是Python一个比较重要的应用领域，自动化测试在软件开发中扮演着非常重要的角色，也是软件质量的可靠保证，Python针对自动化测试，提供了一个非常实用的框架—robot framework，封装了大量关键字，可以快速进行Web接口和UI测试，如果你对软件测试比较感兴趣，或者想从事于测试行业，那么rf就是一个非常不错的工具，值得使用：

目前就分享这么多吧，其实除了以上5个方面，Python还有许多其他用途，像科学计算、游戏开发等，作为一门新兴、不断成长的编程语言，Python的前景还是非常不错的，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。

业余学python有用吗？

为什么这么多人在学Python呢？很多小白都听说Python很火，简单易学，学起来很容易，学习周期短，可是为啥要学Python呢？，下面谈谈我对Python的感悟。

在PC时代大量的嵌入式的设备，底层的代码，底层原理，以及底层逻辑运用，以及桌面的应用都是用C、C++实现的，毋庸置疑它们是最接近底层，对底层有着强大的解释说服力，也是最早的、最快的。随着2000年电商的大规模的兴起，多数人融入到这个大家庭中，逐渐地从PC时代过度到互联网时代，Java开始王者归来，再加上2010移动互联网的爆发Android开始风靡起来，Java更是如日中天，走向了辉煌。那我们现在为什么要学习Python呢？Python到底是用来干什么的？

1、Web开发Python的诞生历史比Web还要早，由于Python是一种解释型的脚本语言，开发效率高，所以非常适合用来做Web开发，大大提高了做web开发人员的效率。

Python有上百种Web开发框架，有很多成熟的模板技术，选择Python开发Web应用，不但开发效率高，而且运行速度快，加快了时代的发展。

常用的web开发框架有：Django、Flask、Tornado 等。

许多知名的互联网企业或者小型公司将Python作为主要开发语言：豆瓣、知乎、果壳网、Google、NASA、YouTube、Facebook……

由于后台服务器的通用性，除了狭义的网站之外，很多App和游戏的服务器端也同样用 Python实现，来运行，完成相应的工作。

一个Web应用的本质就是：

浏览器发送一个HTTP请求；服务器收到请求，生成一个HTML文档；服务器把HTML文档作为HTTP响应的Body发送给浏览器；浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示。所以，最简单的Web应用就是先把HTML用文件保存好，用一个现成的HTTP服务器软件，接收用户请求，从文件中读取HTML，返回。Apache、Nginx、Lighttpd等这些常见的静态服务器就是干这件事情的，完成这些事情的。

如果要动态生成HTML，就需要把上述步骤自己来实现。不过，接受HTTP请求、解析HTTP请求、发送HTTP响应都是苦力活，如果我们自己来写这些底层代码，还没开始写动态HTML呢，就得花个把月去读HTTP规范。

正确的做法是底层代码由专门的服务器软件实现，我们用Python专注于生成HTML文档。因为我们不希望接触到TCP连接、HTTP原始请求和响应格式，所以，需要一个统一的接口，让我们专心用Python编写Web业务。

这个接口就是WSGI：Web Server Gateway Interface。（Web服务器网关接口）

wsgi就是一种规范，它定义了使用web应用程序与Python编写的web服务器程序之间的接口格式。无论多么复杂的Web应用程序，入口都是一个WSGI处理函数。HTTP请求的所有输入信息都可以通过environ获得，HTTP响应的输出都可以通过start_response()加上函数返回值作为Body。

WSGI接口定义非常简单，它只要求Web开发者实现一个函数，就可以响应HTTP请求。我们来看一个最简单的Web版本的“Hello，web!”：

上面的application()函数就是符合WSGI标准的一个HTTP处理函数，它接收两个参数：

environ：一个包含所有HTTP请求信息的dict对象；start_response：一个发送HTTP响应的函数。在application()函数中，调用：

就发送了HTTP响应的Header，注意Header只能发送一次，也就是只能调用一次start_response()函数。start_response()函数接收两个参数，一个是HTTP响应码，一个是一组list表示的HTTP Header，每个Header用一个包含两个str的tuple表示。

通常情况下，都应该把Content-Type头发送给浏览器。其他很多常用的HTTP Header也应该发送。

然后，函数的返回值'<h1>Hello, web!</h1>'将作为HTTP响应的Body发送给浏览器。

有了WSGI，我们关心的就是如何从environ这个dict对象拿到HTTP请求信息，然后构造HTML，通过start_response()发送Header，最后返回Body。

了解了WSGI框架，我们发现：其实一个Web App，就是写一个WSGI的处理函数，针对每个HTTP请求进行响应。

但是如何处理HTTP请求不是问题，问题是如何处理100个不同的URL。

由于用Python开发一个Web框架十分容易，所以Python有上百个开源的Web框架。各种Web框架的优缺点自己去了解一下就可以了，直接选择一个比较流行的Web框架——Flask来使用。

除了Flask，常见的Python Web框架还有：

Django：全能型Web框架；web.py：一个小巧的Web框架；Bottle：和Flask类似的Web框架；Tornado：Facebook的开源异步Web框架。做一个游戏

2、网络爬虫许多人对编程的热情始于好奇，终于停滞，小有成就就止步于此。

距离真枪实干做开发有技术差距，也无人指点提带，也不知当下水平能干嘛？就在这样的疑惑循环中，编程技能止步不前，而爬虫是最好的进阶方向之一。

网络爬虫是Python比较常用的一个场景，国际上，google在早期大量地使用Python语言作为网络爬虫的基础，带动了整个Python语言的应用发展。以前国内很多人用采集器搜刮网上的内容，现在用Python收集网上的信息比以前容易很多了，如：

从各大网站爬取商品折扣信息，比较获取最优选择；对社交网络上发言进行收集分类，生成情绪地图，分析语言习惯；爬取网易云音乐某一类歌曲的所有评论，生成词云；按条件筛选获得豆瓣的电影书籍信息并生成表格……应用实在太多，几乎每个人学习爬虫之后都能够通过爬虫去做一些好玩有趣有用的事。

例子：爬取网络上的歌曲

3、人工智能人工智能是现在非常火的一个方向，AI热潮让Python语言的未来充满了无限的潜力。现在释放出来的几个非常有影响力的AI框架，大多是Python的实现，为什么呢？

因为Python有很多库很方便做人工智能，比如numpy, scipy做数值计算的，sklearn做机器学习的，pybrain做神经网络的，matplotlib将数据可视化的。在人工智能大范畴领域内的数据挖掘、机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。

人工智能的核心算法大部分还是依赖于C/C++的，因为是计算密集型，需要非常精细的优化，还需要GPU、专用硬件之类的接口，这些都只有C/C++能做到，所有c/c++和P相结合就可以实现人工智能。

4、Python的其他应用举例系统编程：提供API，能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具。

图形处理：有PIL、Tkinter等图形库支持，能方便进行图形处理。

数学处理：NumPy扩展提供大量与许多标准数学库的接口。

文本处理：Python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用Python进行XML程序的开发。

数据库编程：程序员可通过遵循PythonDB-API（数据库应用程序编程接口）规范的模块与MicrosoftSQLServer，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。Python自带有一个Gadfly模块，提供了一个完整的SQL环境。

网络编程：提供丰富的模块支持sockets编程，能方便快速地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet及BitTorrent.Google都在广泛地使用它。

Web编程：应用的开发语言，支持最新的XML技术。

多媒体应用：Python的PyOpenGL模块封装了“OpenGL应用程序编程接口”，能进行二维和三维图像处理。PyGame模块可用于编写游戏软件。

黑客编程： Python有一个hack的库，内置了你熟悉的或不熟悉的函数，但是缺少成就感。

以上内容分享自华为云社区《【云驻共创】你知道在未来Python主要的运用途径和领域吗？》，作者：楠羽。

能简单介绍一下嵌入式web技术吗？

目前 Web 技术中生成动态 Web 页面的方法有 CGI 和 服务器脚本，如 JSP、ASP 等，但后者需要 Web 服务器具有这些脚本的运行支持模块。在嵌入式 Web服务器中，考虑到资源限制问题，一般都只提供 CGI 支持，因此在嵌入式设备中 Web 方式应用实际上就是基于 CGI 的程序开发。

由于嵌入式设备资源一般都比较有限，并且也不需要能同时处理很多用户的请求，因此不会使用Linux下最常用的如 Apache 等服务器，而需要使用一些专门为嵌入式设备设计的Web服务器，这些Web服务器在存贮空间和运行时所占有的内存空间上都会非常适合于嵌入式应用场合。

嵌入式 WEB 服务器常见的有：

boa / lighttpd / shttpd / thttpd / mathopd / minihttpd / appweb / goahead

典型的嵌入式Web服务器有Boa 和 thttpd等，它们和 Apache 等高性能的Web服务器主要的区别在于它们一般是单进程服务器，只有在完成一个用户请求后才能响应另一个用户的请求，而无法并发响应，但这在嵌入式设备的应用场合里已经足够了。

HTTPD是最简单的一个Web Server，它的功能最弱，不支持认证，不支持CGI。