自动化运维中间件架构概况

kubernetes+jenkins

安装k8s后

  1. 设置 Jenkins 任务:
    • 在 Jenkins 中创建一个新的任务：
      • 配置源代码管理：选择 Git，并提供 GitLab 仓库的 URL、凭据和分支信息。
      • 配置构建步骤：选择 Maven 构建，并设置 Maven 的路径和构建命令（例如，clean install）。
      • 配置后续操作：
        • 如果您要部署到 Kubernetes，请使用 Kubernetes 插件或者 kubectl 命令在 Jenkins 中配置 Kubernetes 集群的凭据和服务器信息。
        • 如果您需要其它定制化操作，可以添加适当的插件或脚本。

Prometheus+grafana

  1. 安装和配置 Prometheus:

    • 下载并安装 Prometheus：访问 Prometheus 官方网站（https://prometheus.io/download），选择适合您操作系统的版本，并按照官方文档进行安装。

    • 编辑 Prometheus 配置文件：

      • 打开 Prometheus 的配置文件 prometheus.yml，根据需要配置要监控的目标和指标。

      • 示例配置文件内容如下：

        yaml复制代码scrape_configs:- job_name: 'node_exporter'static_configs:- targets: ['localhost:9100']

      • 上述示例配置了一个名为 node_exporter 的作业，监控本地主机的 9100 端口上运行的 node_exporter。

  2. 启动 Prometheus:

    • 使用命令行启动 Prometheus，指定配置文件的路径。例如：./prometheus --config.file=prometheus.yml

  3. 安装和配置 Grafana:

    • 下载并安装 Grafana：访问 Grafana 官方网站（https://grafana.com/grafana/download），选择适合您操作系统的版本，并按照官方文档进行安装。
    • 启动 Grafana：安装完成后，使用命令行或者服务管理工具启动 Grafana。
    • 配置 Grafana 连接到 Prometheus：
      • 打开 Grafana 界面，登录并导航到配置页面。
      • 添加一个数据源，选择 Prometheus，并配置 Prometheus 的地址。
      • 保存并测试数据源配置，确保成功连接到 Prometheus。

  4. 创建监控面板:

    • 在 Grafana 中创建监控面板：
      • 导航到 Grafana 主界面，单击 “Create” 或 “+” 创建新的面板。
      • 选择数据源为 Prometheus，并根据需求定义查询和指标。
      • 使用 Grafana 的丰富可视化组件和选项，创建自定义的监控面板。
      • 配置面板的样式、布局和警报规则等。

  5. 展示和共享:

    • 在 Grafana 中展示和共享监控面板：
      • 在 Grafana 中访问创建的监控面板，查看实时的监控数据和图表。
      • 可以将面板导出为图片或 PDF，或者使用 Grafana 的共享功能将面板链接分享给其他人。

ELK

简单了解

ELK，通常是指 Elasticsearch、Logstash 和 Kibana 这三个开源工具的组合。ELK 被广泛用于日志管理与分析，它们各自的功能如下：

  1. Elasticsearch:
    • Elasticsearch 是一个分布式、RESTful 的搜索和分析引擎，用于存储、搜索和分析数据。它可以快速地索引大量数据，并提供复杂的搜索、聚合和分析功能。
    • 您可以使用 Elasticsearch 来存储各种类型的数据，包括结构化数据、非结构化数据和时间序列数据（如日志）。
  2. Logstash:
    • Logstash 是一个用于收集、处理和转发数据的工具。它支持从多种来源收集数据，经过过滤和转换后将数据发送到各种目的地。
    • Logstash 通常用于收集日志数据，对数据进行结构化处理，并将数据发送到 Elasticsearch 或其他存储/分析系统中。
  3. Kibana:
    • Kibana 是一个用于数据可视化和分析的工具，它提供了丰富的图表、表格和地图等可视化组件，帮助用户直观地理解和分析存储在 Elasticsearch 中的数据。
    • 使用 Kibana，您可以创建各种类型的仪表盘和报表，以及执行复杂的数据分析和查询操作。

安装和配置

  1. 安装和配置 Elasticsearch:

    • 下载并安装 Elasticsearch：访问 https://www.elastic.co/downloads/elasticsearch，选择适合您操作系统的版本，并按照官方文档进行安装。
    • 启动 Elasticsearch 服务：安装完成后，使用命令行或者服务管理工具启动 Elasticsearch。

  2. 安装和配置 Logstash:

    • 下载并安装 Logstash：访问 https://www.elastic.co/downloads/logstash，选择适合您操作系统的版本，并按照官方文档进行安装。

    • 创建 Logstash 配置文件：

      • 编辑一个 .conf 文件，定义数据来源、过滤器和输出目的地。例如，您可以创建一个 logstash.conf 文件，指定从标准输入读取数据，并将数据发送到 Elasticsearch 中。

      • 示例配置文件内容如下：

        复制代码input {stdin { }}output {elasticsearch {hosts => ["localhost:9200"]index => "myindex-%{+YYYY.MM.dd}"}}

    • 启动 Logstash：使用命令行运行 Logstash，并指定上面创建的配置文件。例如：bin/logstash -f logstash.conf

  3. 安装和配置 Kibana:

    • 下载并安装 Kibana：访问 https://www.elastic.co/downloads/kibana，选择适合您操作系统的版本，并按照官方文档进行安装。
    • 启动 Kibana 服务：安装完成后，使用命令行或者服务管理工具启动 Kibana。
    • 连接到 Elasticsearch：打开浏览器，访问 Kibana 的地址（默认是 http://localhost:5601），并按照界面上的指引连接到已经运行的 Elasticsearch 实例。

  4. 集成和使用:

    • 将 Logstash 配置为将收集的数据发送到 Elasticsearch 中：根据您的需求，编辑 Logstash 配置文件，配置数据的来源和输出目的地。
    • 使用 Kibana 创建仪表盘、可视化图表和执行数据查询分析：在 Kibana 界面上，通过”Management”设置索引模式，然后使用”Discover”和”Visualize”功能来创建仪表盘和可视化图表。

Gitlab+Maven+Jenkins 构建CICD流程

  1. 配置 Jenkins 服务器：
    • 下载并安装 Jenkins。您可以从 Jenkins 的官方网站（https://www.jenkins.io/）下载适合您操作系统的安装程序，并按照指南进行安装。
    • 启动 Jenkins 服务并访问 Jenkins 控制台。
  2. 安装必要的插件：
    • 在 Jenkins 控制台中，点击左侧导航栏的 “Manage Jenkins”。
    • 然后选择 “Manage Plugins”。
    • 切换到 “Available” 选项卡，搜索并选择安装 “GitLab Plugin” 和 “Maven Integration plugin” 插件。
    • 安装完成后，重启 Jenkins 服务。
  3. 配置 GitLab 凭据：
    • 在 Jenkins 控制台中，点击左侧导航栏的 “Credentials”。
    • 点击 “System” 下的 “Global credentials”。
    • 点击 “Add Credentials”。
    • 在 “Kind” 中选择 “Username with password”。
    • 输入您的 GitLab 用户名和访问令牌，并为凭据提供一个描述。
    • 点击 “OK” 保存凭据。
  4. 创建 Jenkins 项目：
    • 在 Jenkins 控制台中，点击左侧导航栏的 “New Item”。
    • 输入项目名称，并选择 “Freestyle project” 或 “Pipeline”。
    • 点击 “OK” 创建项目。
  5. 配置 Jenkins 项目：
    • 在 “General” 部分，选择 “Git” 作为源码管理器，并提供您的 GitLab 仓库 URL。
    • 在 “Credentials” 中，选择您之前配置的 GitLab 凭据。
    • 在 “Branches to build” 中，选择您要构建的分支。
    • 其他设置根据您的需求进行配置。
  6. 添加构建步骤：
    • 在 “Build” 部分，点击 “Add build step”，选择 “Invoke top-level Maven targets”。
    • 在 “Goals” 中，输入您需要运行的 Maven 命令，例如 “clean install”。
    • 其他设置根据您的需求进行配置。
  7. 集成测试和部署：
    • 根据您的需求，您可以在 “Build” 部分添加额外的构建步骤，例如运行集成测试、生成部署包等。
  8. 保存并构建：
    • 点击 “Save” 保存 Jenkins 项目的配置。
    • 点击 “Build Now” 手动触发一次构建，以验证配置是否正确。