Elasticsearch

elasticsearch

Elasticsearch

Обзор возможностей Михаил Варакин:

https://www.youtube.com/watch?v=ZcC3BTChCY0

a) Security

Логин по-умолчанию: elastic

Пароль по-умолчанию: changeme

Проверка подключения показала, что можно подставлять любой пароль при доступе к серверу не только changeme

curl -XGET -u elastic:changeme ‘192.168.31.15:9200/?pretty’

После стандартной установки выяснилось, что сменить пароль можно если включен x-pack

в файле настроек elasticsearch: /etc/elasticsearch/elasticsearch.yml

xpack.security.enabled: true

Однако, после включения этой опции, сервис останавливался.

Причина в том, что для поддержки Security необходимо купить лицензию или включить 30-day trial

Включил здесь:

https://elk.omega-spb.ru/app/kibana#/management/elasticsearch/license_management/home

root@elk:/usr/share/elasticsearch# bin/elasticsearch-setup-passwords interactive

Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.

You will be prompted to enter passwords as the process progresses.

Please confirm that you would like to continue [y/N]

b) Добавлять источники данных можно через dashboard

Например: nginx

Некоторые полезные операции:

Посмотреть состояние кластера:

curl -XGET http://localhost:9200/_cluster/health?pretty 

Добавить запись в индекс:

curl -X POST -H ‘Content-Type: application/json’ ‘http://localhost:9200/test/messages/2’ -d ‘{“message”: “This is first value for rim_elk”}’

**

Установка Filebeat

Getting Started Guide.

curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.8.8-amd64.deb

sudo dpkg -i filebeat-6.8.8-amd64.deb

Looking for the 32-bit packages? See the Download page.

Step 2: Edit the configuration

Modify /etc/filebeat/filebeat.yml to set the connection information:

output.elasticsearch:
hosts: ["<es_url>"]
username: "elastic"
password: "<password>"
setup.kibana:
host: "<kibana_url>"

Where \<password> is the password of the elastic user, \<es_url> is the URL of Elasticsearch, and \<kibana_url> is the URL of Kibana.

Step 3: Enable and configure the nginx module

sudo filebeat modules enable nginx

Modify the settings in the /etc/filebeat/modules.d/nginx.yml file.

Step 4: Start Filebeat

The setup command loads the Kibana dashboards. If the dashboards are already set up, omit this command.

sudo filebeat setup
sudo service filebeat start

Check that data is received from the Filebeat nginx module

When all steps are complete, you’re ready to explore your data.

**

Установка X-Pack в версии 6.8.8 и позже уже входит

/ysr/share/elasticsearch/bin/elasticsearch-plugin install x-pack

**

Генерация сертификатов на сервер:

/usr/share/elasticsearch/bin/elasticsearch-certgen

Создает файл certificate-bundle.zip, который распаковываем в /etc/pki

https://www.elastic.co/guide/en/elasticsearch/reference/6.8/certutil.html

**

Настройка Filebeat

Что-то отсюда

https://denisitpro.wordpress.com/2017/02/05/%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B0-elasticsearchkibanalogstashfilebeat5/

Проверка правил такой командой:

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -t

В таком случае

Sending Logstash logs to /data/logstash/log which is now configured via log4j2.properties
Configuration OK
[2020-04-24T21:06:32,345][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

Проверка настроек filebeat:

/usr/share/filebeat/bin/filebeat test config --path.config /etc/filebeat

Logstash

Создание ключей здесь:

https://www.elastic.co/guide/en/logstash/6.8/keystore.html

bin/logstash-keystore --path.settings /etc/logstash create

Далее заметки веду в файле “ELK Stack заметки.md” с 26.04.20