Etiket: opensource

Frappe Framework ve HTML

Frappe Framework kullanırken dinamik HTML sayfaları yaratabilmek için Jinja template’lerini kullanabilirsiniz.

Bunun için aynı dizine, aynı isimli .py ve .html sayfaları oluşturmalısınız. Python dosyanız “get_context” methodunu, HTML dosyanız Jinja Template’ini içermelidir.

Pyhton dosyamızda “get_context” methodu ile elde ettiğimiz değişkenleri HTML dosyamız içerisinde yer alan Jinja Template’imize döndürerek sayfamızı render edeceğiz.

Örneğin;

sample_page.py;

import frappe
@frappe.whitelist(allow_guest=True)

def get_context(context):
  benim_adim = "Sinan Yosunkaya"
  favori_takimim = "Gençlerbirliği"
  benim_memleketim = "Ankara"
  kedilerimin_isimleri =['Kedi','Tavuk','Tombalak','MinikaGo','Sempatik']

  context.benim_adim = benim_adim
  context.favori_takimim = favori_takimim
  context.benim_memleketim = benim_memleketim
  context.kedilerimin_isimleri = kedilerimin_isimleri

  return context

sample_page.html

<!DOCTYPE html>
<!-- Built on Frappe. https://frappeframework.com/ -->
<html lang="en">

<head>
	<meta charset="utf-8">
	<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
	<meta name="generator" content="frappe">

</head>

{% block content %}
<p>Merhaba Benim adım {{benim_adim}}, Ben {{favori_takimim}} takımını tutuyorum. Memleketim {{benim_memleketim}}. {{kedilerimin_isimleri|length}} adet kedim var ve onların isimleri şu şekilde;
<ol>
{% for kedi_ismi in kedilerimin_isimleri %}
    <li>{{ kedi_ismi }}</li>
{% endfor %}
</ol>
</p>

{% endblock %}

Bu basit örnekte görüldüğü üzere python dosyamızda(sample_page.py) oluşturduğumuz değişkenleri HTML dosyamızın içerisinde(sample_page.html) render edebildik.

Proxmox Mail Gateway – Gelen maillerin içerisindeki URL’leri VirusTotal.com ile kontrol etme

Opensource Mail Gateway ürünü olan proxmox mailgateway’in(PMG) kendi içerisinde bir çok filtreleme katmanı bulunuyor. Bunlara ek olarak bir çok ücretli mail gateway yazılımında dahi bulunmayan bir entegrasyonu hep birlikte yapalım. Bunun için PMG’nin Custom Check Interface özelliğinden faydalanacağiz.

Öncelikle;

virustotal üyeliği açarak api yönlendirmelerini takip edip üyeliğimize ait bir api key almamız gerekmektedir. virustotal’e sorgu atarken bu api keyden faydalanacağız.

Önemli Not: virustotal free üyelikde günde 500 sorguya kadar izin vermektedir. premium fiyatları dolar bazlı olduğundan ve astarı yüzünü geçtiğinden şöyle bir çözüm ürettim.

bir url’i virustotal’e sorguladıktan sonra sonucunu proxmox içerisinde yer alan postgres db’ye yazdım. ve aynı url tekrar geldiğinde son 7 gün içerisinde sorgulamışsam, tekrar virustotal’den sorgulamadım yerel db’imde yer alan sonuçları referans aldım.

/etc/pmg/pmg.conf dosyasında admin bölümünde custom check’i enable edelim.

section: admin
    custom_check 1

Custom check interface bash scriptini default ayarlarda “/usr/local/bin/pmg-custom-check” path’ine yazmamız gerekiyor. İsterseniz bu path’i de değiştirebilirsiniz. Burada oluşturduğumuz bir bash script ile asıl işi yapacak olan python dosyasını çağıracağız.

#!/bin/bash

parametre1=$1
parametre2=$2

python_sonuc=$(python3 /home/pmg-custom-check.py $parametre1 $parametre2)


echo "v1"
echo "$python_sonuc"


exit 0

Bash script dosyamız ile /home/pmg-custom-check.py yolundaki python dosyamızı çağırıyoruz. “echo "$python_sonuc" satırında python dosyamızdan aldığımız yanıtı proxmox’a geri gönderiyoruz.

python dosyamız;

import sys
from urlextract import URLExtract
import re
import json
import requests
import base64
import tldextract
import psycopg2
import datetime


# Dışarıdan gelen parametreleri al ve mail dosyasını oku
api_version = sys.argv[1] if len(sys.argv) > 1 else None
current_mail = sys.argv[2] if len(sys.argv) > 2 else None
mail_icerik_file = open(current_mail, "r")
mail_icerik = mail_icerik_file.read()

## tanımlamalar

virus_total_api_key = "xxxxxxxxxxxxxxxx"
guvenilen_domainler = ["microsoft.com","w3.org"]
kontrol_edilecek_domainler = []
kontrol_edilecek_subdomainler = []
kontrol_edilecek_urller = []
base64_anahtar_kelime = "Content-Transfer-Encoding: base64"
base64_count = mail_icerik.count(base64_anahtar_kelime)

#db tanımlamaları

db_user = "virustotallocal_db_user"
db_password = "xxxxxx"
db_host = "127.0.0.1"
db_name = "virustotallocal_db"

## fonksiyonlar

def db_select(tur,data):
    today = datetime.date.today()
    connection = psycopg2.connect(user=db_user,
                                  password=db_password,
                                  host=db_host,
                                  port="5432",
                                  database=db_name)
    cursor = connection.cursor()
    sorgu = """select "malicious","suspicious" from sorgu_sonuclari
    WHERE tur = %s  and data = %s and gecerlilik_tarihi > %s"""
    cursor.execute((sorgu),(tur,data,today))
    sorgu_sonuc = cursor.fetchall()
    return sorgu_sonuc


def db_insert(tur,data,malicious,suspicious):
    otuzgun = datetime.date.today() + datetime.timedelta(30)
    connection = psycopg2.connect(user=db_user,
                                  password=db_password,
                                  host=db_host,
                                  port="5432",
                                  database=db_name)
    connection.autocommit = True
    cursor = connection.cursor()
    sqlquery =  """INSERT INTO sorgu_sonuclari(tur, data, malicious, suspicious, gecerlilik_tarihi, created_date) VALUES (%s, %s, %s, %s, %s, %s)"""
    cursor.execute(sqlquery,(tur,data,malicious,suspicious,otuzgun, datetime.datetime.now()))
    connection.commit()
    connection.close()



def url_id_bul(url):
    virus_total_sorgu_url = "https://www.virustotal.com/api/v3/urls"
    payload = { "url": url }
    headers = {
        "accept": "application/json",
        "x-apikey": virus_total_api_key,
        "content-type": "application/x-www-form-urlencoded"
    }
    response = requests.post(virus_total_sorgu_url, data=payload, headers=headers)
    response_json = json.loads(response.text)
    id = response_json['data']['id']
    return id

def id_sonuc_bul(id):
    virus_total_sorgu_url = "https://www.virustotal.com/api/v3/analyses/{}".format(id)
    headers = {
        "accept": "application/json",
        "x-apikey": virus_total_api_key
    }
    response = requests.get(virus_total_sorgu_url, headers=headers)   
    sonuc = json.loads(response.text)
    stats = sonuc['data']['attributes']['stats']
    return stats



def mail_icerik_find_urls(mail_icerik):
    ## base64 maili string'e çevir
    if base64_count > 0:
        search_baslangici = 0
        for x in range(base64_count):
                try:
                    baslangic = mail_icerik.find(base64_anahtar_kelime, search_baslangici)
                    bosluk_index = mail_icerik.find("--", baslangic+len(base64_anahtar_kelime))
                    search_baslangici = bosluk_index
                    sonuc = mail_icerik[baslangic+len(base64_anahtar_kelime):bosluk_index].strip()
                    base64_message = sonuc
                    base64_bytes = base64_message.encode('ascii')
                    message_bytes = base64.b64decode(base64_bytes)
                    message = message_bytes.decode('utf-8')
                    mail_icerik += message
                except:
                    pass
        mail_icerik = mail_icerik.replace('\n', '').replace('=', '').replace('--', ' ').replace('</a>', ' ').replace('<', ' ').replace('>', ' ').replace(']', ' ')
        urls = re.findall('http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', mail_icerik)
    else:
        mail_icerik = mail_icerik.replace('\n', '').replace('=', '').replace('--', ' ').replace('</a>', ' ')
        urls = re.findall('http[s]?://(?:[a-zA-Z]|[0-9]|[$-_@.&+]|[!*\(\),]|(?:%[0-9a-fA-F][0-9a-fA-F]))+', mail_icerik)
    return urls


def url_to_domain(url): #verilen url'nin domainini ayrıştırır ve güvenilir domainler listesinde değilse kontrol edilecek domainler listesine ekler.
    ayristirilmis_url = tldextract.extract(url)
    domain = ayristirilmis_url.domain+'.'+ayristirilmis_url.suffix
    if domain in guvenilen_domainler or domain in kontrol_edilecek_domainler:
        pass
    else:
        kontrol_edilecek_domainler.append(domain)

def url_to_subdomain(url): #verilen url'nin subdomainini ayrıştırır ve güvenilir subdomainler listesinde değilse kontrol edilecek subdomainler listesine ekler.
    ayristirilmis_url = tldextract.extract(url)
    domain = ayristirilmis_url.domain+'.'+ayristirilmis_url.suffix
    subdomain = ayristirilmis_url.subdomain+'.'+ayristirilmis_url.domain+'.'+ayristirilmis_url.suffix
    if domain in guvenilen_domainler or subdomain in kontrol_edilecek_subdomainler:
        pass
    else:
        kontrol_edilecek_subdomainler.append(subdomain)

def url_append_kontrol_edilecek(url): #verilen url'nin domaini güvenilir domainler listesinde var mı kontrol eder, yoksa kontrol edilecek urller listesine ekler
    ayristirilmis_url = tldextract.extract(url)
    domain = ayristirilmis_url.domain+'.'+ayristirilmis_url.suffix
    if domain in guvenilen_domainler or url in kontrol_edilecek_urller:
        pass
    else:
        kontrol_edilecek_urller.append(url)

def spam_score_hesapla(malicious,suspicious):
    skor = float(malicious) + (float(suspicious * 0.50))
    return skor



## mail içerisindeki url'leri bulma
urls = mail_icerik_find_urls(mail_icerik)
urls = list(dict.fromkeys(urls))
for url in urls:
    url_append_kontrol_edilecek(url)
    url_to_domain(url)
    url_to_subdomain(url)



def domainler_spam_score(kontrol_edilecek_domainler):
    skor = 0
    for domain in kontrol_edilecek_domainler:
        domain_select = db_select("domain",domain)
        if len(domain_select) > 0:
            domain_malicious = domain_select[0][0]
            domain_suspicious = domain_select[0][1]
            skor += spam_score_hesapla(domain_malicious,domain_suspicious)
        else:
            domain_id=url_id_bul(domain)
            domain_sonuc = id_sonuc_bul(domain_id)
            domain_malicious = domain_sonuc["malicious"]
            domain_suspicious = domain_sonuc["suspicious"]
            skor += spam_score_hesapla(domain_malicious,domain_suspicious)
            db_insert("domain",domain,domain_malicious,domain_suspicious)
    return skor



def sub_domainler_spam_score(kontrol_edilecek_subdomainler):
    skor = 0
    for subdomain in kontrol_edilecek_subdomainler:
        subdomain_select = db_select("subdomain",subdomain)
        if len(subdomain_select) > 0:
            subdomain_malicious = subdomain_select[0][0]
            subdomain_suspicious = subdomain_select[0][1]
            skor += spam_score_hesapla(subdomain_malicious,subdomain_suspicious)
        else:
            subdomain_id=url_id_bul(subdomain)
            subdomain_sonuc = id_sonuc_bul(subdomain_id)
            subdomain_malicious = subdomain_sonuc["malicious"]
            subdomain_suspicious = subdomain_sonuc["suspicious"]
            skor += spam_score_hesapla(subdomain_malicious,subdomain_suspicious)
            db_insert("subdomain",subdomain,subdomain_malicious,subdomain_suspicious)
    return skor

def sub_domainler_spam_score(kontrol_edilecek_subdomainler):
    skor = 0
    for subdomain in kontrol_edilecek_subdomainler:
        subdomain_select = db_select("subdomain",subdomain)
        if len(subdomain_select) > 0:
            subdomain_malicious = subdomain_select[0][0]
            subdomain_suspicious = subdomain_select[0][1]
            skor += spam_score_hesapla(subdomain_malicious,subdomain_suspicious)
        else:
            subdomain_id=url_id_bul(subdomain)
            subdomain_sonuc = id_sonuc_bul(subdomain_id)
            subdomain_malicious = subdomain_sonuc["malicious"]
            subdomain_suspicious = subdomain_sonuc["suspicious"]
            skor += spam_score_hesapla(subdomain_malicious,subdomain_suspicious)
            db_insert("subdomain",subdomain,subdomain_malicious,subdomain_suspicious)
    return skor


def urller_spam_score(kontrol_edilecek_subdomainler):
    skor = 0
    for url in kontrol_edilecek_urller:
        url_select = db_select("url",url)
        if len(url_select) > 0:
            url_malicious = url_select[0][0]
            url_suspicious = url_select[0][1]
            skor += spam_score_hesapla(url_malicious,url_suspicious)
        else:
            url_id=url_id_bul(url)
            url_sonuc = id_sonuc_bul(url_id)
            url_malicious = url_sonuc["malicious"]
            url_suspicious = url_sonuc["suspicious"]
            skor += spam_score_hesapla(url_malicious,url_suspicious)
            db_insert("url",url,url_malicious,url_suspicious)
    return skor


domainler_spam_score(kontrol_edilecek_domainler)
sub_domainler_spam_score(kontrol_edilecek_subdomainler)
urller_spam_score(kontrol_edilecek_urller)

mail_spam_score = domainler_spam_score(kontrol_edilecek_domainler) + sub_domainler_spam_score(kontrol_edilecek_subdomainler) + urller_spam_score(kontrol_edilecek_urller)


if mail_spam_score > 1:
    print("SCORE: 10")
else:
    print("OK")

Wazuh Tüm Syslog’ları Arşivlemek

Wazuh default’ta tüm logları saklamıyor. Logları alıyor>Eşleştiği bir kural var ise işliyor ve discover ekranında gösteriyor, eşleştiği bir kural yok ise logu uçuruyor. Logları saklaması için global configin altında bulunan “<logall>no</logall>” ayarını ” yes” yapmak gerekir. Bu durumda aşağıdaki dosyaya tüm logları yazacaktır.

<logall>yes</logall> şeklinde değiştirirsek; topladığı tüm logları /var/ossec/logs/archives/YIL/AY/*.log dosyasına yazacaktır.

Eğer logları json formatında saklamak istersek;
<logall_json>no </logall_json> ayarını yes olarak güncellemek gerekir. bu durumda logları aşağıdaki dosyada saklayacaktır.

/var/ossec/logs/archives/YIL/AY/*.json

Tabi her iki ayarı değiştirdikten sonra wazuh manager servisini restart etmemiz gerekir.

systemctl restart wazuh-manager

Frappe Bench Fonksiyonun Test Edilmesi

Bir python fonksiyonu yazdınız ve bench altında nasıl çalışacağını test etmek istiyorsunuz. Bu durumda aşağıdaki syntax kullanılarak fonksiyonu çağırabilirsiniz.

tabi bench komutunun çalışabilmesi için frappe-bench dizini altında olmalısınız.

"bench --site siteadi execute fonksiyon yolu"
Örn;
"bench --site erp.sirketim.com execute erpnext.modules.hr.doctypes.events.benimfonksiyonum"