Compare commits
No commits in common. "78a6996f5f33e97f33468ae88deaae7f2090773e" and "32943e40f1c57c3c355f1c3690f2350af59e01f5" have entirely different histories.
78a6996f5f
...
32943e40f1
192
iplocate.py
192
iplocate.py
@ -24,9 +24,9 @@ console = Console()
|
||||
# tkn=True
|
||||
|
||||
logging.basicConfig(
|
||||
filename=log_file,
|
||||
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
||||
level=logging.INFO
|
||||
filename=log_file,
|
||||
format='%(asctime)s - %(name)s - %(levelname)s - %(message)s',
|
||||
level=logging.INFO
|
||||
)
|
||||
logging.info("iplocate inicio")
|
||||
|
||||
@ -70,43 +70,6 @@ def filtro_ip_propia(ip):
|
||||
return True if ip != ownip and not local_ip(ip) else False
|
||||
|
||||
|
||||
def visita_como_lista(ip_info):
|
||||
lista_visitas = []
|
||||
contad = 0
|
||||
for tupla in ip_info:
|
||||
visita = []
|
||||
if contad < 1:
|
||||
for ind, val in enumerate(tupla):
|
||||
if ind == 0:
|
||||
ip_dict = dict()
|
||||
for dato in str(val).split(';'):
|
||||
ip_dict[dato.split("=")[0]] = dato.split("=")[1]
|
||||
print_tabla_ip(ip_dict)
|
||||
else:
|
||||
visita.append(str(val).split(',')[3].split('=')[1])
|
||||
visita.append(str(val).split(',')[2].split('=')[1])
|
||||
metodo = (str(val).split(',')[4].split('=')[1])
|
||||
metodo = '---' if metodo == 'None' else metodo
|
||||
visita.append(metodo)
|
||||
request = ''.join(str(val).split(',')[5].split('=')[1:])
|
||||
request = '---' if request == 'None' else request
|
||||
visita.append(request)
|
||||
else:
|
||||
for ind, val in enumerate(tupla):
|
||||
if ind > 0:
|
||||
visita.append(str(val).split(',')[3].split('=')[1])
|
||||
visita.append(str(val).split(',')[2].split('=')[1])
|
||||
metodo = (str(val).split(',')[4].split('=')[1])
|
||||
metodo = '---' if metodo == 'None' else metodo
|
||||
visita.append(metodo)
|
||||
request = ''.join(str(val).split(',')[5].split('=')[1:])
|
||||
request = '---' if request == 'None' else request
|
||||
visita.append(request)
|
||||
lista_visitas.append(visita)
|
||||
contad += 1
|
||||
return lista_visitas
|
||||
|
||||
|
||||
def print_ipinfo(ip, tkn=True):
|
||||
if valid_ip(ip):
|
||||
try:
|
||||
@ -117,18 +80,50 @@ def print_ipinfo(ip, tkn=True):
|
||||
if isinstance(ip_info, dict):
|
||||
print_tabla_ip(ip_info)
|
||||
elif isinstance(ip_info, list):
|
||||
print_tabla_visita(visita_como_lista(ip_info))
|
||||
lista_visitas = []
|
||||
contad = 0
|
||||
for tupla in ip_info:
|
||||
visita = []
|
||||
if contad < 1:
|
||||
for ind, val in enumerate(tupla):
|
||||
if ind == 0:
|
||||
ip_dict = dict()
|
||||
for dato in str(val).split(';'):
|
||||
ip_dict[dato.split("=")[0]] = dato.split("=")[1]
|
||||
print_tabla_ip(ip_dict)
|
||||
else:
|
||||
visita.append(str(val).split(',')[3].split('=')[1]) # .ljust(24))
|
||||
visita.append(str(val).split(',')[2].split('=')[1]) # .center(11))
|
||||
metodo = (str(val).split(',')[4].split('=')[1])
|
||||
metodo = '---' if metodo == 'None' else metodo # .center(10)
|
||||
visita.append(metodo)
|
||||
request = ''.join(str(val).split(',')[5].split('=')[1:])
|
||||
# configurar wrap en tabla
|
||||
# request = request[:86]+'...' if len(request) > 90 else request
|
||||
request = '---' if request == 'None' else request
|
||||
visita.append(request)
|
||||
else:
|
||||
for ind, val in enumerate(tupla):
|
||||
if ind > 0:
|
||||
# aqui modificar para representar las nuevas columnas de tabla visita
|
||||
visita.append(str(val).split(',')[3].split('=')[1]) #.ljust(24)
|
||||
visita.append(str(val).split(',')[2].split('=')[1]) #.center(11)
|
||||
metodo = (str(val).split(',')[4].split('=')[1])
|
||||
metodo = '---' if metodo == 'None' else metodo #.center(10)
|
||||
visita.append(metodo)
|
||||
request = ''.join(str(val).split(',')[5].split('=')[1:])
|
||||
# configurar wrap en tabla
|
||||
# request = request[:86]+'...' if len(request) > 90 else request
|
||||
request = '---' if request == 'None' else request
|
||||
visita.append(request)
|
||||
lista_visitas.append(visita)
|
||||
contad += 1
|
||||
print_tabla_visita(lista_visitas)
|
||||
else:
|
||||
console.print(
|
||||
'[red]Error type(ip_info) = [/red][magenta]'
|
||||
f'{type(ip_info)}[/magenta][red]][/red]'
|
||||
)
|
||||
console.print(f'[red]Error type(ip_info) = [/red][magenta]{type(ip_info)}[/magenta][red]][/red]')
|
||||
else:
|
||||
ipr = ip.split('\n')[0]
|
||||
console.print(
|
||||
f'[red][[/red][magenta]{ipr}[/magenta][red]]'
|
||||
' no es una IP válida![/red]'
|
||||
)
|
||||
console.print(f'[red][[/red][magenta]{ipr}[/magenta][red]] no es una IP válida![/red]')
|
||||
|
||||
|
||||
def print_tabla_ip(ip_info):
|
||||
@ -180,14 +175,11 @@ def print_tabla_ip(ip_info):
|
||||
|
||||
|
||||
def print_tabla_visita(lista_visitas):
|
||||
tbl_v = Table(box=box.ROUNDED, show_lines=False, row_styles=[
|
||||
"dim", ""], border_style="dark_orange3")
|
||||
tbl_v.add_column("Fecha visita", justify="center",
|
||||
style="bright_yellow", no_wrap=True)
|
||||
tbl_v = Table(box=box.ROUNDED, show_lines=False, row_styles=["dim", ""], border_style="dark_orange3")
|
||||
tbl_v.add_column("Fecha visita", justify="center", style="bright_yellow", no_wrap=True)
|
||||
tbl_v.add_column("Codigo", justify="center", style="bold dodger_blue2")
|
||||
tbl_v.add_column("Metodo", justify="center", style="bright_magenta")
|
||||
tbl_v.add_column("Request", justify="left", style="#00ff5f",
|
||||
overflow='fold', no_wrap=False)
|
||||
tbl_v.add_column("Request", justify="left", style="#00ff5f", overflow='fold', no_wrap=False)
|
||||
for item in lista_visitas:
|
||||
tbl_v.add_row(item[0], item[1], item[2], item[3])
|
||||
|
||||
@ -204,78 +196,56 @@ def archivo_ips(ips, tkn=True):
|
||||
|
||||
|
||||
def _sync():
|
||||
console.print(
|
||||
'[bold yellow]Sincronizando logs del servidor'
|
||||
'(bash script)[/bold yellow]'
|
||||
)
|
||||
console.print('[bold yellow]Sincronizando logs del servidor(bash script)[/bold yellow]')
|
||||
subprocess.check_call(muevelog+"%s" % "--start", shell=True)
|
||||
|
||||
|
||||
def archivo_invalido(archivo):
|
||||
console.print(
|
||||
f'[red]Archivo [[/red][magenta]{archivo}'
|
||||
'[/magenta][red]] no es válido[/red]'
|
||||
)
|
||||
sys.exit(0)
|
||||
|
||||
|
||||
def main():
|
||||
if len(sys.argv) > 1:
|
||||
try:
|
||||
match sys.argv[1]:
|
||||
case '--all':
|
||||
_sync()
|
||||
console.print(
|
||||
'[bold yellow]Cargando logs en base de datos'
|
||||
'[/bold yellow]\n'
|
||||
)
|
||||
console.print('[bold yellow]Cargando logs en base de datos[/bold yellow]\n')
|
||||
sql_alch.carga_logs()
|
||||
console.print(
|
||||
'[bold yellow]Registro de datos de ipinfo'
|
||||
'[/bold yellow]'
|
||||
)
|
||||
console.print('[bold yellow]Registro de datos de ipinfo[/bold yellow]')
|
||||
sql_alch.registro_ips()
|
||||
console.print(
|
||||
'[bold yellow]Generando mapa de visitas[/bold yellow]')
|
||||
console.print('[bold yellow]Generando mapa de visitas[/bold yellow]')
|
||||
sql_alch.mapsgen()
|
||||
case '--sync':
|
||||
_sync()
|
||||
case '-c':
|
||||
console.print(
|
||||
'[bold yellow]Cargando logs en base de datos'
|
||||
'[/bold yellow]\n'
|
||||
)
|
||||
console.print('[bold yellow]Cargando logs en base de datos[/bold yellow]\n')
|
||||
sql_alch.carga_logs()
|
||||
case '-g':
|
||||
console.print(
|
||||
'[bold yellow]Registro de datos de ipinfo'
|
||||
'[/bold yellow]'
|
||||
)
|
||||
console.print('[bold yellow]Registro de datos de ipinfo[/bold yellow]')
|
||||
sql_alch.registro_ips()
|
||||
case '-d':
|
||||
console.print(
|
||||
'[bold yellow]Consulta a base de datos:[/bold yellow]')
|
||||
console.print('[bold yellow]Consulta a base de datos:[/bold yellow]')
|
||||
ip = sys.argv[2]
|
||||
print_ipinfo(ip, None)
|
||||
case '-D':
|
||||
console.print(
|
||||
'[bold yellow]Consulta por archivo a base de datos:'
|
||||
'[/bold yellow]'
|
||||
)
|
||||
console.print('[bold yellow]Consulta por archivo a base de datos:[/bold yellow]')
|
||||
if isfile(sys.argv[2]):
|
||||
archivo_ips(sys.argv[2], None)
|
||||
else:
|
||||
archivo_invalido(sys.argv[2])
|
||||
console.print(f'[red]Archivo [[/red][magenta]{sys.argv[2]}[/magenta]'
|
||||
'[red]] no es válido![/red]')
|
||||
sys.exit(0)
|
||||
case '-f':
|
||||
if isfile(sys.argv[2]):
|
||||
archivo_ips(sys.argv[2], False)
|
||||
else:
|
||||
archivo_invalido(sys.argv[2])
|
||||
console.print(f'[red]Archivo [[/red][magenta]{sys.argv[2]}[/magenta]'
|
||||
'[red]] no es válido[/red]')
|
||||
sys.exit(0)
|
||||
case '-F':
|
||||
if isfile(sys.argv[2]):
|
||||
archivo_ips(sys.argv[2])
|
||||
else:
|
||||
archivo_invalido(sys.argv[2])
|
||||
console.print(f'[red]Archivo [[/red][magenta]{sys.argv[2]}[/magenta]'
|
||||
'[red]] no es válido[/red]')
|
||||
sys.exit(0)
|
||||
case '-h':
|
||||
uso()
|
||||
exit(0)
|
||||
@ -286,8 +256,7 @@ def main():
|
||||
ip = sys.argv[2]
|
||||
print_ipinfo(ip)
|
||||
case '-M':
|
||||
console.print(
|
||||
'[bold yellow]Generando mapa de visitas[/bold yellow]')
|
||||
console.print('[bold yellow]Generando mapa de visitas[/bold yellow]')
|
||||
sql_alch.mapsgen()
|
||||
case '-q':
|
||||
match sys.argv[2]:
|
||||
@ -300,37 +269,20 @@ def main():
|
||||
case '--pais-desde':
|
||||
pais = sys.argv[3]
|
||||
fecha_local = sys.argv[4]
|
||||
fecha_unix = sql_alch.fecha_error_to_epoch(
|
||||
sys.argv[4]+' 00:00:00'
|
||||
)
|
||||
querys.pt_sel_pais_fecha(
|
||||
pais.upper(),
|
||||
fecha_unix,
|
||||
fecha_local
|
||||
)
|
||||
fecha_unix = sql_alch.fecha_error_to_epoch(sys.argv[4]+' 00:00:00')
|
||||
querys.pt_sel_pais_fecha(pais.upper(), fecha_unix, fecha_local)
|
||||
case '--detalle-pais':
|
||||
pais = sys.argv[3]
|
||||
if len(sys.argv) > 4:
|
||||
if sys.argv[4].isnumeric():
|
||||
codigo = sys.argv[4]
|
||||
querys.pt_visita_pais_detalle(
|
||||
pais.upper(),
|
||||
codigo
|
||||
)
|
||||
querys.pt_visita_pais_detalle(pais.upper(), codigo)
|
||||
else:
|
||||
console.print(
|
||||
'[magenta]-q --detalle-pais <pais> '
|
||||
'[/magenta][red][bold]<CODIGO> '
|
||||
f'inválido ({sys.argv[4]})'
|
||||
'[/bold][/red]'
|
||||
)
|
||||
console.print(f'[magenta]-q --detalle-pais <pais> [/magenta][red][bold]<CODIGO> inválido ({sys.argv[4]})[/bold][/red]')
|
||||
else:
|
||||
querys.pt_visita_pais_detalle(pais.upper())
|
||||
case _:
|
||||
console.print(
|
||||
'[red] query desconocida [bold]'
|
||||
f'{sys.argv[2]}[/bold][/red]'
|
||||
)
|
||||
console.print(f'[red] query desconocida [bold]{sys.argv[2]}[/bold][/red]')
|
||||
case _:
|
||||
ip = sys.argv[1]
|
||||
print_ipinfo(ip, False)
|
||||
@ -351,7 +303,7 @@ def main():
|
||||
|
||||
|
||||
def uso_consultas():
|
||||
ayuda = """
|
||||
ayuda = f"""
|
||||
[bold blue]ipLocate[/bold blue]
|
||||
|
||||
[deep_sky_blue1]Reportes según consultas a base de datos.
|
||||
@ -369,7 +321,7 @@ def uso_consultas():
|
||||
|
||||
|
||||
def uso():
|
||||
ayuda = """
|
||||
ayuda = f"""
|
||||
[bold blue]ipLocate[/bold blue]
|
||||
|
||||
[deep_sky_blue1]Consulta en ipinfo.io (con o sin token) información sobre IP(s).
|
||||
|
||||
Binary file not shown.
|
Before Width: | Height: | Size: 279 KiB After Width: | Height: | Size: 279 KiB |
45
mapsgen.py
45
mapsgen.py
@ -16,13 +16,8 @@ def map200(geolocs):
|
||||
lat = float(loc[0].split(',')[0])
|
||||
lon = float(loc[0].split(',')[1])
|
||||
marca200 = staticmaps.create_latlng(lat, lon)
|
||||
cntxt200.add_object(
|
||||
staticmaps.Marker(
|
||||
marca200,
|
||||
color=staticmaps.parse_color('#00ff29'),
|
||||
size=7
|
||||
)
|
||||
)
|
||||
cntxt200.add_object(staticmaps.Marker(
|
||||
marca200, color=staticmaps.parse_color('#00ff29'), size=7))
|
||||
|
||||
svg_image = cntxt200.render_svg(1920, 1080)
|
||||
with open(f"{selfpath}/maps/map_200.svg", "w", encoding="utf-8") as f:
|
||||
@ -56,25 +51,15 @@ def maps_gen(locs_200, locs_300):
|
||||
lat = float(loc[0].split(',')[0])
|
||||
lon = float(loc[0].split(',')[1])
|
||||
marca3 = staticmaps.create_latlng(lat, lon)
|
||||
cntxtAll.add_object(
|
||||
staticmaps.Marker(
|
||||
marca3,
|
||||
color=staticmaps.parse_color('#b20101'),
|
||||
size=5
|
||||
)
|
||||
)
|
||||
cntxtAll.add_object(staticmaps.Marker(
|
||||
marca3, color=staticmaps.parse_color('#b20101'), size=5))
|
||||
|
||||
for loc in locs_200:
|
||||
lat = float(loc[0].split(',')[0])
|
||||
lon = float(loc[0].split(',')[1])
|
||||
marca3 = staticmaps.create_latlng(lat, lon)
|
||||
cntxtAll.add_object(
|
||||
staticmaps.Marker(
|
||||
marca3,
|
||||
color=staticmaps.parse_color('#00ff29'),
|
||||
size=6
|
||||
)
|
||||
)
|
||||
cntxtAll.add_object(staticmaps.Marker(
|
||||
marca3, color=staticmaps.parse_color('#00ff29'), size=6))
|
||||
|
||||
svg_image = cntxtAll.render_svg(1920, 1080)
|
||||
with open(f"{selfpath}/maps/map_all.svg", "w", encoding="utf-8") as f:
|
||||
@ -93,25 +78,15 @@ def maps_thumbs(locs_200, locs_300):
|
||||
lat = float(loc[0].split(',')[0])
|
||||
lon = float(loc[0].split(',')[1])
|
||||
demo300 = staticmaps.create_latlng(lat, lon)
|
||||
cntxtdemo.add_object(
|
||||
staticmaps.Marker(
|
||||
demo300,
|
||||
color=staticmaps.parse_color('#b20101'),
|
||||
size=4
|
||||
)
|
||||
)
|
||||
cntxtdemo.add_object(staticmaps.Marker(
|
||||
demo300, color=staticmaps.parse_color('#b20101'), size=4))
|
||||
|
||||
for loc in locs_200:
|
||||
lat = float(loc[0].split(',')[0])
|
||||
lon = float(loc[0].split(',')[1])
|
||||
demo200 = staticmaps.create_latlng(lat, lon)
|
||||
cntxtdemo.add_object(
|
||||
staticmaps.Marker(
|
||||
demo200,
|
||||
color=staticmaps.parse_color('#00ff29'),
|
||||
size=5
|
||||
)
|
||||
)
|
||||
cntxtdemo.add_object(staticmaps.Marker(
|
||||
demo200, color=staticmaps.parse_color('#00ff29'), size=5))
|
||||
|
||||
svg_thumb = cntxtdemo.render_svg(1024, 768)
|
||||
with open(f"{selfpath}/maps/map_thumb.svg", "w", encoding="utf-8") as f:
|
||||
|
||||
326
sql_alch.py
326
sql_alch.py
@ -2,23 +2,15 @@ import os
|
||||
import time
|
||||
import subprocess
|
||||
from consultas.querys_sqlite import get_geoloc
|
||||
from iplocate import (
|
||||
requests,
|
||||
token,
|
||||
filtro_ip_propia,
|
||||
selfpath,
|
||||
parser,
|
||||
log_usage,
|
||||
valid_ip
|
||||
)
|
||||
from iplocate import requests, token, filtro_ip_propia, selfpath, parser, log_usage, valid_ip
|
||||
from json import loads
|
||||
from datetime import datetime
|
||||
from sqlalchemy import create_engine
|
||||
from sqlalchemy.orm import relationship, sessionmaker
|
||||
from sqlalchemy.ext.declarative import declarative_base
|
||||
from sqlalchemy import Column, Integer, String, Sequence, update
|
||||
# from sqlalchemy.orm.session import Session
|
||||
from sqlalchemy.sql.expression import select # , distinct
|
||||
from sqlalchemy.orm.session import Session
|
||||
from sqlalchemy.sql.expression import distinct, select
|
||||
from sqlalchemy.sql.schema import ForeignKey
|
||||
from rich.progress import Progress, track
|
||||
from rich.console import Console
|
||||
@ -37,40 +29,35 @@ class Registro(Base):
|
||||
"""Definición de tabla 'Registro'"""
|
||||
|
||||
__tablename__ = 'registro'
|
||||
ip = Column(String, primary_key=True)
|
||||
hostname = Column(String, nullable=True)
|
||||
anycast = Column(String, nullable=True)
|
||||
cuidad = Column(String, nullable=True)
|
||||
region = Column(String, nullable=True)
|
||||
pais = Column(String, nullable=True)
|
||||
geoloc = Column(String, nullable=True)
|
||||
ip = Column(String, primary_key=True)
|
||||
hostname = Column(String, nullable=True)
|
||||
anycast = Column(String, nullable=True)
|
||||
cuidad = Column(String, nullable=True)
|
||||
region = Column(String, nullable=True)
|
||||
pais = Column(String, nullable=True)
|
||||
geoloc = Column(String, nullable=True)
|
||||
organizacion = Column(String, nullable=True)
|
||||
fecha_reg = Column(Integer, default=int(time.mktime(time.localtime())))
|
||||
tzone = Column(String, nullable=True)
|
||||
cod_post = Column(String, nullable=True)
|
||||
visitas = relationship(
|
||||
"Visita",
|
||||
order_by="Visita.id",
|
||||
back_populates="visita_ip",
|
||||
cascade="all, delete, delete-orphan"
|
||||
)
|
||||
fecha_reg = Column(Integer, default=int(time.mktime(time.localtime())))
|
||||
tzone = Column(String, nullable=True)
|
||||
cod_post = Column(String, nullable=True)
|
||||
#link = Column(String, nullable=True)
|
||||
visitas = relationship("Visita",
|
||||
order_by="Visita.id",
|
||||
back_populates="visita_ip",
|
||||
cascade="all, delete, delete-orphan")
|
||||
|
||||
def get_fecha(self):
|
||||
"""Convierte fecha 'unix epoch' y devuelve en formato local"""
|
||||
return time.asctime(
|
||||
time.localtime(
|
||||
int(self.fecha_reg.__repr__())
|
||||
)
|
||||
)
|
||||
return time.asctime(time.localtime(int(self.fecha_reg.__repr__())))
|
||||
|
||||
def __repr__(self) -> str:
|
||||
# print('en repr')
|
||||
try:
|
||||
rep = f'ip={self.ip};host={self.hostname};' \
|
||||
f'anycast={self.anycast};cuidad={self.cuidad};' \
|
||||
f'region={self.region};pais={self.pais};' \
|
||||
f'geoloc={self.geoloc};organizacion={self.organizacion};' \
|
||||
f'fecha_reg={self.get_fecha()};tzone={self.tzone};' \
|
||||
f'cod_post={self.cod_post}'
|
||||
rep = f'ip={self.ip};host={self.hostname};anycast={self.anycast};'+\
|
||||
f'cuidad={self.cuidad};region={self.region};pais={self.pais};'+\
|
||||
f'geoloc={self.geoloc};organizacion={self.organizacion};'+\
|
||||
f'fecha_reg={self.get_fecha()};tzone={self.tzone};cod_post={self.cod_post}'
|
||||
# print('Repr:', rep)
|
||||
return rep
|
||||
except Exception as ex:
|
||||
print('Exception :', ex)
|
||||
@ -80,22 +67,18 @@ class Registro(Base):
|
||||
class Visita(Base):
|
||||
"""Definición de tabla 'Visita'"""
|
||||
__tablename__ = 'visita'
|
||||
id = Column(Integer, Sequence('visita_id_seq'), primary_key=True)
|
||||
ip = Column(String, ForeignKey('registro.ip'))
|
||||
id = Column(Integer, Sequence('visita_id_seq'), primary_key=True)
|
||||
ip = Column(String, ForeignKey('registro.ip'))
|
||||
cod_html = Column(Integer)
|
||||
fecha = Column(Integer)
|
||||
metodo = Column(String, default='---')
|
||||
fecha = Column(Integer)
|
||||
metodo = Column(String, default='---')
|
||||
consulta = Column(String, default='---')
|
||||
registro = Column(Integer, default=0)
|
||||
visita_ip = relationship("Registro", back_populates="visitas")
|
||||
|
||||
def get_fecha(self):
|
||||
"""Convierte fecha 'unix epoch' y devuelve en formato local"""
|
||||
return time.asctime(
|
||||
time.localtime(
|
||||
int(self.fecha.__repr__())
|
||||
)
|
||||
)
|
||||
return time.asctime(time.localtime(int(self.fecha.__repr__())))
|
||||
|
||||
def consulta_registro(self):
|
||||
return True if self.registro == 1 else False
|
||||
@ -103,9 +86,8 @@ class Visita(Base):
|
||||
def __repr__(self) -> str:
|
||||
"""Representación en cadena de texto del los datos en tabla"""
|
||||
try:
|
||||
rep = f'id={self.id},ip={self.ip},html={self.cod_html},' \
|
||||
f'fecha={self.get_fecha()},metodo={self.metodo}' \
|
||||
f',request={self.consulta}'
|
||||
rep = f'id={self.id},ip={self.ip},html={self.cod_html},'\
|
||||
f'fecha={self.get_fecha()},metodo={self.metodo},request={self.consulta}'
|
||||
return rep
|
||||
except Exception as ex:
|
||||
print('Exception :', ex)
|
||||
@ -114,6 +96,7 @@ class Visita(Base):
|
||||
|
||||
engine = create_engine(base_de_datos)
|
||||
Base.metadata.create_all(engine)
|
||||
# Base.metadata.create_all(engine.execution_options(synchronize_session="fetch"))
|
||||
Session = sessionmaker(bind=engine)
|
||||
session = Session()
|
||||
|
||||
@ -129,7 +112,7 @@ fecha_access = "10/May/2022:11:42:14 -0400".split(' ')[0]
|
||||
|
||||
def fecha_access_to_epoch(fecha):
|
||||
"""Convierte la fecha del formato entregado por access.log
|
||||
y reverse_access.log (nginx) al formato unix epoch.
|
||||
y reverse_access.log(nginx) al formato unix epoch.
|
||||
:fecha: str Fecha
|
||||
:returns: int unix epoch fecha (secs)
|
||||
"""
|
||||
@ -162,11 +145,7 @@ def ip_registrada(ip):
|
||||
en tabla 'Visita' para ip pasada como argumento.
|
||||
"""
|
||||
try:
|
||||
ip_reg = session.query(Visita).filter(
|
||||
Visita.ip == ip
|
||||
).filter(
|
||||
Visita.registro == 1
|
||||
).first()
|
||||
ip_reg = session.query(Visita).filter(Visita.ip == ip).filter(Visita.registro == 1).first()
|
||||
except Exception as ex:
|
||||
print('Exception', ex)
|
||||
ip_reg = None
|
||||
@ -175,29 +154,20 @@ def ip_registrada(ip):
|
||||
|
||||
def carga_access_log(log):
|
||||
"""Procesa logs del tipo access, filtra IPs propias (publica y locales),
|
||||
acorta las peticiones donde es necesario, convierte fechas a formato unix
|
||||
epoch, los añade a la session para la tabla 'Visita'.
|
||||
Finalmente realiza la transaccion utilizando clase Progres() del modulo
|
||||
rich. Borra el log procesado."""
|
||||
acorta los donde es necesario, convierte fechas a formato unix epoch,
|
||||
los añade a session para tabla 'Visita'.
|
||||
Finalmente realiza la transaccion utilizando clase Progres() del modulo rich.
|
||||
Y borra el log procesado.
|
||||
"""
|
||||
if os.path.exists(log):
|
||||
nombre_log = log.split('/')[-1]
|
||||
console.print(
|
||||
f'[yellow]Procesando [[/yellow]{nombre_log}[yellow]][/yellow]'
|
||||
)
|
||||
console.print(f'[yellow]Procesando [[/yellow]{nombre_log}[yellow]][/yellow]')
|
||||
try:
|
||||
with open(log, 'r') as lista:
|
||||
try:
|
||||
largo = subprocess.run(
|
||||
['wc', '-l', log],
|
||||
capture_output=True,
|
||||
text=True
|
||||
)
|
||||
largo = subprocess.run(['wc', '-l', log], capture_output=True, text=True)
|
||||
largo = int(largo.stdout.split(' ')[0])
|
||||
for linea in track(
|
||||
lista,
|
||||
total=largo,
|
||||
description='[blue bold]Cargando [/blue bold]'
|
||||
):
|
||||
for linea in track(lista, total=largo, description='[blue bold]Cargando [/blue bold]'):
|
||||
ip = linea.split(' ')[0]
|
||||
if filtro_ip_propia(ip):
|
||||
try:
|
||||
@ -209,19 +179,19 @@ def carga_access_log(log):
|
||||
metodo = linea.split('"')[1].split(' ')[0]
|
||||
if len(metodo) > 10 or len(metodo) < 2:
|
||||
metodo = '---'
|
||||
except Exception:
|
||||
except Exception as ex:
|
||||
metodo = '---'
|
||||
try:
|
||||
url = linea.split('"')[1].split(' ')[1]
|
||||
if len(url) > 254:
|
||||
url = url[:252]+'...'
|
||||
except Exception:
|
||||
except Exception as ex:
|
||||
url = '---'
|
||||
try:
|
||||
codigo = int(linea.split('"')[2].split(' ')[1])
|
||||
if len(str(codigo)) != 3:
|
||||
codigo = 0
|
||||
except Exception:
|
||||
except Exception as ex:
|
||||
codigo = 0
|
||||
try:
|
||||
fecha = linea.split(' ')[3][1:]
|
||||
@ -230,94 +200,64 @@ def carga_access_log(log):
|
||||
fecha = None
|
||||
print('Exception split Fecha:', ex)
|
||||
if ip_registrada(ip):
|
||||
session.add(
|
||||
Visita(
|
||||
ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
metodo=metodo,
|
||||
consulta=url,
|
||||
registro=1
|
||||
)
|
||||
)
|
||||
session.add(Visita(ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
metodo=metodo,
|
||||
consulta=url,
|
||||
registro=1))
|
||||
else:
|
||||
session.add(
|
||||
Visita(
|
||||
ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
metodo=metodo,
|
||||
consulta=url
|
||||
)
|
||||
)
|
||||
session.add(Visita(ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
metodo=metodo,
|
||||
consulta=url))
|
||||
except Exception as ex:
|
||||
print('Exception: ', ex)
|
||||
try:
|
||||
with Progress() as prog, session:
|
||||
task1 = prog.add_task(
|
||||
"[yellow bold]Guardando[/yellow bold]",
|
||||
total=len(session.new)
|
||||
)
|
||||
task1 = prog.add_task("[yellow bold]Guardando[/yellow bold]", total=len(session.new))
|
||||
session.commit()
|
||||
while not prog.finished:
|
||||
prog.update(task1, advance=0.1)
|
||||
time.sleep(0.05)
|
||||
except Exception as ex:
|
||||
print('Exception Progress: ', ex)
|
||||
console.print(
|
||||
'[magenta] - Carga completa.. borrando log[/magenta]\n'
|
||||
)
|
||||
console.print('[magenta] - Carga completa.. borrando log[/magenta]\n')
|
||||
os.remove(log)
|
||||
return True
|
||||
except Exception:
|
||||
console.print(
|
||||
f'[red]Error al intentar abrir/cargar: [{log}[/red]]\n'
|
||||
)
|
||||
except:
|
||||
console.print(f'[red]Error al intentar abrir/cargar: [{log}[/red]]\n')
|
||||
return False
|
||||
else:
|
||||
console.print(
|
||||
f'[bold red]Log: [[/bold red]{log}[bold red]] '
|
||||
'inexistente.[/bold red]\n'
|
||||
)
|
||||
console.print(f'[bold red]Log: [[/bold red]{log}[bold red]] inexistente.[/bold red]\n')
|
||||
return False
|
||||
|
||||
|
||||
def carga_error_logs(log):
|
||||
"""Procesa logs del tipo error, acorta los donde es necesario, convierte
|
||||
fechas a formato unix epoch, filtra IPs propias (publica y locales), los
|
||||
añade a session para tabla 'Visita'.
|
||||
Finalmente realiza la transaccion utilizando clase 'Progress' del modulo
|
||||
rich. Borra el log procesado."""
|
||||
"""Procesa logs del tipo error, acorta los donde es necesario, convierte fechas
|
||||
a formato unix epoch, filtra IPs propias (publica y locales), los añade a session
|
||||
para tabla 'Visita'.
|
||||
Finalmente realiza la transaccion utilizando clase 'Progress' del modulo rich.
|
||||
Y borra el log procesado.
|
||||
"""
|
||||
if os.path.exists(log):
|
||||
nombre_log = log.split('/')[-1]
|
||||
console.print(
|
||||
f'[yellow]Procesando [[/yellow]{nombre_log}[yellow]][/yellow]'
|
||||
)
|
||||
console.print(f'[yellow]Procesando [[/yellow]{nombre_log}[yellow]][/yellow]')
|
||||
try:
|
||||
with open(log, 'r') as lista:
|
||||
ip, fecha, url, metodo = None, None, None, None
|
||||
try:
|
||||
largo = subprocess.run(
|
||||
['wc', '-l', log],
|
||||
capture_output=True,
|
||||
text=True
|
||||
)
|
||||
largo = subprocess.run(['wc', '-l', log], capture_output=True, text=True)
|
||||
largo = int(largo.stdout.split(' ')[0])
|
||||
for linea in track(
|
||||
lista,
|
||||
total=largo,
|
||||
description='[blue bold]Cargando [/blue bold]'
|
||||
):
|
||||
for linea in track(lista, total=largo, description='[blue bold]Cargando [/blue bold]'):
|
||||
linea = linea.split('\n')[0]
|
||||
if (linea.rfind('[notice]') > 0 or linea.rfind('[crit]') > 0):
|
||||
if linea.find('[crit]') > 0:
|
||||
try:
|
||||
ip = linea.split('client: ')[1].split(',')[0]
|
||||
except Exception as ex:
|
||||
log_usage(
|
||||
'Exception Ip error_log {crit}',
|
||||
ex
|
||||
)
|
||||
log_usage('Exception Ip error_log {crit}', ex)
|
||||
ip = None
|
||||
try:
|
||||
fecha = ' '.join(linea.split(' ')[0:2])
|
||||
@ -337,10 +277,7 @@ def carga_error_logs(log):
|
||||
try:
|
||||
ip = linea.split('client: ')[1].split(',')[0]
|
||||
except Exception as ex:
|
||||
log_usage(
|
||||
'Exception Ip error_log {notice}',
|
||||
ex
|
||||
)
|
||||
log_usage('Exception Ip error_log {notice}', ex)
|
||||
ip = None
|
||||
try:
|
||||
fecha = ' '.join(linea.split(' ')[0:2])
|
||||
@ -361,65 +298,46 @@ def carga_error_logs(log):
|
||||
fecha = int(fecha_error_to_epoch(fecha))
|
||||
codigo = 0
|
||||
if ip_registrada(ip):
|
||||
session.add(
|
||||
Visita(
|
||||
ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
consulta=url,
|
||||
metodo=metodo,
|
||||
registro=1
|
||||
)
|
||||
)
|
||||
session.add(Visita(ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
consulta=url,
|
||||
metodo=metodo,
|
||||
registro=1))
|
||||
else:
|
||||
session.add(
|
||||
Visita(
|
||||
ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
consulta=url,
|
||||
metodo=metodo
|
||||
)
|
||||
)
|
||||
session.add(Visita(ip=ip,
|
||||
cod_html=codigo,
|
||||
fecha=fecha,
|
||||
consulta=url,
|
||||
metodo=metodo))
|
||||
else:
|
||||
log_usage('carga error.log', linea)
|
||||
except Exception as ex:
|
||||
print('[Procesando *Error.log] Exception: ', ex)
|
||||
try:
|
||||
info_error = f'IP:[{ip}] - FECHA:[{fecha}] - ' \
|
||||
f'METODO:[{metodo}] - URL:[{url}]'
|
||||
info_error = f'IP:[{ip}] - FECHA:[{fecha}] - METODO:[{metodo}] - URL:[{url}]'
|
||||
log_usage('Exception error.log', info_error)
|
||||
except Exception:
|
||||
except:
|
||||
pass
|
||||
try:
|
||||
with Progress() as prog, session:
|
||||
task1 = prog.add_task(
|
||||
"[yellow bold]Guardando[/yellow bold]",
|
||||
total=len(session.new)
|
||||
)
|
||||
task1 = prog.add_task("[yellow bold]Guardando[/yellow bold]", total=len(session.new))
|
||||
session.commit()
|
||||
while not prog.finished:
|
||||
prog.update(task1, advance=0.1)
|
||||
time.sleep(0.05)
|
||||
except Exception as ex:
|
||||
log_usage('Exception error.log - Progress session commit', ex)
|
||||
console.print(
|
||||
'[magenta] - Carga completa.. borrando log[/magenta]\n'
|
||||
)
|
||||
console.print(f'[magenta] - Carga completa.. borrando log[/magenta]\n')
|
||||
os.remove(log)
|
||||
return True
|
||||
except Exception:
|
||||
console.print(
|
||||
f'[red]Error al intentar abrir/cargar: [{log}[/red]]\n'
|
||||
)
|
||||
log_usage('Error al abrir/cargar', log)
|
||||
except:
|
||||
console.print(f'[red]Error al intentar abrir/cargar: [{log}[/red]]\n')
|
||||
log_usage(f'Error al abrir/cargar', log)
|
||||
return False
|
||||
else:
|
||||
console.print(
|
||||
f'[bold red]Log: [[/bold red]{log}[bold red]]'
|
||||
' inexistente.[/bold red]\n'
|
||||
)
|
||||
log_usage('Log inexistente', log)
|
||||
console.print(f'[bold red]Log: [[/bold red]{log}[bold red]] inexistente.[/bold red]\n')
|
||||
log_usage(f'Log inexistente', log)
|
||||
return False
|
||||
|
||||
|
||||
@ -457,30 +375,25 @@ def carga_registro_ip(ip_info):
|
||||
info_dic['tzone'] = ip_info['timezone'] if 'timezone' in ip_info else None
|
||||
info_dic['cod_post'] = ip_info['postal'] if 'postal' in ip_info else None
|
||||
try:
|
||||
session.add(
|
||||
Registro(
|
||||
ip=info_dic['ip'],
|
||||
hostname=info_dic['hostname'],
|
||||
anycast=info_dic['anycast'],
|
||||
cuidad=info_dic['ciudad'],
|
||||
region=info_dic['region'],
|
||||
pais=info_dic['pais'],
|
||||
geoloc=info_dic['geoloc'],
|
||||
organizacion=info_dic['organizacion'],
|
||||
fecha_reg=int(time.mktime(time.localtime())),
|
||||
tzone=info_dic['tzone'],
|
||||
cod_post=info_dic['cod_post'],
|
||||
)
|
||||
)
|
||||
session.add(Registro(ip=info_dic['ip'],
|
||||
hostname=info_dic['hostname'],
|
||||
anycast=info_dic['anycast'],
|
||||
cuidad=info_dic['ciudad'],
|
||||
region=info_dic['region'],
|
||||
pais=info_dic['pais'],
|
||||
geoloc=info_dic['geoloc'],
|
||||
organizacion=info_dic['organizacion'],
|
||||
fecha_reg=int(time.mktime(time.localtime())),
|
||||
tzone=info_dic['tzone'],
|
||||
cod_post=info_dic['cod_post'],
|
||||
))
|
||||
session.commit()
|
||||
except Exception as ex:
|
||||
print('[session.commit(ADD REGISTRO)] Exception: ', ex)
|
||||
print('Datos-Dic: ', info_dic)
|
||||
stmt = update(Visita).where(
|
||||
Visita.ip == ip_info['ip']
|
||||
).values(
|
||||
registro=1
|
||||
).execution_options(synchronize_session="fetch")
|
||||
stmt = update(Visita).where(Visita.ip == ip_info['ip']).values(registro=1).\
|
||||
execution_options(synchronize_session="fetch")
|
||||
# result = session.execute(stmt)
|
||||
try:
|
||||
session.execute(stmt)
|
||||
session.commit()
|
||||
@ -513,9 +426,7 @@ def consulta_db(ip):
|
||||
y sus detalles.
|
||||
"""
|
||||
try:
|
||||
statement = session.query(
|
||||
Registro, Visita
|
||||
).join('visitas').filter_by(ip=ip)
|
||||
statement = session.query(Registro, Visita).join('visitas').filter_by(ip=ip)
|
||||
result = session.execute(statement).all()
|
||||
return result
|
||||
except Exception as ex:
|
||||
@ -530,15 +441,13 @@ def registro_ips():
|
||||
statement = select(Visita).filter_by(registro=0)
|
||||
with Progress() as progress:
|
||||
total = len(session.execute(statement).scalars().all())
|
||||
task1 = progress.add_task(
|
||||
"[bold blue]Cargando [/bold blue]",
|
||||
total=total
|
||||
)
|
||||
task1 = progress.add_task("[bold blue]Cargando [/bold blue]", total=total)
|
||||
total_ant = total
|
||||
while not progress.finished:
|
||||
res = session.execute(statement).scalars().first()
|
||||
total_act = len(session.execute(statement).scalars().all())
|
||||
avance = total_ant - total_act
|
||||
# print('total update:',total,'total_act:', total_act,' Diferencia: ', avance )
|
||||
total_ant = total_act
|
||||
if res is None:
|
||||
progress.update(task1, advance=avance)
|
||||
@ -547,16 +456,15 @@ def registro_ips():
|
||||
ip_info = consulta_ip(ip_actual, True)
|
||||
carga_registro_ip(ip_info)
|
||||
progress.update(task1, advance=avance)
|
||||
console.print(
|
||||
'\n[bold yellow]Registro en base de datos finalizado.[/bold yellow]'
|
||||
)
|
||||
console.print('\n[bold yellow]Registro en base de datos finalizado.[/bold yellow]')
|
||||
|
||||
|
||||
def mapsgen():
|
||||
"""Realiza 2 consultas de los datos de columna 'geoloc' de la tabla
|
||||
'Registro' según valor de columna 'cod_html' de la tabla 'Visita',
|
||||
para valores 200 y otros. Llama a función maps_gen con estas listas
|
||||
de valores como argumentos."""
|
||||
"""Realiza 2 consultas de los datos de columna 'geoloc' de la tabla 'Registro',
|
||||
según valor de columna 'cod_html' de la tabla 'Visita', para valores 200 y para
|
||||
otros valores.
|
||||
Llama a función maps_gen con estas listas de valores como argumentos.
|
||||
"""
|
||||
try:
|
||||
loc_200 = get_geoloc(200)
|
||||
loc_300 = get_geoloc(300)
|
||||
|
||||
Loading…
Reference in New Issue
Block a user