ralsina/Functions
1
0
Fork 0
Code Issues Pull Requests Projects Releases Wiki Activity

Fixing c-busqueda

Browse Source
This commit is contained in:
Roberto Alsina 2024-05-15 19:47:54 -03:00
parent d186fc3d68
commit 6d7a571a55
2 changed files with 64 additions and 53 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

97
c-busqueda/handler.cr
View File

@ -7,8 +7,9 @@ require "uuid"
require "db" require "db"
require "pg" require "pg"
USER = File.read("/var/openfaas/secrets/nombres-user").strip USER = File.read("/var/openfaas/secrets/nombres-user").strip
PASS = File.read("/var/openfaas/secrets/nombres-pass").strip PASS = File.read("/var/openfaas/secrets/nombres-pass").strip
DB_URL = "postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres"
class Handler class Handler
def format_buffer(buffer, canvas_name, title = "") def format_buffer(buffer, canvas_name, title = "")
@ -47,12 +48,12 @@ class Handler
# Returns an array of values [[Year,Count]...] # Returns an array of values [[Year,Count]...]
# Or nil if there are no results # Or nil if there are no results
DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |db| DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |cursor|
db.query sql do |rs| cursor.query sql do |result_set|
result = [] of Tuple(Int32, Int32) result = [] of Tuple(Int32, Int32)
rs.each do result_set.each do
year = rs.read(Int32) year = result_set.read(Int32)
contador = rs.read(Int32) contador = result_set.read(Int32)
result.push({year, contador}) result.push({year, contador})
end end
return result return result
@ -65,12 +66,13 @@ class Handler
def normalize_name(s) def normalize_name(s)
# Remove diacritics, turn lowercase # Remove diacritics, turn lowercase
normalized = s.unicode_normalize(:nfkd).chars normalized = s.unicode_normalize(:nfkd).chars
normalized.reject! { |c| normalized.reject! { |character|
!c.ascii_letter? !character.ascii_letter?
}.join("").downcase }.join("").downcase
end end
def feminidad(nombre) def feminidad(nombre)
# Yes this database is upper case
nombre = nombre.to_s.upcase nombre = nombre.to_s.upcase
sql1 = %( sql1 = %(
SELECT COALESCE(frecuencia,0) SELECT COALESCE(frecuencia,0)
@ -82,28 +84,31 @@ class Handler
FROM hombres WHERE nombre='#{nombre}' FROM hombres WHERE nombre='#{nombre}'
) )
# Yes this database is upper case DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |cursor|
mujeres = query(sql1) cursor.query sql1 do |result|
mujeres = mujeres.nil? ? 0 : mujeres[0][0].as_i mujeres = result.read(Int32)
hombres = query(sql2) end
hombres = hombres.nil? ? 0 : hombres[0][0].as_i cursor.query sql2 do |_|
hombres = result.read(Int32)
end
end
if hombres == mujeres == 0 if hombres == mujeres == 0
return 0.5 return 0.5
end end
return mujeres / (hombres + mujeres) mujeres / (hombres + mujeres)
end end
def split_por_genero(nombres) def split_por_genero(nombres)
femeninos = Array(Array(String | Int32)).new femeninos = Array(Array(String | Int32)).new
masculinos = Array(Array(String | Int32)).new masculinos = Array(Array(String | Int32)).new
nombres.map { |n| nombres.map { |nombre|
fem = feminidad(n[1]) fem = feminidad(nombre[1])
# El overlap en 0.5 es intencional! # El overlap en 0.5 es intencional!
if fem >= 0.5 if fem >= 0.5
femeninos << n femeninos << nombre
end end
if fem <= 0.5 if fem <= 0.5
masculinos << n masculinos << nombre
end end
} }
{ {
@ -120,22 +125,20 @@ class Handler
# { # {
# p: prefijo del nombre, # p: prefijo del nombre,
# g: genero del nombre, # g: genero del nombre,
# y: año de nacimiento # y: year de nacimiento
# } # }
unless (body = request.body).nil? if (body = request.body).nil?
query = Hash(String, String).from_json(body)
else
query = {"p": "", "g": "", a: ""} query = {"p": "", "g": "", a: ""}
else
query = Hash(String, String).from_json(body)
end end
p! query
# Sanitize input. # Sanitize input.
# Each one either a valid string or nil # Each one either a valid string or nil
prefijo = query.fetch("p", "") prefijo = query.fetch("p", "")
genero = query.fetch("g", "") genero = query.fetch("g", "")
año = query.fetch("y", "") year = query.fetch("y", "")
if !prefijo.empty? if !prefijo.empty?
prefijo = normalize_name(prefijo) prefijo = normalize_name(prefijo)
@ -147,9 +150,9 @@ class Handler
genero = nil genero = nil
end end
año = año.to_i? year = year.to_i?
if prefijo.nil? && año.nil? if prefijo.nil? && year.nil?
# Global totals # Global totals
sql = %( sql = %(
SELECT total, nombre SELECT total, nombre
@ -157,17 +160,17 @@ class Handler
ORDER BY total DESC ORDER BY total DESC
LIMIT 50 LIMIT 50
) )
elsif prefijo.nil? && !año.nil? elsif prefijo.nil? && !year.nil?
# Per-year totals # Per-year totals
sql = %( sql = %(
SELECT contador, nombre SELECT contador, nombre
FROM nombres FROM nombres
WHERE WHERE
anio = '#{año}' anio = '#{year}'
ORDER BY contador DESC ORDER BY contador DESC
LIMIT 50 LIMIT 50
) )
elsif !prefijo.nil? && año.nil? elsif !prefijo.nil? && year.nil?
# Filter only by prefix # Filter only by prefix
sql = %( sql = %(
SELECT total, nombre SELECT total, nombre
@ -183,15 +186,26 @@ class Handler
SELECT contador, nombre SELECT contador, nombre
FROM nombres FROM nombres
WHERE WHERE
anio = '#{año}' AND anio = '#{year}' AND
nombre LIKE '#{prefijo}%' nombre LIKE '#{prefijo}%'
ORDER BY contador DESC ORDER BY contador DESC
LIMIT 50 LIMIT 50
) )
end end
results = query(sql)
if results.nil? DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |cursor|
cursor.query sql do |result_set|
datos = [] of Tuple(Int32, String)
result_set.each do
valor = result_set.read(Int32)
nombre = result_set.read(String)
datos.push({valor, nombre})
end
end
end
if datos.empty?
# This is bad 😀 # This is bad 😀
return { return {
body: "Que raro, no tengo *idea*!", body: "Que raro, no tengo *idea*!",
@ -199,13 +213,10 @@ class Handler
headers: HTTP::Headers{"Content-Type" => "text/html"}, headers: HTTP::Headers{"Content-Type" => "text/html"},
} }
end end
datos = results.map { |r|
[r[0].as_i, r[1].as_s]
}
# In this context, remove all composite names # In this context, remove all composite names
datos.reject! { |r| datos.reject! { |row|
r[1].to_s.includes? " " row[1].to_s.includes? " "
} }
if genero if genero
@ -224,14 +235,14 @@ class Handler
buffer = IO::Memory.new buffer = IO::Memory.new
Ishi.new(buffer) do Ishi.new(buffer) do
x = (0..datos.size - 1).to_a x = (0..datos.size - 1).to_a
y = datos.map { |r| y = datos.map { |row|
r[0].to_f / 1000 row[0].to_f / 1000
} }
yrange(0..(y.max*1.1).to_i + 1) yrange(0..(y.max*1.1).to_i + 1)
xtics = Hash(Float64, String).new xtics = Hash(Float64, String).new
datos.each_with_index { |r, i| datos.each_with_index { |row, i|
xtics[i.to_f] = r[1].to_s.titleize xtics[i.to_f] = row[1].to_s.titleize
} }
canvas_size(800, 300) canvas_size(800, 300)

20
c-historico/handler.cr
View File

@ -47,12 +47,12 @@ class Handler
# Returns an array of values [[Year,Count]...] # Returns an array of values [[Year,Count]...]
# Or nil if there are no results # Or nil if there are no results
DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |db| DB.open("postgres://#{USER}:#{PASS}@10.61.0.1:5432/nombres") do |cursor|
db.query sql do |rs| cursor.query sql do |result_set|
result = [] of Tuple(Int32, Int32) result = [] of Tuple(Int32, Int32)
rs.each do result_set.each do
year = rs.read(Int32) year = result_set.read(Int32)
contador = rs.read(Int32) contador = result_set.read(Int32)
result.push({year, contador}) result.push({year, contador})
end end
return result return result
@ -67,8 +67,8 @@ class Handler
def normalize_name(s) def normalize_name(s)
# Remove diacritics, turn lowercase # Remove diacritics, turn lowercase
normalized = s.unicode_normalize(:nfkd).chars normalized = s.unicode_normalize(:nfkd).chars
normalized.reject! { |c| normalized.reject! { |_|
!c.ascii_letter? !ccharacter.ascii_letter?
}.join("").downcase }.join("").downcase
end end
@ -76,7 +76,7 @@ class Handler
unless (body = request.body).nil? unless (body = request.body).nil?
query = JSON.parse(body) query = JSON.parse(body)
nombres = query["i"].as_s.split(",").map(&.strip) nombres = query["i"].as_s.split(",").map(&.strip)
nombres.reject! { |n| n.size == 0 } nombres.reject! { |nombre| nombre.size == 0 }
end end
if nombres.nil? || nombres.empty? if nombres.nil? || nombres.empty?
@ -84,8 +84,8 @@ class Handler
end end
# Remove all diacritics and whatnot # Remove all diacritics and whatnot
nombres = nombres.map { |n| nombres = nombres.map { |nombre|
normalize_name n normalize_name nombre
} }
puts "Processing #{nombres}" puts "Processing #{nombres}"