Alani wrote:El éxito de un buen buscador está en la distribución de contenido en búsquedas más que en indexación. Hoy en día los motores de búsqueda se basan en algoritmos de inteligencia artificial para indexar, organizar y distribuir el contenido.
Más allá de eso, si lo que quieres es un hobby, hay mucha información en Internet de cómo hacerlo.
Hay un libro llamado
Introduction to Information Retrieval que explica conceptos básicos cómo Crawlers, PageRank, y búsqueda vectorial. Puedes empezar por ahí.
Buena la intención, pero mira los comentarios: independientemente de su habilidad (y claramente no tiene el nivel para diseñar un software con esos requisitos, mucho menos implementarlo), él no es de los que escuchan consejos.
En fin, que no pierdas el tiempo, aunque va y a alguien más le sirve.